蘇武的傷勢逐漸痊愈，單于又派使者勸降蘇武，讓他參加對虞常的審判，想借此逼蘇武投降。匈奴人當著蘇武等的面斬殺了虞常，衛律說：“漢使張勝謀殺單于親近的大臣，按律當死，單于說了，投降可以免罪。”說完舉劍假裝要殺張勝，張勝慌忙請求投降。衛律又對蘇武說：“副使有罪，正使應付連帶責任。”蘇武答：“我沒有參與，又不是他的親屬，我為什么要負責？”衛律惱羞成怒，又舉劍對著蘇武，但蘇武面不改色，巋然不動。

硬的不行，衛律又來軟的。衛律說：“蘇君，我之前背棄漢朝歸順匈奴，有幸受到了單于的恩寵，賜我為王，現在我擁有部眾數萬，牛羊滿山。如今你若投降，也會像我一樣富貴，否則陳尸于荒野，誰又能知道你呢？”蘇武根本不理會他。衛律又說：“蘇君，今天如果你聽我的話投降，我即與你結為兄弟，否則日后想見我都不可能了。”蘇武大罵道：“你身為大漢臣子，卻背叛朝廷，喪失氣節，有何顏面讓我見你？如今單于對你委以重任，你卻不能主持公正，想挑起匈奴與漢朝兩國的事端。我警告你，歷來殺害漢使的國家都沒有好下場。南越國殺了漢使，被漢朝大軍所滅，成為漢朝的九個郡；大宛王殺了漢使，他頭顱被漢軍砍下，掛在朝廷的北闕；朝鮮國殺了漢使，隨即被滅國。現在只有匈奴還沒有遭此下場，你明知我不會投降，如果以此為借口殺我，導致兩國交戰，匈奴的滅頂之災就要由你引起。”

衛律知道蘇武不會屈服，將情況報告單于。單于卻越發想讓蘇武投降，就把蘇武囚禁在大土窖，不給他飲食，企圖折磨他的意志。正好天上下雨雪，蘇武躺在土窖里，用雪拌著氈毛一起吞下，竟然連續數日不死。匈奴人以為蘇武有神靈相助，便把他遷移到北海（今貝加爾湖）無人煙的地方，讓蘇武放牧一群公羊，說要等公羊產奶、生下羊羔，蘇武才能離開。同時把常惠等人安置到別的地方。

蘇武到了荒無人煙的北海，吃的、住的都沒有，只好挖掘野鼠貯藏的草籽充饑。即便如此，蘇武依然意志堅定，在茫茫北海手持出使匈奴的節杖放牧著羊群。天長日久，節杖上的旄飾已經脫落，但蘇武仍然日日夜夜手不離杖。

牧羊五六年后，蘇武的處境有了轉機。當時的狐鹿姑單于的弟弟於靬王，在北海射獵，他采用的弋射是將細繩系于箭上射出。蘇武擔任過栘中廄監，掌管鷹犬射獵，懂得用網做成絲繩，又懂得校正弓弩，對於靬王的射獵很有幫助，因而深受對方敬愛。於靬王送給蘇武足夠的糧食和衣物，很可能還找匈奴女子配給蘇武為妻。三年后，於靬王生病，仍賜給蘇武馬匹、牛羊、衣服及居住的穹廬。不久於靬王去世，他帶來的隨身人員也相繼離去。這年冬天，居住在北海的丁令族人盜走了蘇武牛羊，蘇武再次陷入困厄之境。

當初蘇武和李陵都在朝中任侍中，關系甚好。蘇武出使匈奴第二年，李陵兵敗投降，一直不敢去見蘇武。許多年后，新即位的狐鹿姑單于派李玲勸降蘇武。李陵到達北海，為蘇武設置酒宴，轉達了單于對蘇武的誠意，并告訴蘇武離漢后家里的許多變故：蘇武做奉車都尉的哥哥蘇嘉，跟隨武帝到雍縣棫陽宮，扶輦車下臺階時撞了柱子，車轅折斷，被彈劾為大不敬罪，蘇嘉伏劍自殺，朝廷賜錢二百萬安葬。弟弟蘇賢跟隨武帝到河東祭祀后土祠廟，宦官騎兵與黃門都尉搶船，將黃門都尉推入河中淹死，肇事宦官騎兵逃跑，武帝下令蘇賢去抓捕，沒有抓到，蘇賢惶恐之下服毒自盡。蘇武的母親已經去世，李陵還參加了蘇母在陽陵的安葬。蘇武的妻子還年輕，聽說已經改嫁。家中只有兩個妹妹和蘇武的兩個女兒、一個兒子，10多年過去了，也不知道他們的死活。

李陵勸蘇武：“你獨自留在這荒無人煙的地方，誰又能看到你的忠義呢？人生好似朝露，何必這樣苦了自己。我剛投降時也痛恨自己為何要背叛朝廷，加上老母收留在保宮。你不想投降的心情能超過我當年嗎？如今陛下年老，法令無常，大臣無罪被滅族的就有幾十家，常有生死難料的感覺，你這樣堅守又為了誰呢。希望你能聽進我的苦言相勸，不要拒絕。”蘇武仍義正詞嚴地說：“我們蘇家父子的一切，都是皇上賜予的，我侍奉皇上，猶如兒子侍奉父親，我愿為皇上肝腦涂地，死而無憾！”

李陵與蘇武一連喝了幾天酒，李陵最后說：“你就聽我一句忠言吧！”蘇武說：“我早就死過一次，你一定要我投降，就趁著今天的酒宴，讓我死在你面前。”李陵見蘇武如此赤誠，喟然長嘆：“這才是真正的義士！我李陵和衛律的罪，只有讓蒼天審判了。”說罷熱淚盈眶，大顆的淚珠落在衣襟上，與蘇武告別。