張騫回國(guó)時(shí)，適逢漢朝對(duì)匈奴大規(guī)模用兵之際，張騫以校尉身份跟隨大將軍衛(wèi)青出擊匈奴，他在匈奴呆了十幾年，對(duì)那里的地理環(huán)境比較熟悉，知道哪里有戰(zhàn)馬所需要的水草，給軍隊(duì)帶來(lái)了帶來(lái)了很大的便利，戰(zhàn)后被封為博望侯。兩年后，張騫以衛(wèi)尉身份與李廣從右北平出擊匈奴，他的部隊(duì)因遲到耽誤了會(huì)戰(zhàn)，致使匈奴包圍了李廣的部隊(duì)，損失慘重，按軍法當(dāng)斬，張騫花錢贖罪，被貶為庶人。其后幾年間，漢朝與匈奴的戰(zhàn)局發(fā)生了重大變化。霍去病在西部殲敵數(shù)萬(wàn)人，一直打到祁連山下。匈奴渾邪王率眾投降，從此漢朝的西側(cè)，匈奴幾乎絕跡。元狩四年，漢軍將匈奴驅(qū)逐至大漠以北。
張騫雖然已經(jīng)失去官爵，但武帝還是經(jīng)常把他叫來(lái)，向他詢問(wèn)西域諸國(guó)的情況。于是張騫講起了烏孫王昆莫的故事：烏孫是個(gè)小國(guó)，與大月氏原來(lái)都住在祁連山、敦煌一帶，大月氏殺了昆莫的父親難兜靡，奪取了烏孫的土地，烏孫國(guó)民被迫逃往匈奴。當(dāng)時(shí)昆莫?jiǎng)偝錾痪茫鲳B(yǎng)人布就翎侯把昆莫放在草叢里，自己出去找食物，回來(lái)時(shí)看到有一只母狼用乳汁喂養(yǎng)孩子，還有烏鴉銜著肉在孩子頭頂上盤旋。布就翎侯覺得很神奇，隨后把昆莫帶到了匈奴。老上單于可憐昆莫，留在身邊撫養(yǎng)。
昆莫漸漸長(zhǎng)大，老上單于將昆莫父親的部眾交還給他，讓他率領(lǐng)軍隊(duì)打仗，昆莫多次立下戰(zhàn)功。當(dāng)時(shí)大月氏已經(jīng)被匈奴人打敗，大月氏便向西攻打塞族人，塞族人向南逃得遠(yuǎn)遠(yuǎn)的，月氏人就占領(lǐng)了塞族的領(lǐng)地。長(zhǎng)大成人的昆莫非常健壯，他向老上單于請(qǐng)求為父親報(bào)仇。昆莫率領(lǐng)軍隊(duì)西征，攻打大月氏，月氏只好向西遷徙，來(lái)到了大夏。昆莫收編了月氏留下的部眾，在當(dāng)?shù)匕l(fā)展，逐漸變得強(qiáng)大。這時(shí)候，老上單于去世，昆莫不愿意返回匈奴，臣服于剛即位的軍臣單于。軍臣單于派軍隊(duì)進(jìn)攻昆莫，都以失敗告終，于是匈奴人更加認(rèn)為昆莫有神力，便采取羈縻政策，對(duì)他敬而遠(yuǎn)之。
張騫向武帝建議說(shuō)：“如今匈奴剛被漢朝打敗，昆莫原來(lái)居住的領(lǐng)地已經(jīng)變得空寂無(wú)人。蠻夷懷念故土，又喜歡漢朝的財(cái)物，如果用重金籠絡(luò)烏孫，引他們東來(lái)，回到原來(lái)的居住地，再把公主嫁給昆莫，使他與漢朝結(jié)為兄弟之國(guó)，這就相當(dāng)于斬?cái)嗔诵倥囊恢槐郯颉６衣?lián)合了烏孫以后，再把西域的大夏等國(guó)招來(lái)作為藩臣就好辦了。”武帝覺得很有道理，于是任命張騫為中郎將，帶領(lǐng)300人，每人兩匹馬，還有數(shù)萬(wàn)頭牛羊以及價(jià)值幾千萬(wàn)的錢財(cái)布帛，再次出使西域。同行的還有多名持符節(jié)的副使，以便張騫在方便時(shí)可以派往附近國(guó)家。
元鼎二年（公元前115年），張騫第二次出使西域，到了烏孫國(guó)，張騫把漢朝的意圖告訴了昆莫。但當(dāng)時(shí)的烏孫國(guó)已經(jīng)分裂，昆莫年紀(jì)大了，有些力不從心；又覺得漢朝太遠(yuǎn)，不知道漢朝的實(shí)力；另外臣服于匈奴的時(shí)間已經(jīng)很長(zhǎng)，況且又接近匈奴，害怕匈奴，不想遷走，因?yàn)檫@些原因，昆莫不敢對(duì)張騫允諾什么。
張騫得不到確定的答復(fù)，于是先派出副使出使大宛、康居、月氏及大夏，烏孫派出翻譯為他們做向?qū)А堯q自己帶著烏孫的幾十位使者，和作為答謝禮物的幾十匹馬返回長(zhǎng)安，趁此機(jī)會(huì)讓烏孫人了解一下漢朝的情況，讓他們知道漢朝多么富裕、遼闊。
張騫回到朝廷后，被提升為大行令，位列九卿，一年多后去世了。又過(guò)了一年多，張騫派出去的副使帶著西域各國(guó)的使者返回長(zhǎng)安。從此漢朝與西域各國(guó)的關(guān)系日益密切。這些都是張騫鑿?fù)ㄎ饔虻慕Y(jié)果，張騫建立了豐功偉績(jī)。此后，漢朝出使西域的使者都號(hào)稱“博望侯”，以此來(lái)取得西域諸國(guó)的信任。
張騫產(chǎn)生的社會(huì)影響，在他去世后不斷增強(qiáng)，烏孫國(guó)知道了漢朝的強(qiáng)大，在公元前105年受到匈奴威脅時(shí)，主動(dòng)向漢朝獻(xiàn)馬送禮，愿意聘娶漢朝的公主，結(jié)兄弟之好，于是有了江都公主與解憂公主相繼遠(yuǎn)嫁烏孫的悲喜故事。張騫為漢朝提出的以婚姻結(jié)好烏孫的設(shè)想在他身后得以實(shí)現(xiàn)，中原王朝與陌生的西域在政治與婚姻關(guān)系的雙重因素作用下，快速走向民族融合。
當(dāng)張騫從長(zhǎng)安出發(fā)的時(shí)候，整個(gè)世界東方與西方還相互隔絕。就在張騫到達(dá)中亞各國(guó)的1100多年后，意大利旅行家馬可波羅的雙腳，才踏上中國(guó)的土地；而西班牙探險(xiǎn)家哥倫布開往東方的船隊(duì)，在張騫出使西域1300多年之后，才從西班牙的巴羅斯港揚(yáng)帆啟程。張騫先后兩次出使西域，打開了中國(guó)與中亞、西亞、南亞以至通往歐洲的陸路交通，被譽(yù)為“絲綢之路的開拓者”、“第一個(gè)睜開眼睛看世界的中國(guó)人”。