漢朝出使西域的人越來越多，有人就慫恿武帝說：“大宛最好的馬在貳師城，他們藏起來不肯獻給漢朝使者。”武帝喜歡大宛馬，很心動，就派使者帶上千金和一匹黃金鑄造的金馬去換貳師城的馬。

大宛當時已經有很多漢朝的東西，對漢使就有些輕視和傲慢。大宛王和大臣商議說：“漢朝離我們很遠，如果從羅布泊的鹽澤來，經常會死在半路；如果從北邊來，有匈奴騷擾；如果從南邊來，缺乏水草，人煙稀少，得不到糧食補充。漢朝派來的使者每批有幾百人，往往因為缺乏食物在途中死亡，怎么可能派遣大軍威脅我們。貳師城的馬是大宛的國寶，不能輕易送人。”于是他們拒絕了漢使的請求。漢使很生氣，口出狂言，將金馬砸碎，揚長而去。大宛的貴族也勃然大怒，認為漢使輕視自己。于是命令大宛東邊的郁成王半路攔截漢使，殺死他們，并將財物劫掠一空。

小小的大宛竟如此猖狂，漢武帝大怒，要出兵討伐。曾經出使過大宛的姚定漢等人說：“大宛兵力薄弱，只要派出三千兵馬，再用強弓勁弩就能擊敗。”在此之前，趙破奴攻破樓蘭，也只用了700名騎兵，武帝認為姚定漢的話很有道理。那么這趟官差不難完成，而完成了又是大功一樁，派誰擔任將領呢？這時，漢武帝想起了寵妃李夫人。當時傾國傾城的李夫人已經去世，她臨終前囑咐武帝，希望武帝能照拂自己的兄弟，武帝一直對李夫人念念不忘，想起她的囑托，覺得這次攻打大宛是個立功封侯的好機會，不如就把機會留給李夫人的家人吧。于是任命李廣利為將軍，因此次是為了獲取貳師城的好馬，所以稱李廣利為“貳師將軍”。

李廣利，中山（今河北定縣）人，共有兄妹四人。長兄李延年是漢武帝時的樂官，最后官至協律都尉；妹妹李氏，即漢武帝寵愛的李夫人；此外還有一個叫李季的弟弟，李夫人去世后，因為淫亂后宮被殺。李廣利兄弟三人的出人頭地，都是因為妹妹能歌善舞，貌美如花，深受漢武帝的寵愛。

李廣利與衛青的經歷有些相似，最初都是憑借裙帶關系得到武帝的任用。衛青是個杰出的軍事將領，他領兵之初也曾被人在背后議論，但很快便用驍勇的戰績平息了流言，顯示出自己貨真價實的軍事才干。而李廣利在歷史上有著兩個極端的評價，一方面認為李廣利只是一個二世祖，仗著妹妹受寵，總是白撿功勞。另外一方面則認為，李廣利的軍事才能雖比不上衛青、霍去病，但也足以稱之為名將。那么，哪一種更接近事實呢？

太初元年（公元前104年），李廣利率領六千騎兵及幾萬名郡國游手好閑的少年出征大宛，原浩侯王恢擔任向導。李廣利剛上路時十分得意，覺得自己旌旗所向之處，敵人自然會望風而降。但殘酷的現實很快就打破了他的幻想，漢軍自從越過羅布泊，沿途的小國都很驚慌，都堅守城池，不肯供給糧草。而李廣利率軍遠征，并沒有讓部隊帶上足夠的糧草，只好率兵攻城，但非常艱難。如果攻下城池就能補充糧草，如果幾天都攻不下來，只好離開到下一個小國。等到了郁成城，漢軍只剩下幾千人，而且都饑餓而疲憊，根本沒有戰斗力。郁成是大宛東部的城邑，李廣利又下令攻打郁成，結果又被打敗，死傷慘重。李廣利便與左右商量說：“我們連郁成都不能攻下，更何況是大宛呢？”于是率軍返回。

這樣一去一回，花了兩年時間，等他們到了敦煌的時候，士兵只剩下10分之一二。李廣利派出使者向朝廷報告說：“到大宛道路遙遠，又缺少糧草，士兵們不怕打仗，但怕挨餓。現在剩余的士兵太少，很難攻下大宛。希望能暫時休整，再出兵西征。”武帝聽了非常失望，也很生氣，本來是要將這十拿九穩的功名送給李廣利的，李廣利卻大敗而歸，又上書要罷兵。如果真的罷兵，漢朝辛辛苦苦在西域建立的威信必將蕩然無存。于是武帝派使者到玉門關阻攔，說有膽敢進入玉門關者，殺無赦！李廣利很害怕，只好駐扎在敦煌墾田。

由于輕敵和準備不足，李廣利第一次征討大宛的計劃就這樣受盡挫折，以失敗告終。