在文帝朝，李廣和堂弟李蔡均為郎官。到了景帝朝，李蔡有功，官至二千石。武帝元朔年間，李蔡擔任輕車將軍，跟隨衛青進攻右賢王，立下戰功，受封為樂安侯。元狩二年，李蔡替代公孫弘擔任丞相。李蔡的才能僅為中下，名聲也遠遠不及李廣，卻位至列侯，官至丞相。可是李廣卻始終得不到封侯，官職始終沒有超過九卿。就連李廣的部下，也有很多人受封為列侯。

有一次，李廣與望氣算命的王朔聊天時感嘆道：“自從漢朝開始攻打匈奴以來，我沒有一次不參加戰斗。可是如今，連各部隊校尉以下的軍官，才能平平的人，都有幾十個因戰功被封了侯。我李廣不比別人差，卻連一點點封地都得不到，這是為什么呢？難道是我命中注定不該封侯嗎？”王朔問他：“將軍請仔細想一想，有沒有做過什么讓自己后悔的事？”李廣說：“我做隴西太守時，羌族人造反，我引誘他們來投降，總共有800多人，可是后來我在一天內把他們都殺了，欺騙了他們，這是我平生最后悔的事情。”王朔說：“沒有比殺害已經投降的人更大的罪過了，這就是將軍不能封侯的原因。”

武帝元狩四年，衛青和霍去病大規模出兵攻打匈奴，李廣多次請求隨軍出征。武帝認為李廣年紀太大，沒有答應。李廣一再堅持，才得到批準，擔任前將軍。

衛青軍隊出塞后，從抓獲的匈奴俘虜口中知道了單于的方位，準備親自率領精兵迎擊，命令李廣與右將軍趙食其率軍從東路包抄。東路是一條迂回繞遠的路線，而且水草稀少，大軍難以結隊而行，對地形也不熟悉。李廣不同意這種安排，爭辯說：“我作為前將軍，理應當先鋒，為何讓我從東路出兵？況且我從少年時就與匈奴作戰，直到垂暮之年才遇到與單于直接交鋒的機會，我甘愿做先鋒，與單于決一死戰。”

可是衛青出征前，得到武帝的密旨，武帝認為李廣年老且命數不好，責令衛青不要讓李廣與單于正面對陣，擔心李廣一旦失手，會挫傷漢軍銳氣。另一方面衛青也有私心，當時公孫敖擔任中將軍，此前因為有罪，被削去爵位。公孫敖曾救過衛青，衛青想讓公孫敖與自己一起對陣單于，把這個立功的機會留給公孫敖，因此仍安排李廣改變行軍路線。盡管李廣一再請求，衛青始終沒有答應。衛青讓長史下了道文書，說：“趕快到所在部隊，照文書說的辦。”

李廣沒有向衛青告辭就憤然離去，領兵與右將軍趙食其一同從東路出發。部隊沒有向導，不時迷失道路，落在了主力部隊的后面。等到他們見到衛青的主力部隊時，正面戰場的大戰已經結束，大軍已回到了沙漠之南，這次戰斗因東路軍遲到，致使單于潰敗逃走，沒有取得預想的成果。

衛青派長史送干糧和酒給李廣，順便詢問他們迷路的情況，準備向武帝上書報告軍情，李廣沒有回答。衛青又派長史召李廣幕府的人員前去聽侯審問，李廣說：“校尉們無罪，是我迷了路，現在我自己到大將軍幕府去受審對質。”到了衛青的幕府，李廣對他的部下說：“我從少年起就和匈奴作戰，前后大小有七十多仗，如今有幸跟隨大將軍出征并同單于直接交戰，可是大將軍又調我的部隊去走迂回繞遠的路，偏偏又迷了路，難道這不是天意嗎？況且我已60多歲了，終究不能再受那些刀筆吏的侮辱。”隨后竟拔刀自刎，軍中將士都痛哭失聲。百姓們聽說了，無論老幼，認識或不認識，都為李廣落淚。右將軍趙食其被捕入獄，判處死刑，花錢贖罪，被貶為平民。

李廣的結局讓人扼腕嘆息，李廣難封似乎是個千年的難題。對于這個問題，每個人可能會有不同的答案，如同一千個人眼中有一千個哈姆雷特一樣。比如文帝認為李廣生不逢時，如在高祖時期，封個萬戶侯不在話下；算命的王朔認為“禍莫大于殺已降”，李廣不該殺降；武帝更是直接總結說“李廣老，數奇”，認為他是個老將，命不好；也有人會從李廣身上找原因，認為是因為李廣不懂政治，站錯隊；心胸狹窄、格局小；有嚴重的個人英雄主義等等。但這就是李廣，如果李廣多一點圓滑、世故，那還是那個有血有肉的李廣嗎。哪個答案并不重要，李廣都是老百姓愛戴的無冕英雄、真心英雄。大多數的我們不都這樣，有才能，兢兢業業，卻終其一生與功名利祿陰差陽錯。所以莫以成敗論英雄，人的一生只要無愧于心即可。

太史公稱贊李廣：桃李不言，下自成蹊。意思是：桃李有著芬芳的花朵，甜美的果實，雖然它們不會說話，但仍然會吸引人們到樹下賞花嘗果，以致樹下走出一條小路。李廣雖然一生未封侯，卻以他的真誠和高尚的品質贏得了人們的尊敬和愛戴。