匈奴懼怕李廣。李廣成為右北平郡太守後，匈奴不敢侵犯這個地方達數年之久。漢之飛將軍——匈奴人如此稱呼他。
實際上，匈奴之所以暫時停止蠢動，不只是害怕李廣，另一方面也因自己內部起了紛爭。
匈奴王軍臣單于之死是元朔三年之事。
軍臣單于之弟伊稚斜遂自稱單于，攻打軍臣單于之子於單。一場叔侄鬥爭於焉發生，結果於單被打敗，亡命至漢。
張騫在這一年回國。
在現今敦煌附近，往昔有過一個名叫月氏的國家。關於「月氏」，可謂諸說紛紜，依據一般的看法，這大概是屬於斯基泰系民族。由於受到匈奴之襲擊，月氏王被殺，月氏之民被迫向西方逃離。
匈奴之單于（王）殺害了月氏王，並以其頭顱作為酒杯。這對月氏而言是莫大的屈辱。所以，被趕至西方的月氏國人民，無一不發憤圖強，矢志報仇。
武帝因此決定與月氏聯盟，合力攻討匈奴。張騫就是在這個目的之下被派遣的使者。
然而，要到月氏國，非經過匈奴領域不可。張騫率領一個名叫甘父的匈奴人以及百餘名部下從隴西（甘肅省）啟程往西，結果一下子就為匈奴所擒。
當時的匈奴王軍臣單于對張騫道：「想到月氏國？月氏國在我國的那一邊，你以為我會准許你們通過此地嗎？你想想看，如果我要派使者到越國，漢皇帝會准許我的使者通過漢嗎？同樣的道理，你別想通過我的國土。」
越乃泛指中國南方。
張騫在匈奴被扣留達十數年之久。匈奴替他成親，並生下孩子。雖說被扣留，實際上接受的是客卿待遇，連家庭都建立了起來，張騫因此裝出對現狀非常滿意的樣子。
「沒想到在此地得到妻兒，本人已心滿意足。」
張騫逢人便說這句話，實際上這是為了使匈奴心生大意的計策。果然，匈奴對他的看管越來越鬆弛。後來，在一個機會下，他成功地和家人、甘父和部分部下逃出匈奴國。
往西奔跑數十日後，抵達一個叫大宛的國家。這是中亞的菲爾迦那地區。這個國家的國王很會做生意，由於素聞漢土之富裕，因而企圖借善待張騫打開日後與漢的交易之途。他特地派嚮導和通譯人員，經由康居國，送張騫至月氏國。
被匈奴由敦煌地區趕出的月氏人民，在西方找到的安身立命之處是奧古塞斯河之北——現時烏茲別克共和國之布哈拉至撒馬爾罕的一片富庶沙漠綠洲。他們更征服了在阿富汗北部的大夏。
這一帶的土地相當肥沃，附近更無強敵。他們對現狀非常滿意，逐漸喪失了對匈奴報復的念頭。
張騫再怎麼慫恿與漢結盟，他們還是以如下理由堅持拒絕：「漢與我們相去甚遠，而匈奴並無攻打我們月氏國的跡象。與一方結盟，便形同與另一方為敵。這違背我國的外交方針。」
滯留一年多，未見結盟成立，張騫只有死了這條心歸國。歸途中為求慎重，他避開匈奴，走的是藏人之地，但還是為匈奴發現而被拘捕。
張騫再度為匈奴扣留，大約一年後，軍臣單于去世而發生前述繼位之爭。他遂趁混亂，與匈奴妻子和甘父一起逃回漢。
這時離最初出發已十三年。百餘人的一行中，回來的只剩兩個。
雖然未能達成與月氏結盟這個目的，但過去對西方情形只略知一二，由於張騫之行，而進展為大致明了的程度。
除了張騫親身走過的土地以外，漢更得知他在當地耳聞的有關條支（敘利亞）、黎軒（亞歷山大）以及身毒（印度）等地的事情。
這位大旅行家後來以校尉身份從軍討伐匈奴。通過長年旅行和滯留匈奴國的經驗而熟知水草所在的他，成為漢軍不可多得的嚮導，軍隊得以行動自如。他因此功受封為博望侯。
元狩二年（公元前121年），運氣不佳的將軍李廣與博望侯張騫為了攻討匈奴，共同由右北平出發。
這一年，李廣的堂弟李蔡為丞相。這是行政機構的最高位階。李蔡和李廣一起長大，兩人曾經一同出仕於文帝之下。堂弟李蔡在才華上差自己一大截——李廣對這一點知道得很清楚。而李蔡卻晉陞得非常迅速，現在居然成為丞相！
「我的運氣實在不好！」他又嘆息著發出這句牢騷。
「是不是因為我面相不好的關係呢？」
他畢竟是當時的人，對面相一時頗為看重，故求助於相學權威。當時有一個名叫王朔的人以「望氣」（看氣色而判斷命運）聞名。李廣問此人道：「自從漢與匈奴開啟戰端以來，我可以說無役不參加。但不知道為什麼，我從來沒有立過大功。才華明顯比我差許多的人卻逐一因戰功而受封為侯，因對匈奴戰爭而被封侯的人前後已達數十人之多，我卻遲遲沒有這個機會。難道這就是我的命運嗎？」
對此，王朔反問道：「將軍可曾做過虧心事？」
李廣於擔任隴西太守時代，曾經說服造反藏族歸順，後來卻將這八百餘人悉數殺戮。他認為自己做過的虧心事僅此一件。聽完李廣的告白後，王朔頷首道：「殺害業已歸順的人，此罪非同小可，受報應乃當然之事。」
與張騫共同出陣的元狩二年之後，對李廣而言又是一次噩運。他率領四千騎兵先行出發，張騫則率領一萬騎直追其後。
李廣所率領的四千騎兵，為匈奴左賢王率領的四萬騎所包圍，全軍為之驚慌。李廣將數十騎精兵授予跟隨從軍的兒子李敢，命令道：「你去偵察匈奴陣中情形。」
李敢疾驅匈奴陣中後，回來報告：「敵軍只是為數龐大，不足為懼。」
通過匈奴大軍之中而平安無事，這一點就是最大的佐證，將兵因而相信他的話，認為匈奴軍不值得畏懼。
實際上，匈奴軍隊是精銳大軍，李敢穿越其中而平安歸來，完全是靠他的膽識。李廣是想藉此去除全軍之恐懼心。
李廣於是以圓陣對付四萬騎敵軍包圍。
李廣最拿手的是肉搏戰。以獵虎為例，他一定要讓老虎來到近處才射箭。
——越接近越能使對方受到重創。
這對他來說是自然之理。但從另一觀點而言，這是極其危險的事情，李廣就因此而常被老虎抓傷。
這次戰役他也是為了等敵軍更形接近，故遲遲不發下「射擊」命令。等到敵軍前來肉搏時，方才下令，雖使對方受到重大創傷，但漢軍自己也折損了不少士兵。
激戰兩日後，漢軍已折兵大半。
博望侯張騫率領的一萬騎終於在這時候出現，匈奴軍因而撤除包圍後退。
雖然不算打敗仗，但情形差不了多少。主要責任在於未能如期抵達的張騫，這一點應屬死罪。張騫遂以巨款贖罪，官爵均被剝奪，降為庶人。
雖然李廣奮勇作戰，但以陣亡人數過多為理由，被判「功過相抵」，雖不致問罪，但也未被列入敘獎名單之中。
「我的運氣實在不好！」李廣又一次仰天長嘆。
「李廣的確有軍事才能，不過，他是個掃帚星，這種人絕不能用。」兩年後的元狩四年（公元前119年），於徵討匈奴出發之際，武帝再三交代大將軍衛青。
李廣「運道不佳」之事，不是只有他自己在怨嘆，連所有的人都知道。
李廣已是年邁之人，內心感覺萬分焦躁。他絕不願自己的一生就如此結束，這樣太凄慘了。每次有征戰之議時，這位運氣不佳的老將軍都表示了從軍意願。武帝屢次置之不理，但每次都拗不過他的懇求，最後還是准許了：「你想去就去吧！」雖然如此，武帝對總司令官衛青則不會忘記做前述交代。因為李廣的確是個掃帚星！
李廣一心一意想要恢複自己的名譽。打仗是他唯一的生命意義。三個兒子當中，長子當戶和次子椒都夭折，膝下只剩幼子敢。這位老將軍在家庭方面，也是運氣不佳的人。
這個時代，對匈奴戰爭的主角已由大將軍衛青慢慢變為更年輕的霍去病。霍去病是衛青姐姐的兒子。驃騎將軍霍去病由定襄出發攻打匈奴時，曾經由俘虜口中聽到單于在東方的消息，因而決定到代郡，衛青則到定襄。李廣這時候才如願以償，以前將軍身份出征。
——絕不可用李廣這個掃帚星。
武帝如此交代衛青之事，李廣當然不知道。
衛青經由對俘虜的訊問和得自間者的報告，知道單于的所在地後，就決定與中將軍公孫敖率兵急速前往。同時，他命令前將軍李廣和右將軍趙食其走東道。
東道是極為迂迴的途徑，途上缺乏水草，在大軍行軍和紮營上都極為不便。與單于交戰時，東道是翼部，不能投入主戰場。
李廣對這一點甚表不滿：「大將軍未免太有所偏袒了。」
衛青當年被陳皇后所派的人擄走，險些遇害時，帶同夥伴前往救他的就是公孫敖。
兩年前，公孫敖與霍去病由北地出擊時，兩人走不同的路，結果，公孫敖以未能及時協助作戰之罪，