情況正如李隆基所擔心的那樣，一支兩萬人的關中軍快速部隊在大將鄧景山的率領下，從子午道直插漢中，並在興道縣截斷了高仙芝軍隊的糧道，三萬石待運糧食全部被截獲。
梁州太守兼漢中留後郭英乂聞訊大驚失色，他一方面組織民夫防禦南鄭城，另一方面急派人向高仙芝和哥舒翰報信。
一早，高仙芝便匆匆來到李隆基御帳前，對幾名帳前侍衛道：「請速稟報聖上，我有急事求見。」
高仙芝心中焦急之極，關中軍已經佔領了興道縣，斷絕了自己的糧道，如果郭子儀將這個消息向自己的軍隊宣揚，待糧食出現危機後再大舉進攻，自己軍隊必將慘敗，不容置疑。
當初他力主留五萬軍隊守後方，他們以十萬大軍北上，也不用再分兵兩路，但李隆基不肯，他認為十萬軍奪不下長安，堅持全軍北上，只留數千人運轉糧草，李隆基想得很簡單，只要一舉衝出穀道，進入關中，就不存在後勤保障的問題了。
可事實上，他們進軍緩慢，又臨時改變了行軍路線，致使一次次喪失先機，最後被長安大軍從容布局，將谷口打造成銅牆鐵壁一般，他們怎麼能沖得出去？
高仙芝明白，他們現在就算衝出谷口，也不是別人的對手，李慶安的七萬安西鐵騎就足以橫掃劍南軍，劍南軍擅長山地作戰，在平原上絕不是騎兵的對手。
他現在只希望李隆基能清楚眼前的嚴峻局面，不要再為了一己之欲而喪失了整支軍隊，屆時他李隆基也難以自保。
片刻，侍衛跑出來道：「高帥，聖上命你進去！」
高仙芝快步走進了李隆基的大帳，此時李隆基正在喝一碗燕窩粥，高仙芝快走兩步，單膝跪下道：「臣高仙芝參見陛下！」
李隆基眼皮都沒有抬，淡淡問道：「發生了什麼事？是你決定了再繼續進攻嗎？」
「陛下！」高仙芝有些惶恐道：「南鄭郭太守傳來消息，兩萬關中軍已經從子午道殺進漢中，我們糧道被斷，漢中危險了。」
「砰！」地一聲，李隆基重重將粥碗向地上一摔，粥碗裂成了碎片，他厲聲斥道：「朕三番五次讓你進攻駱谷關，就是擔心糧路被斷，可你不肯，說什麼等待時機，現在時機呢？時機在哪裡？難道你的時機就是我們後路被斷，無路可走嗎？」
「陛下息怒！陛下息怒！」
高仙芝嚇得跪倒連連磕頭，拚命解釋道：「非臣不肯儘力，而是天時地利對我軍極為不利，郭子儀軍隊和我軍兵力相仿，據守雄關，只五千弓弩軍便可射退我三萬大軍，就算臣率大軍拚死奪下關隘，那也會損兵折將過半，到了關中，又怎麼能抵擋得住李慶安的七萬安西騎兵，陛下，事實如此，非五十萬雄兵，不能克關中啊！」
高仙芝提到李慶安，讓李隆基一下子想到了哥舒翰，他心中更恨，至今未打一仗，和李慶安暗通往來，這個高仙芝還有用，得先收拾那個哥舒翰再說，想到這，李隆基臉色稍霽，嘆口氣道：「算了，事已至此，朕發怒也無用，那你說現在該怎麼辦？是戰還是退？」
高仙芝見終於說服了李隆基，心中稍安，便連忙道：「陛下，臣以為在我們糧盡發生恐慌之前，郭子儀不會進攻我們，而現在我們糧食還能支持五天，從這裡返回漢中須三天時間，我們當立即撤軍，也要通知哥舒翰撤軍，這是上策，陛下回蜀中後勵精圖治，待臣練出雄兵數十萬，再出祁山為陛下攻取關中。」
李隆基沉思了片刻，確實也沒有辦法了，他只得點點頭道：「好吧！朕再聽你一次。」
他話音剛落，只聽見遠方傳來了轟隆隆的鼓聲，嚇得李隆基站了起來，「這、這是怎麼回事？」
一名侍衛飛奔而至，在帳外大聲喊道：「陛下，郭子儀大軍撤離駱谷關了，駱谷關的大旗已經降下。」
李隆基先是一怔，隨即大喜，連忙道：「高將軍，這可是機會啊！郭子儀的軍隊居然撤退了。」
高仙芝暗暗嘆息，這不是機會，這是郭子儀的誘餌，聖上怎麼就不明白呢！他苦勸道：「陛下，關中軍佔領興道縣，斷了我們糧道，郭子儀焉能不知，他現在應該是枕兵以待才對，等待我們自亂，可是他卻退兵，說明他也擔心我們撤回漢中，便故意讓出駱谷關，誘引我們繼續北上，一旦我們上當，失去了撤兵的機會，而糧草不繼，那就是我們潰敗的時刻，陛下，不能上郭子儀的當啊！」
李隆基滿腔喜悅，卻被高仙芝一盆冷水潑下，他的臉頓時沉了下來，極為不悅道：「高將軍，什麼事情都有各種可能，你也只是猜測罷了，再說了，就算他是誘敵之計，我們不就是想進入關中嗎？進了關中，還愁沒有糧食嗎？如果連郭子儀都打不過，朕北進關中還有什麼意義，朕已經決定了，不要急於撤軍，先去駱谷關看一看。」
「陛下！」
「不要再說了！」李隆基打斷了高仙芝的話，強硬道：「朕意已決，難道你還要再頂撞朕嗎？」
高仙芝長嘆一聲，只得無奈道：「臣遵旨！」
這一次李隆基下定了決心，不再理會高仙芝的懇求，他逼迫高仙芝軍隊軍隊進駐駱谷關。
一時辰後，劍南大軍進駐了久攻不下的駱谷關，進了駱谷關並非就到關中，還要繼續向北走一百二十里，才到盞屋縣，這才算是進入關中，而郭子儀的大軍一直北撤到了盞屋縣，把沿途所有的關隘都讓了出來。
或許是天意，劍南軍進駐駱谷關的當天，天色便開始轉陰了，黑沉沉的烏雲壓城而來，北風驟起，眼看一場暴雨即將到來。
在山道中遇到暴雨是極度危險之事，很可能會遭遇山洪或者泥石流，那對於軍隊將是滅頂之災，李隆基無奈，只得同意軍隊暫住駱谷關。
當天傍晚，一場夏末的暴雨鋪天蓋地向終南山谷地襲來，大雨傾盆，沖刷著兩邊的峭壁和泥土，泥沙被流水裹夾而下，這場暴雨下了一夜一天，直到第二天中午，才雨勢漸漸變小。
李隆基心急如焚，他幾乎一夜未睡，眼巴巴地看著天色，儘管他是天子，但老天卻不給它的這個兒子一點面子，雨嘩嘩地嚇，令李隆基心焦不已。
但高仙芝卻暗暗高興，大雨的及時到來可謂是上天開眼，幫了他的大忙，為了阻止李隆基北上，他暗中派出自己的親兵，連夜冒著大雨前往前方的山道險峻處進行秘密作業。
下午，雨勢終於停止了，一抹陽光從雲層中透出，將熾熱重新灑向終南山谷地，熱氣蒸騰，剛剛涼爽的天氣又再一次變得悶熱起來。
但李隆基的心情卻大好，他甚至不用通知高仙芝，便直接下達了旨意，「全軍加速前進，次日午後抵達盞屋縣。」
就在這時，高仙芝匆匆趕來稟報，「陛下，臣有緊急情報！」
「什麼事？」
「臣派出的斥候剛才來報，前方二十里處發生了滑坡，大量巨石和泥沙堵塞了道路，軍隊難以前行。」
這個消息讓李隆基剛剛晴朗的心情又再一次蒙上了陰雲，令他心中鬱悶萬分，半晌才問道：「堵路到了什麼程度？需要多少時間能清理好？」
「陛下，因為道路十分狹窄，最多只能容納百人進行清理，據斥候估計，需要百人清理三天，道路才能通，而且前方還有沒有類似的泥石阻路還不得而知。」
李隆基沉吟良久，又懷疑地看了郭子儀一眼，便對身後的楊國忠道：「既然只有二十里，愛卿就和朕一起去看一看吧！」
楊國忠連忙躬身施禮道：「遵旨，臣這就陪同陛下前去。」
高仙芝不敢拖延，立刻安排一隊千人的士兵護送李隆基和楊國忠前去察看災情，山道滑膩，行走艱難，李隆基便坐上了滑竿，讓士兵們抬著他前往滑坡地，楊國忠則跟在後面，深一腳淺一腳跟行，兩次滑倒在地，渾身沾滿泥水，狼狽不堪，他一路暗暗大罵，足足走了一個多時辰，才終於來到了山谷滑坡處，這裡是一條窄窄的上山通道，只能容納三人並行，這段窄道足有三里長。
就在山道中間，果然有大量泥土塞滿了道路足有二十幾丈長，數百塊巨大的山石從山頂滾落，嚴嚴實實地堵在山道中，正有高仙芝派來的百餘士兵在清理，李隆基呆看了半天，情況比高仙芝說的還要嚴重，這處滑坡三天也未必清理得乾淨，更何況前方或許還有泥石阻路。
「陛下，這可怎麼辦？」楊國忠在一旁低聲問道。
李隆基長嘆一聲道：「又能如何？既然上天不給我進關中，我也只能順從天意，回去吧！」
由於糧路被斷，劍南軍的糧草只能再支持四天，李隆基無可奈何，終於下令撤軍，當天下午，九萬餘劍南軍向漢中撤退了。
而就在李隆基撤軍的同一天，褒斜道的哥舒翰軍隊也向南撤軍了，但他們的撤軍卻顯得十分悲戚，軍中的不少隴右士兵都放聲痛哭，他們這次南下，不知幾時才能再回隴右和家人團聚。
悲傷灑淚，以至於有數千名後軍士兵在撤軍半路逃脫，逃回了隴右。
貞治元年七月初，