峽道伏擊戰和鷹擊軍攻下三壩口營寨不太一樣，交州軍士兵還是逃走了數十人，這些敗兵逃回了廣信縣，將漢軍伏擊援軍的消息告訴了主將關羽。
大帳內，關羽心中十分擔憂，他目前只知道從陸路過來的漢軍至少有上萬人，但這是否只是先鋒，後面還有沒有漢軍主力，這些都無從得知，一旦從陸路南下的漢軍有兩三萬人，以他現在的兵力，恐怕守不住廣信縣。
關羽分別派出兩支軍隊去陸路和水路攔截漢軍，使城中的守軍不足五千人，憑這五千人想守住並不算堅固的廣信縣幾乎是不太可能，讓關羽更擔心的是，一旦廣信縣失守，不僅蒼梧郡保不住，而他的兒子關平也難以撤回了。
反覆權衡之後，關羽終於做出了決定，先保住廣信縣，然後再考慮其他問題，他一方面派人急赴番禹，向大哥劉備彙報廣信縣的不利，另一方面，他又派人通知關平和所有灕水守軍全部撤回廣信縣。
應該說，這就是黃忠的圍魏救趙之計，令王平和劉正從陸路向廣信縣施壓，並且虛兵為一萬人，使關羽摸不清底細，他只得被迫撤回灕水上阻礙漢軍南下的軍隊。
而漢軍真正的主力卻是從水路南下，得知交州軍已從離人堡撤離，三天後，數百艘五百石戰船滿載兩萬軍隊和各種物資抵達了離人堡。
離人堡原名叫做漓人渡，位於廣信縣西北兩百里處，原本是灕水兩岸民眾過河的渡口，它是一塊突入江中的巨石，使這一帶的灕水河面寬不足十丈，便於渡河，同時它又有很重要的軍事價值，只要守住漓人渡，便可扼斷灕水上南來北往的船隻。
在三年前，交州軍便在巨石上修建了一座軍堡，叫做漓人堡，久而久之，大家都稱它為離人堡，堡內駐兵兩百人，用來盤查灕水上漢軍派來的斥候，或者逃稅的鹽商。
儘管離人堡地勢險要，可以居高臨下打擊江中的船隻，但要讓它抵禦漢軍主力的進攻，也幾乎是不可能，所以關羽在撤回關平的軍隊後，也知道離人堡的守軍沒有意義，索性將堡中的兩百人也一併撤回，只在堡中留下十名士兵，用來點燃烽火。
早在八百艘漢軍戰船距離離人堡還有數十里時，北方的烽燧便已點燃，警示大隊漢軍來襲，離人堡隨即也點燃了烽火，十名士兵棄堡而逃，不僅是離人堡，灕水沿線的十座烽燧也紛紛點燃，將漢軍主力殺來的消息傳到了廣信縣。
但漢軍並沒有殺向廣信縣，而是在離人堡停止了前進，兩萬漢軍士兵在大將蔣欽的率領下，開始在離人堡旁邊修築軍城，樹木被砍伐，大塊岩石被采來，僅僅數天時間，一座周長十里的軍城便被打下了根基。
當然，漢軍絕不會只修建這一座軍城，在距離廣信縣約百里處，有工匠和士兵在尋找另一座軍城的建造地址，很明顯，漢軍在重施祁山道舊計，沿灕水修建軍城，使漢軍能牢牢控制住灕水，為漢軍奪取蒼梧郡打下堅實的基礎。
漢軍在灕水開始大規模修建軍城，引起了劉備的恐慌，如果蒼梧郡失守，漢軍就會很快殺到番禹城。
越王宮內，劉備獨自一人坐在房間里，思慮著漢軍即將對交州的進攻。
他在長安同樣也有情報機構，雖然消息來得比較晚，往往在事情發生一兩個月後，他才能得到消息，但一些情報還是令他浮想聯翩。
劉備最關注劉璟入住未央宮的消息，這是發生在去年秋天的事情，距今已有數月，但劉備依然很看重這條消息，他可以從中體會到劉璟的一些細微心理變化，這說明劉璟登基為帝的慾望愈加強烈了。
同時也說明劉璟已等不下去，所以他在剛開春便對交州發動攻勢，正好映襯了劉璟的這種迫切心理。
漢軍的南下方案很明顯，修建軍城，儲存糧食和軍資，在蒼梧郡境內建立後勤重地，這種手段和漢軍奪取隴西如出一撤，劉備也不得不承認，這是一個穩健而有效的辦法，對漢軍攻打交州影響深遠。
他絕不能讓漢軍這樣從容不迫的修築軍城，最終一步步蠶食蒼梧郡，但蒼梧郡的軍隊明顯不足，關羽手中只有八千人，而漢軍很可能會增至三萬人，這就意味著他必須向蒼梧郡增兵。
問題是怎麼增兵？他手中一共只有三萬軍隊，張飛在廬陵郡的一萬人要防禦豫章郡的漢軍，不能輕舉妄動，而只有調用番禹城的一萬守軍，可一萬守軍調走，番禹城就成了空城，兩難權衡，著實令劉備難以決策。
這時，一名侍衛在門口稟報：「啟稟主公，軍師來了。」
「快快請他進來！」
劉備心中大喜過望，諸葛亮終於回來了，而且回來得非常及時，片刻，諸葛亮走進了劉備書房，跪下行拜禮，「臣諸葛亮參見主公！」
諸葛亮是奉劉備之令前往交趾，安撫蠻族和占族，給予他們更大的利益，以阻止他們和漢軍結盟，可現在看來，之前司馬懿和占族、蠻族的會談確實是虛晃一槍，目的是為了破壞交州和曹魏結盟，這讓劉備有些慚愧，諸葛亮看穿了這一點，他卻中了劉璟之計，冷待鍾繇，最終使曹魏和交州的結盟無疾而終。
劉備擺擺手，「軍師請坐！」
諸葛亮坐直了腰道：「微臣和占族、蠻族的酋長都進行了會談，他們已明確表態，將在漢軍和交州軍之間持中立態度。」
劉備苦笑說：「他們是什麼態度其實已經不重要了，軍師可聽說漢軍已南下的消息？」
「臣有所耳聞，所以才急切趕回番禹，不知現在情況如何？」
「漢軍兵分兩路，一路走陸地，約一萬漢軍，已進入蒼梧郡，目前駐兵在廣信縣以北三十里處的龍口鎮，另一路走水路，據云長送來的情報，有近千艘戰船，兩至三萬漢軍，目前正在離人堡和米水河口修建軍城，漢軍並沒有急於進攻廣信縣。」
諸葛亮沉思片刻又問道：「張將軍那邊有什麼消息？」
「翼德那邊稍好一點，但也有壓力，翼德來信說，漢軍斥候在廬陵郡和我們巡哨隊發生了幾次激戰，雙方互有傷亡。」
「那關將軍呢？」諸葛亮又問道：「他有什麼要求？」
劉備嘆息一聲道：「他還能有什麼要求，就是希望我們立即增兵，他想出兵破壞漢軍築城，軍隊派少了沒有用，可軍隊派多了，廣信縣又空虛，要被陸路的漢軍趁機攻擊，他很兩難。」
「主公準備派兵嗎？」諸葛亮依然很冷靜地問道。
劉備搖了搖頭，「我就是不知道該怎麼辦？如果派兵去增援蒼梧郡，番禹城又空虛了，所以我想和軍師商量，能不能派民團救援蒼梧郡。」
民團是諸葛亮在交州實施的一種應急措施，主要因為當年北征慘敗，交州軍隊幾乎喪失殆盡，而民眾恐慌，人人都不願從軍，在萬般無奈之下，諸葛亮推行了屯堡民團制，將原本居住分散的民眾集中起來居住，然後在民眾中建立民團，農忙時耕種，農閑時操練，並許與減稅賦的優惠，這樣民眾沒有從軍的恐懼，還能享受稅賦優惠，屯堡民團制便建立起來了。
但實施屯堡民團制的根本目的還是為了獲得兵源，諸葛亮又讓民團參與了離鄉訓練，不斷將一些訓練合格的民團團丁轉變為軍隊，這樣便使交州的軍隊一點點恢複，最終恢複到了北伐前的三萬人。
這其實是一種謀略，溫和地恢複軍隊，民眾的體會不深，反抗也不激烈，至於剩下的十幾萬民團，諸葛亮並沒有考慮讓他們轉為正式士兵，只是作為兵源不足時的臨時補充。
現在劉備提到了用民團去支援蒼梧郡，諸葛亮不由苦笑一聲說：「主公有沒有考慮過這些民團的實際戰鬥力，我可以告訴主公，他們的戰鬥力很低，最多只能在守城時作為正式軍隊的輔助，若讓他們上陣打仗，他們反而會拖累軍隊，會率先潰敗，嚴重影響到軍隊士氣和穩定，另外……我們已經沒有兵甲裝備了。」
諸葛亮終於吞吞吐吐說出了另一個致命的問題，他們沒有兵甲裝備了，當初北征時，交州軍幾乎所有的兵甲都丟在了荊州和豫章郡，府庫中的兵甲只能裝備幾千人。
為此，交州通過和江東貿易，獲得大量生鐵，用於打造盔甲兵器，勉強重新武裝了三萬軍隊，而劉璟在攻滅江東後，嚴禁生鐵流入交州，使得交州無法再打造兵甲，直接斷了交州的兵源裝備。
這是極為毒辣的一招，劉備為此焦慮萬分，一再希望漢國放鬆生鐵貿易，可漢國非但沒有放鬆，反而更加嚴厲，劉璟下達命令，擅自走私生鐵至交州，滿門處斬。
劉備也知道問題嚴重，沒有兵甲，有民團也沒有用，總不能讓民團士兵穿著布衣，拿著訓練用的木刀木矛去打戰吧！劉備低低嘆息一聲問道：「府庫中，不會一點兵甲都沒有吧？」
「倒也不是一件沒有，微臣去交趾前盤查過，還有一千四百餘件，就算建立把兵甲分開，建立刀盾軍和長矛軍，最終也只能裝備三千人，其中一半人還沒有盔甲。」
劉備負手來回踱步，他沉思良久，又回頭對諸葛亮道：「那就先將三千民團轉為正式軍隊，再從番禹守軍中