閏八月，宋高宗的一項重大人事安排，就是正式發表呂頤浩升任左相，而杜充超升右相，兼江淮宣撫使，鎮守建康府，全權主持江防。
當時金人尚未舉兵，而建康府的南宋行朝早已籠罩著一片惶恐氣氛。呂頤浩在一次面對時鄭重地說：「臣朝夕思忖，若是虜人南下，當且戰且避，奉陛下於萬全之地。臣雖不才，願死守江上。」宋高宗說：「朕左右豈可無宰相。臣僚們建議，杜充既已來此，不如叫他統兵守江上。」
呂頤浩說：「然而杜充告病，自拜執政以來，便居家休息。」宋高宗說：「朕命內侍馮益與醫官王繼先前去探視，言道杜充端的無病。朕知他不滿於官拜樞副。杜充留守東京，委是有大功於世，若是重用，亦須不次超擢。」樞密院長官的正職還是知樞密院事張浚，而杜充授任同知樞密院事，加一個「同」字，就算是副職，所以簡稱「樞副」。呂頤浩說：「知臣莫如君，進退大臣，自須陛下英斷。」
翌日，宋高宗就發表了左、右相的新命。杜充一面上辭職奏，一面卻來到都堂上班。眾人見他滿面紅光，但誰也不好當面說他前一陣裝病。
接著就是左、右二相共同面對。杜充激動地說：「陛下聖恩深厚，而臣愚淺下材，當國家艱難之際，若不辭避，切恐曠官敗事。」宋高宗說：「朕既是決意用卿，卿便不須辭免。」杜充又激動地說：「陛下聖斷如此，臣雖愚魯，亦唯有策駑礪鈍，以報君恩於萬一！」
宋高宗說：「群臣眾口一辭，以為卿乃是國之柱石，統兵把截大江，非卿莫屬。朕願聞卿有何良策？」杜充說：「軍興以來，臣蒙陛下恩命，先後留守兩京，亦粗知軍情。方今大患，在於軍律不整，賞罰不明，將驕卒惰，臨陣怎生用命？臣以為若是統兵，便須恩威兼施，而威尤須重於恩。祖宗底遺制，以文臣統兵，然而承平已久，文臣少有知兵，又如何統兵？臣以為唯是坐運帷幄，不能躬冒矢石，便不能知兵。」他其實不過是重複了以往對張俊的談話，唯一的補充，則是吹噓自己是個「躬冒矢石」的「知兵」文臣，儘管他從未上過一次戰陣。
宋高宗高興地說：「卿底議論，可謂切中時弊，深通用兵底三昧。今秋虜人如是南犯，卿以為當如何退敵？」杜充還是重複對張浚的談話：「臣以為大江自古號稱天塹，唯有控扼大江，避其銳氣，擊其惰歸。」
宋高宗說：「朕命卿兼江淮宣撫使。卿若能防拓大江，不教虜人南渡，便是大功。依目今事勢，但能與虜人劃江而治，保全得大宋社稷，朕便不憚稱臣納貢。若論擊其惰歸，唯恐勝負難卜，有害無益。」
呂頤浩感到皇帝的苟安心理過強，就說：「陛下若是志在劃江而治，便與虜人共有大江之險，切恐陛下亦不得在大江以南安居。何況大江以北，尚有東、西兩京，是宗廟與陵寢底所在。陛下與虜人國書，願守靖康誓約，以黃河為界，亦只是權宜之計。他日國勢強盛，豈可視兩河如異域。臣以為若有機便，尚須擊其惰歸，使虜人不敢小覷大宋。」
宋高宗不願和宰相爭議，就對杜充說：「卿日後如要反攻，亦須取旨施行。」杜充本來就不過是吹牛說大話，皇帝的聖旨正好給了他機會，他連忙應聲回答：「臣恭依聖旨！」
新官上任三把火，杜充在受任宣撫使的翌日，就坐衙接見眾將。由於建康府的府衙已臨時改為都堂，杜充只能臨時把通判廳改為宣撫使司。按宋時的儀制，官員只有在朝會時才能穿朝服，平時只能穿公服。杜充為了顯示自己的權威，特別趕製了一套簇新的公服，包括帕頭、紫袍、金帶等。他端坐在堂上，前面橫放著一個檀木書案，身後站立兩名吏胥，書案邊站立十名執刀的軍兵。他那高大肥胖的身軀顯得格外臃腫，神色嚴厲，擺出目空一切的驕倨姿態，等待著眾將的參拜。
眾將的參拜並非是一擁而入，集體參拜。杜充別出心裁，特別規定要一個接一個參拜。參拜前須通「謁」，又稱「榜子」，類似現代的名片，得到准許後，方能進入大堂參拜，並且要依事實上廢棄已久的舊制，手執木骨朵，施行「執檛趨庭」的禮節。這種武將參謁宰執的特殊禮制，旨在強調文武之間的尊卑名分。
一名小武官雙手捧著榜子進入大堂，說：「太尉、奉國軍節度使、御營副使劉光世參拜杜相公！」他將榜子恭敬地放在杜充的書案上，杜充威嚴地說：「叫他進入！」兩名吏胥喊道：「劉太尉進入參拜！」劉光世手擎木骨朵進入堂內，向杜充唱喏，口稱：「下官劉光世參拜杜相公！」杜充大喊道：「劉太尉免禮，且站立一旁！」劉光世只能執著木骨朵，站在案前。依劉光世的高官，居然沒有座位，自然滿腹牢騷。
第二名依次進入的是韓世忠。韓世忠打聽到杜充的一些劣跡，現在居然要受杜充的節制，滿心不悅，他在唱喏時有意不自稱「下官」，說：「檢校少保，武勝、昭慶軍節度使，御前左軍都統制韓世忠參拜杜相公！」杜充大怒，回報說：「韓世忠，你且站立一旁！」韓世忠聽到直呼自己的名字，也滿面怒色，他勉強隱忍，手執木骨朵，站立在案前。
第三名張俊為了表示對杜充的不滿，乾脆跟在手棒榜子的武官之後，不等吏胥召喚，直接進入堂內。杜充不等他唱喏，就厲聲大喝：「張俊，你不等傳喚，便徑入大堂，此是甚禮？」張俊卻裝著若無其事的樣子，笑著說：「下官急於參拜杜相公，便等不得傳喚。」他一面說，一面就舉著木骨朵作揖，並且自行站立一旁。
杜充認為受到了羞辱，他咬牙切齒，恨不能立即將張俊斬首示眾，但是他畢竟無權殺一個從二品的節度使。他的目光轉向了給張俊呈送榜子的武官，咆哮著說：「軍興時節，不知尊卑，不依禮節，若不申嚴紀律，又如何用兵破敵？且將這廝押出，斬首示眾！」杜充身邊的執刀軍兵立即一擁而上，不管這名武官怎麼呼天喊地，鳴冤叫屈，還是將他押出堂外。
張俊沒有想到杜充竟給自己如此的下馬威，但他料到求情無用，就裝著無所謂的模樣。韓世忠實在看不過去，他站出來說：「杜相公，此自是張節使不遵禮節。杜相公可斥責張節使，不可殺無辜。」
杜充咆哮說：「你雖是勤王功臣，此處卻不是你說話底所在！你既為兩鎮節度使，尤須服我底號令，且與我退立一邊！」那名無辜的武官當即被砍頭示眾，眾將的參拜禮還是依次進行。杜充憑藉殺人之威，對武將們恣意申斥，頤指氣使。武將們一個個灰溜溜的，神情沮喪。
按宋高宗君臣議定，張俊擔任皇帝的護衛，隨皇帝南逃，他雖然參加了這次參拜，卻並不歸杜充節制，而劉光世與韓世忠兩軍卻須歸杜充節制。第二天，宋高宗接到劉光世和韓世忠兩份奏疏，要求脫離杜充的節制，劉光世在奏中還歸納為「六不可」。這些當然都是他們屬下文士的手筆。
宋高宗單獨對呂頤浩商議說：「杜充雖是嚴峻，然而當軍政廢弛之際，不嚴峻又怎生統兵？韓世忠與劉光世乃是粗人，少能深識義理，朕豈能允他們底奏請。」呂頤浩說：「國難之際，將相不可不和。昨日杜充殺張俊一名武官，亦是太過。陛下須曉諭將相協濟。」
正說話間，張去為上殿，跪下奏稟說：「劉光世與韓世忠在殿門外求對。」宋高宗說：「你可傳朕口宣，他們不服杜充底節制，便不須見朕！」
張去為退下後，呂頤浩繼續說：「今日底事，陛下聖斷煞是英明。然而大江上下千里，杜充統兵十餘萬，亦不可聚兵一處。不如叫韓世忠駐兵鎮江府，以護兩浙路沿江，劉光世駐兵江州，以護江西路沿江。他們受杜充節制，緩急之際，得以犄角相應。」宋高宗說：「便依卿底計議。」
張去為又回殿奏稟說：「劉光世與韓世忠得官家口宣，甚是惶恐，言道願恭依聖旨，服侍杜充。」宋高宗提筆，分別給兩人寫了「將相和，則士豫附」的七字手詔，又分別頒賜銀合茶、藥，叫張去為帶往殿門外。
呂頤浩說：「陛下深得馭將之道！」宋高宗說：「朕不如此處分，又怎生安心移蹕臨安府？」原來早在七月，杭州就升為臨安府，臨安一詞，當然有避難所和安樂窩的雙重含義。
閏八月下旬，宋高宗的行朝離開建康府，沿著水路遷移臨安府，一路上且行且止，直到十月上旬，方才抵達目的地。劉光世和韓世忠奉命帶兵前去江州和鎮江府，這又使他們喜出望外，因為雖然保留了受節制的空名，而終於擺脫了杜充的直接管轄。自從那次參拜以來，他們雖然只能勉強服從聖旨，而與杜充相處，簡直就如同芒刺在背。
杜充直接管轄的隊伍，除了原東京留守司軍外，還包括了御營司其他各軍，他還特別把劉光世的傅慶所部，強行留在建康府，隸屬自己，這又無異於剜去劉光世的一塊心頭肉。建康府的總兵力達六萬人，改編為江淮宣撫司軍，仍由陳淬出任都統制。陳淬向杜充提議，把傅慶所部軍號命名為中軍，而把王貴和徐慶所部中軍併入岳飛的右軍，王貴改任右軍同統制，張憲依舊任右軍副統制，徐慶改任右軍同副統制。杜充算是同意了這項改編。兩軍合併以後，岳飛的右軍兵力擴充到六千五百人。