由於張浚和秦檜的反對，皇帝才想著不把劉光世的軍隊交給岳飛主，當然岳飛由於他辭官，由於他建議立儲，所以這時皇帝就更下了決心，這個軍隊絕不能交給岳飛，問題是你對這個岳飛怎麼處理，這個事已經這樣了，皇帝就應該堂而皇之地跟岳飛講，我不能把劉家軍交給你的理由是第一第二第三，我也是為了江山社稷，不是因為你勸我立太子你得罪了我，我才不把劉家軍交給你，不是因為我覺得你兵權太大會造反，我才不把劉家軍給你，如果你真的跟岳飛一二三，把這個利害關係擺清楚，岳飛那樣赤膽忠心、忠心報國的人他肯定是能夠理解這一點的，那這事就完了，說開了唄，皇上愛面子，我不能跟岳飛認錯，我憑什麼跟你解釋，我是天子，我奉天承運，我的話就是聖旨，我說了你就得執行，我犯不著低三下四去跟你解釋，我就不把劉家軍給你，你怎麼辦吧，然後誰去跟岳飛說這個事呢？皇上不能去，跌身份，說句實在話，我再也不想看見岳飛了，我看見他之後又得嗆嗆起來，他又回頭給我氣受，我又不能發作，所以這事我不能去，張浚你去吧，你不是堅決反對把劉家軍交給岳飛吧，那好這事你去，你去跟岳飛商量，岳飛那還傻等著呢，什麼時候劉家軍給我，恢複中原，迎回二聖，什麼時候啊，張浚你去，你跟岳飛商量這個事怎麼辦，張浚就去了，張浚去了這個事也一樣，你跟岳飛實話實說，有什麼說什麼，當面鑼對面鼓你把這話說清楚，岳飛能理解，問題張浚是心裡有鬼啊，是我攛掇著皇上別把劉家軍給岳飛，這岳飛他要是見了我，他質問我怎麼辦，因為張浚挨過岳飛的當面質問啊，岳飛這個人太直，不會給人下台階，他要是質問我怎麼辦，我要是質問我，我應該說什麼，張浚滿腦子琢磨這個事，你就沒想岳飛這個事不質問你怎麼辦？
他把這個簡單的事情給想得複雜了，所以張浚第一個想法就是我一定先把自個兒擇出來，我不能說這個事是我的意思，我不能這麼講，那擇的話也不能把這個事安在趙構身上，這是皇上的意思，也不能這麼講，皇上就怕沒意思才讓我來，我又不願意得罪岳飛，怎麼辦呢？所以張浚就說話就拐彎抹角，張浚就跟岳飛說，說劉光世將軍兵是不能讓他帶了，那麼岳宣撫你看誰接管這次隊伍好呢？岳飛一聽就暈了，不是讓我接管嗎，怎麼現在還來問我，誰接管這支隊伍好，岳飛很不明所以啊，岳飛說聖上不是已有旨意啊？
張浚就在那裝，哦，聖上是有旨意，他提了幾個人選，說讓你幫著參謀參謀，岳飛一頭霧水，本來是我的事，怎麼又提了幾個人先啊，那行我硬著頭皮聽聽吧，你說說那幾個人選是誰呢，韓世忠如何，岳飛一想韓世忠有勇無謀，韓世忠不行吧，楊沂中如何？岳飛說楊沂中典型的有勇無謀，絕對不行，張浚又問，那人張俊如何，他可是你的老上司，張浚把這個話點透了，那個張俊可是你的老上司，岳飛這個時候已經很不耐煩了，你繞來繞去你繞騰我啊，合著你要讓我把所有的將領評價一遍啊，所以岳飛說，張宣撫為人寡恩，貪財，如果讓他指揮劉家軍，只恐士兵不服，這時候張浚又說，那這麼著得了，朝廷準備讓兵部尚書呂祉來領這支部隊，岳飛說呂祉是文官啊，兵部尚書是文官啊，文官怎麼指揮部隊打仗啊，沒有關係，當年劉光世部下兩員大將王德，酈瓊，他們倆可以指揮部隊，岳飛這個時候真的無話可說了，你不知道王德跟酈瓊他們倆不和嗎？原來劉光世在能震住這兩位爺，現在您來一個文官，根本就不懂軍事，指揮部隊，底下弄那倆人不和，他不打起來有鬼啊，張浚一聽這個，我提出的人選全給我否了，於是張浚就不陰不陽的說了一句話，看來這個領兵非你岳太慰不可了，來這麼一句，岳飛一聽就火了，啪一拍桌子就站起來，你問我誰能指揮這支軍隊，你看出來的這些人選，憑心而論我都是秉公而說，我又不是想吞併這支部隊，你說這話什麼意思，行了，這支部隊我不帶了，岳家軍我也不帶了，你們不是嫌我爭權，我都不要了，全給你，又上廬山了。
這樣一來張浚等於是把這事給弄擰了，你這麼陰陽怪氣一將，岳飛脾氣耿直，我為了表示我的清白，你們不是怕我攬權嗎？你們怕我的軍隊勢力做大，行，不幹了，我走了，這一走，得皇上著了急了，張浚你這叫辦的什麼差啊，你怎麼又把岳飛給逼走了，所以皇帝就又下旨，趕緊把岳飛又給請回來，可是這筆賬皇上可給你記著呢，你又來這一套，只要朝廷一不滿足你的要求，你就撂挑子，你就棄官不做，如此要挾朝廷，就是你算準了朝廷離不開你，以此要挾朝廷，所以皇帝氣到頂點了。
這兩誰都不服誰，本來倆人仇就大了，矛盾很深，就是因為劉光世在，看著老大的面子所以咱們都能忍，現在派這麼一個文官來指揮這個部隊，倆人就打起來了。打到什麼程度啊，互相給對方告御狀，狀子告到宋高宗的前頭來了，狀子遞到宋高宗的前頭來，皇上您看吧，有他沒我，有我沒他，這事您看著辦，皇上看了這件事，也不好處理啊，皇帝又不了解前線的情況，這事不好處理，不好處理怎麼辦呢，乾脆啊把王德召回來得了，讓呂祉跟酈瓊來指揮這支軍隊，這事不就解決了嗎？把王德召回來，於是這件事就開始操作，呂祉就在哪兒勸酈瓊，別生氣了，王德馬上要被召回建康了，您忍一忍，忙活半天，結果呂祉文人低三下四，雖然是長官低三下四，這個酈瓊是武將，驕橫跋扈，呂祉很不高興，回到自己營帳當中，呂祉就琢磨這個問題，倆人這打的雞飛狗跳的，是好事啊，他倆一打對我有利，皇上怎麼行此下策，給調走一個啊，你調走一個，就剩這酈瓊了，他在淮西軍中，他在劉家軍中是老人，現在沒有人限制他了，我一介書生，我一介文人，我牽制不住他啊，這事不好，皇上這一招失策。
於是呂祉趕緊給皇帝上疏，意思是說王德不能走，得把王德留下來，而且要把酈瓊的兵權奪去，讓他倆互相牽制，酈瓊太跋扈了，剛才我勸半天他都不聽我的，驕橫難治。萬萬沒想到的是，酈瓊就防著呂祉這一招呢，呂祉身邊有一個書吏，有一個辦事員，是酈瓊安插在這兒的間諜，於是這個人就把這個事兒報告給了酈瓊，說尚書準備把你的兵權奪了把王德召回來，而且一般來講像這種高官的上疏，他不是自己寫，不是自己起草，主要由這些書吏，這些下吏來承辦，因此這封信落到了酈瓊的手裡。
酈瓊拿了這封信遍示諸軍，看看看，這就是朝廷對待咱們，咱們為朝廷出生入死這麼多年，結果咱劉大帥的兵權說奪就奪了，好不容易我能夠領著弟兄們一塊兒干，咱還一鍋里吃飯，咱還一塊兒干，結果現在派來個文官不說，這個人還要建議皇帝把咱們調走，兄弟們你們說怎麼辦？你想這一幫士兵多年跟隨劉大帥，追隨酈瓊這幫人，實際上已經形成了一種私人之間的關係，不是說我是國家的軍隊，這種感覺了，所以這幫人立刻說那反了得了，把呂祉殺了，咱反了得了，哪兒不養活爺啊，咱乾脆投降得了，往北走，咱投降，反正咱老家都在北方，有的士兵可能家眷沒有帶出來，也在北方，咱降了吧，好，酈瓊一拍桌子，這事幹得好，就這樣領著將校進來，就把這個呂祉給捆了，呂祉一個文人嗎，他沒有能力反抗，捆了之後這支軍隊就過江過河，浩浩蕩蕩往北開去，就準備投奔偽齊。
在投奔偽齊過淮河的時候，離淮河還有三十里地的時候，呂祉雖然是文人很有氣節，他不是捆在馬上了嗎，他自個兒一使勁兒骨碌下來了，說什麼都不肯在往前再走一步，你們要投降你們去投降，我生為宋臣，死為宋鬼，絕不過淮水降敵，他不但不過淮水，他還招呼要走的這些將士們，說咱們都是大宋的軍人，世受皇恩，皇帝待咱們不薄，現在酈瓊逆賊要投降金國，咱們難道就忍心去降賊，軍中難道就沒有大丈夫嗎，有沒有人起來振臂一呼，殲此逆賊，他這一嚷嚷，果然很多士兵就開始猶豫了，有幾千人就不走了，因為他的部隊四五萬人，有幾千人就不走了，是啊，呂大人說得對，咱們是大宋的官兵啊，咱如果降敵的話，做漢奸的話，咱有什麼面目去見祖宗啊，不走了，這一不走，酈瓊害怕了，這小子挺能說，回頭他再嚷嚷幾嗓子，萬一這士兵嘩變怎麼辦，於是他給身邊的他的親信使眼色，親信上去亂刀把呂祉砍死，然後呂祉就挾持這些士兵，就投奔了偽齊，這支部隊一過去，多少人啊，能夠占當時宋軍總兵力的五分之一，幾萬精壯之士，一轉眼就變成敵人了，就變成偽軍了。
皇上把張浚給恨透了，都是你出的好主意，結果來了這麼一檔子，好吧，罷相，張浚罷相，貶出杭州，並且高宗發了一個狠誓，寧可亡國絕不用此人，我就是寧可亡國我也再不用你了，你這個人志大才疏，就長著一張嘴會胡說，當年讓你打仗，你給我打成那樣，現在聽你的話削兵權，結果你給我削得好，兵權徹底削了，都跑到人家那兒了，所以寧可亡國絕不用此人，這個酈瓊逃到偽齊，偽齊特別高興，一下來了好幾萬生力軍，而且熟知江南的地形，熟知江南的兵要地誌，多好啊，因此呢就封酈瓊為節度使，酈瓊一下跟岳飛平級了，都變成節度使了，並且呢這個偽齊