眼看劉光世的部隊就要撥歸岳飛了，可是中途又出現了意外。
為什麼會這樣呢？
問題出在張浚身上。
張浚此人一生都力主北伐中原、收復失地，是個強硬的主戰派。但他為人好大喜功，自視甚高，慨然以天下為己任，對於怎麼收復失地、中興朝廷，他有自己的看法。在他看來，岳飛從襄漢上流先取偽齊的北伐屬於奇兵突出，而他的戰略思想是從江淮沿線層層向北推進，堂堂正正地收復失地，屬於正兵北伐。但單就此而言，並不足以破壞這次人事安排，而且，最初他也同意趙構把劉光世的軍隊交給岳飛。
真正讓他坐立不安的是趙構給岳飛的批複，趙構說了：「中興之事，朕一以委卿，除張俊、韓世忠不受節制外，其餘並受卿節制。」
你想想，一旦趙構將中興之事全部都交付給了岳飛，全國軍隊除張俊、韓世忠部外，其餘皆受岳飛節制。那麼岳飛節制的軍隊非但包括劉光世的行營左護軍五萬多餘人，還包括仍為宣撫副使的吳玠行營右護軍七萬餘人、楊沂中殿前司軍的三萬人、侍衛馬軍司和侍衛步軍司軍一萬多人，總計達十七萬多人。
而張浚的職務是都督，本應督領全國諸路軍馬。岳飛「宣撫諸路」，權力急劇膨脹，已經取代了他都督的職位了，那以後的中興大計，還有他張浚什麼事呀？
張浚可受不了這個！
一連痛苦了好幾天，張浚做了個決定：想辦法讓趙構收回成命，阻止岳飛染指劉光世的軍隊。
於是，他就一天到晚在趙構耳朵邊嘀咕些什麼「以合兵為疑」的道理，提醒趙構不要忘記家訓，不要把太多軍隊的指揮權集中在一人身上。並暗示說，有朝一日，岳飛功高蓋世，權傾朝野，事情就不好收拾了。
趙構答應把劉光世的部隊交給岳飛本來就是一時的衝動，早就後悔不迭了。一方面，揚州暴動、苗劉兵變等一系列反面事例給他留下了武人不可輕信、武人權力過大容易威脅到自己政權的印象；另一方面，自宋開朝，就是因為對武人的猜忌太深，才有太祖趙匡胤「杯酒釋兵權」的舉動。所以經不起張浚的攛掇，趙構的思想就動搖了。
的確，趙構又怎知岳飛不會走東晉劉裕的路線？
可是說出的話，潑出的水，要馬上改口，又拉不下面子。
怎麼辦呢？
想來想去，他覺得這種話不好意思跟岳飛當面說，但可以通過發信解決。
於是，他搗鼓了大半日，給岳飛編寫了一封簡訊（札子），稱：「淮西合兵的事，還有曲折，之前發給王德等人的《親筆》，必須由朝廷統一安排，等明確由你節制淮西的軍隊了，才能交付。」其中的意思，羞羞答答，欲說還休。簡訊發出，趙構又委託張浚幫自己擦屁股，去當面做岳飛的思想工作。
張浚拍拍胸脯，這事兒包我身上了。
見了岳飛，張浚裝出一副對之前的事毫不知情的樣子，開始了一場決定南宋國運走勢的談話。「劉光世提前退休了，現在淮西軍中最有人望的非王德莫屬，我打算讓他擔任軍中的都統制，再安排呂祉為都督府參謀，協助他統領這支軍隊，你覺得如何？」
岳飛一聽，莫名詫異，心裡直犯嘀咕，而張浚又一再催問，只好強打著精神說：「淮西軍中魚龍混雜，大多數是叛亡盜賊出身，彼此關係並不好，個個牛氣哄哄、不可一世，互相拆台的事時有發生，如果節制不好，變亂就在股掌之間。你現在提名王德，要知道，王德之外，淮西軍中還有酈瓊；王德和酈瓊不相上下，現在突然由王德任都統制，酈瓊一定不服，到時恐怕會引起內訌。呂尚書雖是文學通才，但終究不習軍旅，鎮不住兵眾。這件事，我覺得必須慎重，得由大將級別的人來接管，不然，後果不堪設想。」
張浚裝出若有所悟的樣子，點點頭，說：「哦——這麼說來，就由張俊接管好了，你覺得怎麼樣？」
岳飛盯著張浚，不動聲色地答道：「張宣撫的確是出了名的宿將，說起來，他還曾經是我的上司。但現在既然是為國家謀劃大事，我就直言不諱，就事論事，要我說，張宣撫為人暴而寡謀，一直以來都為酈瓊等人所不服，恐怕不是最佳人選。」
「唔——」張浚有些陰陽怪氣，他說：「照你這麼說，那就只能安排楊沂中了。」
岳飛目光如電，反駁道：「楊沂中和王德、酈瓊是同一類人，而且現在的職位、威望都相同，他又怎能駕馭王酈等人！」
張浚再也按捺不住了，憤然起身，冷笑道：「說來說去，你的意思無非就是除你之外，誰也接管不了這支軍隊啰！」
岳飛生來耿直，吃軟不吃硬，早看不慣張浚剛才的惺惺作態了，也「霍」地站起，正色回答道：「剛才都督以軍政問飛，飛只是就事論事，豈是為了自己掌兵權！」言罷，拂袖而去。
在離席的那一刻，岳飛異常清楚，接管劉光世軍隊的期望已成畫餅。
果然，不日，趙構下詔督催岳飛從速返回鄂州軍營，同時也發出明令宣布，劉光世原行營左護軍分為六軍，全部歸都督張浚領導，由都督府的參謀軍事呂祉直接管轄，並且由原任行營左護軍前軍統制的王德擔任提舉訓練諸軍。
政令一出，岳飛萬念俱灰。
第二天，岳飛以守母孝為由，向趙構提交了辭職申請。不等回覆，輕車簡從自建康溯江西上，徑往江州廬山東林寺而去。岳飛因為一時氣憤，做出了這樣一個不冷靜的決定，震驚了朝野。
他本人不知道，這一舉動，後果很嚴重，為自己埋下了一顆定時炸彈。也因為這一舉動，他頗受後世的學者專家的譴責和抨擊，說他性情浮浪、行事草率，不懂政治，不知韜晦，小肚雞腸，器淺量窄，易怒易爆，只看眼前利益……
這些批評在一定程度上點出了岳飛的弱點。
但從常理而言，如果岳飛沒有這樣的表現，那就不是岳飛了。
岳飛，是一個普普通通的人，跟我們一樣，食人間煙火，有愛恨情仇，有悲歡喜樂，甚至，因為是個農家子弟，他要比我們很多人單純質樸；因為出身行伍，他的個性剛烈耿直，對是非判斷也易於絕對化；而且少年得志，難免心高氣盛。
史稱他「平日沉默寡言，語不輕發」，是個很安靜、很沉默的人，而一旦看不順眼的人或事，特別是與自己理想、追求相違背的人或事，必「意所欲言，不避禍福」，不妥協、不屈服。
他因為看不慣趙構從應天退揚州、揚州退杭州，越職上書；他因為不能接受王彥「退避敵鋒」的策略，大鬧虎帳，高聲切責；他因為不願跟隨杜充棄走東京，疾呼「中原之地尺寸不可棄」；他因為不能容忍杜充在建康府龜縮避戰，強行闖進杜充的卧室，破口大罵：「金陵失守，相公能復高枕於此乎！」；甚至對恩帥宗澤義授的兵書陣法，因為與自己的看法不同，一點兒面子也不給，以「陣而後戰，兵法之常，運用之妙，存乎一心」的理由將書束之高閣。
因為與收復故土的壯志相悖，他上書「乞將飛母、妻並二子為質，免通泰州鎮撫使」，差點讓趙構下不來台。
紹興四年春將復襄漢，宰相朱勝非好意提醒他，只要旗開得勝，朝廷就授節度使的頭銜。結果他的一句「丞相待我何薄耶」，弄得朱勝非尷尬萬分。
岳飛文武雙全，既有詩人的浪漫情懷，又有英雄的狂傲。
趙構的變卦，在岳飛看來，簡直就是一種開涮、糊弄。
這是岳飛所不能容忍的。
朱熹說：「若論數將之才，則岳飛為勝，然飛亦橫。」又說：「今人率負才，以英雄自恃，以致持氣傲物，不能謹嚴，卒至於敗而已。」
一直以來，受《說岳全傳》的影響，很多人認為岳飛矢志不渝、盡忠報國的思想是一種「愚忠」，而中國歷史上的愛國主義也總是和忠君扯在一起，國家、王朝和君主三位一體，忠君就是愛國，愛國就必須忠君。
岳飛並非如此。
從靖康奇恥到政權南遷，他經歷了宋朝最痛苦、最黑暗的時期，眼睜睜地看著國家山河破碎、白骨盈野，他對女真的憎恨和收復故土的決心與日俱增。他的愛國精神是在國難當頭時挺身而出、誓死以報，他對君主的態度，雖受忠君道德的束縛，但一旦皇帝表現出與自己的理念不符，岳飛選擇的便是忠於自己的理想及目標，不屈從，不盲從。
岳飛的悲劇其實就是封建時代里忠君與愛國不能兩全。
與岳飛相似的是，明末袁崇煥連續取得了「寧遠大捷」和「寧錦大捷」的輝煌戰果，卻因不滿皇帝的賞賜和朝內言官告黑狀而憤然辭職。仔細比較起來，就不難發現，兩人的思想境界並不在一個層次上。
岳飛辭職是因為他看透了當局沒有收復中原的心思，理想破滅，壯志成空，懷著滿腔的悲憤和蒼涼黯然離去。願望越迫切，失望了就會越沉重。如果這種事擱在劉光世、張俊一類人身上根本就不算個事——劉光世現在就很坦然地拿自己的軍隊和趙構