秦檜的如意算盤是：利用三大將之間嫌隙，挑撥他們互相誣陷、自相殘殺。
趙構的答覆於八月八日下達，正式宣布除免岳飛的樞密副使之職，但「記功掩過」，「寵以寬科全祿」，「所以保功臣之終」，特意授岳飛一個「武勝定國軍節度使、充萬壽觀使」的虛銜，「俾就閑祠」去也。
要知道，三人的兵權雖然被解除了，但他們的軍隊還原封不動地駐守在防區上，且以這三個人的影響，軍隊還有被他們策反的可能。尤其是岳飛和韓世忠，他們多年來與將士們一起浴血沙場，患難與共，情同手足且威望素著。將士對他們「有念舊而不能忘者」比比皆是。岳飛的軍隊班底更是由其本人在宜興駐軍期間親自組建起來的，活脫脫就是一支私人武裝。
要消除這方面的疑慮，就必須徹底地肢解這三支軍隊！
這一年岳飛三十九歲，正當盛年，遭受連番打壓，壯志難酬，胸中抑塞，心灰意冷，頗有未老先衰之感。秋夜月朗，半夜夢起，天地寂靜，繞階獨行，感慨故土難復，熱血已冷，頭上華髮催生，自己不再是那個意氣風發、縱橫千里的年輕人，蒼涼無限，寫了一闋《小重山》詞：
第一步，由張俊和岳飛組成二人審核小組，前往韓世忠軍駐地楚州，隨便找個理由，把淮東軍撤回長江南岸的鎮江府。秦檜認為，韓世忠兵權被除，他手下的兵將肯定會產生種種猜疑，再加上調動軍隊，人心就更加惶亂不安，那時，由張、岳二人出面進行彈壓，放大事實，激化矛盾，從而肢解軍隊，黑掉韓世忠。
第二步，擺平了韓世忠，依法炮製，由張俊去搞垮岳家軍。
要說岳飛主張棄守楚州，那絕對是顛倒黑白，無中生有了，岳飛一生高舉「收復」大旗，並為此百戰沙場，怎麼會同意主動放棄國家疆土？倒是張俊拆毀海州城，主動放棄了國家疆土，強押居民南遷，不但沒受到責怪，反而得到了嘉獎。
岳飛了解到此人陰險毒辣，就不怎麼待見他（「遇不以禮」），沒承想，大大得罪了這個小人。
紹興十一年（1141年）七月，岳飛剛回到臨安，就遭到了趙構一頓暴風驟雨般的訓斥。
趙構的訓斥剛過，岳飛又遭到了右諫議大夫万俟的彈劾。
万俟，字元中，產自開封陽武（今河南原陽），是個十足的小人。万俟是由古代鮮卑族的部落名演化成的複姓，讀「莫其」；，則讀「屑」音，是「契」的本字。政和二年（1112年）登第，歷任樞密院編修。南宋紹興初年擢湖北轉運判官，後來又轉升為提點湖北刑獄，岳飛當時任湖北京西宣撫使，「宣撫荊湖」，也就是說，万俟曾在岳飛的轄區上過班。
趙構和秦檜聯手導演了一出蹩腳的「杯酒釋兵權」後，雖然已經順利地剝奪了幾個軍界大牌的兵權，但他們並不會就此罷手。
美國總統林肯曾不無感慨地說過：「寧可給一條狗讓路，也比與它衝突被它咬一口好。如果被咬傷了，即使把它殺掉也無濟於事，得不償失。」從万俟後來的表現看，他就是這樣的一條瘋狗。
万俟調湖南轉運判官，靠上了秦檜，唯秦檜馬首是瞻。秦檜要收三大將兵權，「力助之，言諸大將起行伍，知利不知義，畏死不畏法，高官大職，子女玉帛，已極其欲，盍示以逗遛之罰，敗亡之誅，不用命之戮，使知所懼。」現在，有了秦檜的授意，他更是大行整人之能事，「希秦檜意，譖飛於朝」，一心一意要將岳飛搞臭搞倒。他彈劾岳飛的奏章大意如下：
「樞密副使岳飛自從升官發財以來，志得意滿，不思進取，日益頹廢。今年春季金人大舉入侵，整個淮西疆場一片混亂，皇上再三催促其從鄂州發兵與樞密使張俊互為犄角抵禦強敵，璽書絡繹，使者相繼於道，而岳飛狗膽包天，居然違詔抗旨，不按時出發，遷延再三，以龜速到了舒、蘄二州，又出工不出力，匆匆走過場就回去了。萬幸的是其他各部團結一致，齊心協力，這才將敵人趕走，不然，該死的岳飛阻撓國事，後果不堪設想！六月份，岳飛與張俊視師淮上，他又對淮東將佐大放厥詞，說楚州不可守，沮喪士氣，動搖民心，遠近聞之，無不失望。由此，敬請皇上就地免除岳飛副樞職事，將他趕出朝廷，嚴懲不貸！」（「臣伏見樞密副使岳飛，爵高祿厚，志滿意得，平昔功名之念，日以頹情。今春敵寇大入，疆場騷然，陛下趣飛出師，以為犄角，璽書絡繹，使者相繼於道，而乃稽違詔旨，不以時發，久之一至舒、蘄，匆卒復還。所幸諸師兵力自能卻賊，不然，則其敗撓國事，可勝言哉！比與同列按兵淮上，公對將佐謂山陽不可守，沮喪士氣，動搖民心，遠近聞之，無不失望。伏望免飛副樞職事，出之於外，以伸邦憲。」）
《伊索寓言》里有這樣一頭野驢，和獅子合夥去打獵，打獵結束，自己也成了獅子獵品中的一部分。張俊根本不會想到，自己就是這樣的一頭可恨、可悲，又可憐的驢。
這三條大罪中，第一條或許還有點影兒，岳飛兵權被解，壯志難酬，多少會有點失落。但第二條和第三條就純屬誣陷了。
金人在紹興十一年（1141年）正月十九日正式發動侵略，二月初三日進入廬州。而趙構給岳飛下詔援救淮西的時間卻是二月七日，臨安和鄂州相隔千里，接到詔書，岳飛在二月十一日正式起兵，從時間間隔上看，並無任何拖拉怠工的跡象，而且，岳飛動身前，還主動請纓說：「虜舉國來寇，巢穴必虛，若長驅京、洛，虜必奔命，可以坐制其弊。」又哪裡談得上違詔抗旨？！（「遷延玩寇」和「畏敵避戰」屬於張俊、劉光世等人的強項，奇怪的是，這兩人卻從未因此而受到過彈劾。）二月十九日岳飛抵達淮西地區的舒州時，還收到了趙構發來的《御札》，上面有極其煽情的誇獎：「得卿九日奏，已擇定十一日起發往蘄、黃、舒州界。聞卿見苦寒嗽，乃能勉為朕行，國爾忘身，誰如卿者。覽奏再三，嘉嘆無敵。」
給岳飛列出了三大罪狀：一、生活低迷、意志消沉；二、淮西用兵，違詔抗旨；三、出使淮東，動搖民心。
可趙構還是表現得很激動，他揮舞著奏章說：「哪哪哪，楚州要地，屏蔽淮東，沒有了楚州，通州、泰州就難以再守了，如果敵人穿越通、泰，直取蘇、常，山河搖動！難道這點軍事常識都不懂嗎？！哼哼，張俊和岳飛在楚州閱兵時，據張俊反映，岳飛的確是在軍中揚言，『楚不可守，城安用修』。他為什麼要這麼說？肯定是將士戍守楚州太久，不耐煩了，想換地方，岳飛為了嘩眾取寵，這麼附和博取要譽，這種人，靠不住啊！」
秦檜一個勁兒地點頭，語重心長地說道：「岳飛說這樣的話，是博出位啊！」（「岳飛對人之言乃至於是，中外之人或未知也。」）
第三步，自己親自出馬，直接收拾張俊。
八月初，御使中丞何鑄和殿中侍御使羅汝楫更相繼上疏，重複張俊和万俟的口水話，說岳飛「被旨起兵，則略至龍舒而不進；銜命出使，則欲棄山陽而不守」，此外，又增加了一條，說岳飛一介武臣，「妄自尊大，略無忌憚」，竟然大膽妄為，議立皇儲，熱衷戰爭，反對和平，反對與金國友好相處，實在是「不避嫌疑，而妄貪非常之功；不量彼己，而幾敗國之大事」。勸趙構、秦檜抓緊對岳飛「速賜處分，俾就閑祠，以為不忠之戒」。
這二人是在同一天上疏的，上疏的內容又是如此一致，如果說沒有預謀，很難讓人相信。
而這二人和張俊、万俟一樣，都有一個共同的名字——「秦黨」。他們的所作所為分明是受了同一個人的指使。他們到底想幹什麼，用腳趾頭都能想得出。
按照慣例，台、諫官一旦上章彈劾，宰執就應該引咎辭官了，岳飛無辜蒙受了這些不白之冤，悲憤交加，呈上了辭職報告，稱「臣性識疏暗，昧於事機，立功無毫髮之微，論罪有丘山之積」，「豈惟曠職之可虞，抑亦妨賢之是懼，冀保全於終始，宜遠引于山林」。
昨夜寒蛩不住鳴，驚回千里夢，已三更。
起來獨自繞階行，人悄悄，簾外月籠明。
白首為功名，舊山松竹老，阻歸程。
欲將心事付瑤琴，知音少，弦斷有誰聽。
趙構先是像小學生背書似的將張俊的話一字不差地背了一遍，責問他為何主張放棄山陽（楚州）之地？然後一拍案子，氣呼呼地說：「你這樣做，無非是附和一些無知小人的話以博取聲譽，太令我失望了！」（「山陽要地，屏蔽淮東，無山陽則通、泰不能固，賊來逕趨蘇、常，豈不動搖，其事甚明。比遣張俊、岳飛往彼措置戰守，二人登城行視，飛於眾中倡言：『楚不可守；城安用修。』蓋將士戍山陽厭久，欲棄而之他，飛意在附下以要譽，故其言如此，朕何賴焉。」）
不日，岳飛以一個閑夫野老的身份罷官賦閑，回到江州私邸暫住。岳雲也和父親一起被免職。
這時的岳飛已完全脫離軍隊，一無兵，二無權，不僅對趙構等人的議和乞降大業無力干預，對趙構的統治地位也沒有