八月下旬，撤銷河東經制司和李綱罷相的消息接連傳到大名府。張所只能召開軍事會議，與王彥、趙九齡、於鵬和六軍統制緊急商量對策。趙九齡說：「依目今事勢，誠恐招撫司朝不保夕，不如在結局之前，做得一番轟轟烈烈底事。據探事者所報，金國二太子已死，虜人已決計南犯。然而目即濬、衛、懷三州，金虜尚未增兵，若不及時用兵，便痛失良機。」
王彥說：「招撫司底軍馬不及萬人，且倉卒成軍，訓練未精，況且秋冬本是虜騎得利時節，若能延至明年夏季出師，方是萬全之策。」
岳飛說：「黃、汪二相公急於與仇寇媾和，全不以軍事為重。李丞相未到行朝，他們掌政一月，有多少四方勤王忠義之師，不辭千里之遠，才到行在，便被遣散，以至衣食無著，行乞街市。我時在御營，目睹此事，唯有痛心扼腕而已。招撫司聚集河北義士，只恐是難聚而易散，若不出師，必被遣散無疑。張招撫、王都統底多少心血，亦須付之東流，又豈不委屈了自家們拳拳報國之志。」岳飛的話打動了眾人的心，大家紛紛表示同意。
岳飛又說：「王都統唯恐招撫司軍勢孤力單，亦是一說。依小將之議，莫如關白東京留守司，請宗留守出兵，並力夾攻三州之敵。」於鵬說：「岳統制之議甚好！」
張所在眾人討論時，一直不說話，卻不時對岳飛投以讚許的目光，現在他的眼光又轉向王彥，王彥說：「既是事勢相逼，已不容不出兵。」張所立即下令說：「於幹辦可星夜去東京，關白宗留守。王都統可否於九月八日率軍渡河？」王彥說：「便可定於此日。」張所又與眾人商定，招撫司繼續招募義兵，王彥率訓練稍精的七千人馬，仍分六軍，作為前鋒，而張所親率其餘人馬和輜重也在五天後出動，作為繼援。會議剛結束，於鵬就匆忙離開北京，前往東京。
出兵日期緊迫，招撫司上下忙碌，為出征做各種準備。一天夜裡，張所單獨召見岳飛，用沉重的語調說：「鵬舉，今有一事，委實不敢相告，卻又不容不告。」岳飛猜不透張所的用意，就說：「便是天大底事，亦望招撫告知。」張所說：「自鵬舉到此，我便命人渡河，前去相州湯陰縣永和鄉孝悌里，只望取寶眷到北京，母子夫妻團聚。令堂賢德，深明大義，毅然命你從軍殺敵，我亦甚欲一見。然而今日所遣人回，言道再三尋訪，而不知寶眷底去向。」這是岳飛自去冬從軍以來，第一次得到家眷的消息。他是大孝之人，聽到母親下落不明，只是不斷抽泣，卻又長久不語。
張所說：「中原慘遭兵燹，骨肉離散，豈止鵬舉一家。若是上蒼哀憐忠良，寶眷遷避他處，日後定有團聚之時。」他勸慰多時，岳飛最後起身說：「如今上自二帝，下至黎庶，全遭虜人荼毒，不報此仇，小將又有何顏苟活人世！岳飛自上書得罪黃、汪二相公，孤孑一身，狼狽離別御營，幸得八六武翼與張招撫關照。士為知己者死，張招撫知遇底厚恩，小將銘感不忘，自今以往，唯有奮身殺敵，以為報答。」張所的厚待，特別是不聲不響地派人尋找自己的家屬，使他產生一種極深的感恩圖報之情，他向張所深深作揖，準備告退。
不料張所上前，執著岳飛的手說：「自家們志同道合，鵬舉何出此言。自次張舉薦，與你一夜長談，便知你是個國士，而非武士之比。我歷觀招撫司諸將，雖都是忠義許國之人，而鵬舉底才武非他人可及。我已命王彥為都統制，不可臨陣易將。鵬舉雖為一軍統制，卻須盡心輔佐王都統，以成收復三州之功。」岳飛雖是個鐵錚錚的硬漢，聽了這番話，兩行熱淚忍不住奪眶而出。他只鄭重地回答了兩個字：「會得！」就再次深深作揖而退。
轉眼間就到了九月八日，招撫司的七千軍隊集結在大名府的教場，準備出發。七千人分前、右、中、左、後、背嵬六軍，其中五軍一千一百人，唯有背嵬軍一千二百人，另有三百人為王彥的親兵，在教場上整齊列隊。晚秋時節，官兵們都按當時標準的軍服制式，身穿緋紅色絲綢袷衣。
前來參加誓師儀式的還有河北東路提典刑獄郭永、大名府兵馬鈐轄劉浩、副鈐轄趙不尤等官員，唯有權北京留守張益謙缺席。張所全身戎裝，手擎鐵撾，騎一匹白馬，在都統制王彥的陪同下，檢閱各軍。官兵們隊列嚴整，精神振作，兵器明亮，特別是「殺敵報國」的高亢呼聲，更給張所帶來幾分寬慰。張所隨即宣讀軍誓，其中特別申嚴軍紀，強調不得姦淫擄掠。
接著就是向出征官兵敬酒，每人飲當地所產香桂名酒一碗。張所特意請郭永為都統制王彥敬第一碗酒，郭永雙手捧著酒碗，說：「請王都統滿飲得勝酒一碗，恭祝招撫司軍收復三州，立大宋中興第一功。」王彥用雙手捧過酒碗，一飲而盡。張所也用雙手捧著一碗蜜水，對岳飛說：「鵬舉，我知你謹遵母命，滴酒不入口，今敬獻蜜水一碗，願你殺敵成功，閤家團圓。」岳飛沒有料想到，自己不飲酒的原委，張所也瞭如指掌，他用雙手接過蜜水，激動地說：「感荷張招撫底厚愛，無微不至，小將委是沒齒難忘。」其他暫時留在大名府的官兵，也向出征官兵逐一敬酒。
出發前的短暫時刻，趙九齡、劉浩和趙不尤特別對岳飛慇勤致意。趙不尤和劉浩緊握岳飛的雙手，互相深情地凝視，趙不尤說：「鵬舉，自家們相處雖短，而相知甚深，只恨不能與你同去廝殺。」劉浩補充說：「唯願鵬舉立得大功，我亦可引以自慰。」趙九齡卻笑著說：「五日之後，我便與正方渡河接應。若你不能立功，又有何面目見我？」岳飛對他們也都深致謝意。
招撫司七千人馬以岳飛所統的背嵬軍為前鋒，出正西寶成門，準備渡過黃河，向西南方向的濬州挺進。大名城內百姓簞食壺漿，夾道歡送，張所帶領官員們一直送出城外。
九月十三日，張所、趙九齡和招撫司所剩的三千軍隊又在教場集中。這支隊伍還準備了四百輛驢車和騾車，滿載著錢糧、冬服、器甲之類，為王彥的部隊作後勤支援。郭永、劉浩、趙不尤等官員還是照例送行。
張所閱兵完畢，正準備出發，權北京留守張益謙卻不期而至。他手持一份公文，面帶得意的微笑，說：「今有急遞傳到朝廷省札，請張招撫遵旨施行。」張所接過省札，只見上面寫道：「三省、樞密院同奉聖旨，河北西路招撫使司結局，其兵馬錢糧改隸權北京留守、大名府路安撫使張益謙，左通直郎張所落直龍圖閣，依舊責授鳳州團練副使，容州安置。」省札最後依次是張愨、汪伯彥和黃潛善三名宰執畫押。
張所對自己的罷官和招撫司的撤銷，已有足夠的精神準備，但卻未料想到自己一片忠心，竟落得流放嶺南炎荒之地的可悲下場，悲憤的心情難以言喻，氣得雙手顫抖。但他還是用最大的努力，使自己鎮靜下來，他說：「張留守，王都統雖已出軍，而錢糧、冬服、器甲尚須供應，我只願以待罪之身，親送輜重至軍前，然後南下容州。」
張益謙譏諷說：「你如今已責授團練副使，豈能再去軍前。你只為成一己之功，置七千義士底性命於不顧，我已命人追回王都統一軍。」張所到此已忍無可忍，他憤怒地說：「張留守，你難道必欲將河北底山川與千百萬生靈，拱手送與仇敵，而後甘心快意！」
郭永看不下去，就說：「既是張招撫不便，我身為一路提刑，亦有守土之責，我願代張招撫前去軍前。」張益謙說：「郭提刑底分地是河北東路，河北西路底事，你不須管得。」郭永說：「收復失地，人人有責！」張益謙說：「朝廷將招撫司底兵馬撥屬於我，你無權統兵。」
在張所、郭永與張益謙爭執時，趙九齡拉著劉浩和趙不尤，低聲耳語，緊急商議，很快取得一致意見。趙不尤手持鐵筆刀，來到張益謙面前，說：「我身為副鈐轄，願代張招撫一行。」張益謙說：「八六武翼，你須遵從朝命，伏我節制，不可亂做。」趙不尤說：「危難之時，江山社稷為重，朝命為輕。河北諸州皆是不從淵聖底詔命，為國堅守。如今又並無不得收復失地底朝命。」他將鐵筆刀一舉，說：「我這桿刀，在河北不知剁了多少番人。我真願傚法當年項羽斬宋義底事，取禍國姦邪底首級，以謝大宋列祖列宗！」張益謙嚇得面如土色，狼狽逃走。
張所上前拜謝趙不尤，他激動地說：「有八六副鈐轄代行，我便死而無憾！」趙不尤再也抑制不住自己的感情，痛哭失聲，說：「蒼天無目，奸佞當朝，損陷忠良。可嘆張招撫忠藎，孜孜國事，竟成遠黜嶺南之罪，天理何在？」他的話使在場的官兵都哭泣起來。
唯有張所本人並不落淚，他對趙九齡說：「次張意欲如何？」平時最愛說笑的趙九齡，此時卻是滿臉沉痛的表情，他說：「我平日自詡最能測知奸人詭謀，不料黃、汪二人蛇蠍之心，竟出我意料之外！我本欲棄官，隨正方南去。然而如今事勢，唯有輔佐八六太尉，方足以告慰正方！」他特別對趙不尤改稱太尉，以示敬意，張所感動地握著趙九齡的手，說：「次張真是我底知己！人生得一知己足矣，何況尚有許多知己！」趙九齡說：「劉鈐轄本意亦欲代正方前去，只為大名府守城，不可無人，而八六太尉又