完顏彀英率領金軍追擊到太和縣，隆祐太后一行已經四散逃奔，金軍擄掠到的驅口和財物相當少。自從渡江以來，金軍在平原地區可以縱橫馳騁，卻在一些山區屢遭伏擊。完顏彀英不敢繼續深入山區窮追，就收兵返回洪州城。完顏拔離速等人商議，認為既然宋高宗並沒有向西逃竄，決定對江南西路和荊湖南、北路的重要地區實施破壞以後，退回北方。
十二月二十一日，完顏拔離速和完顏彀英統率大軍撤離洪州，取道臨江軍（治今江西清江）和袁州，進犯荊湖南路。耶律馬五卻在當天指揮後軍五千人，在洪州進行殘酷的屠城。建炎三年的歲末，成了南昌城市史上很可怖的一頁，雖然城裡的財物已經掠奪殆盡，坊郭戶人口也逃散了大半，金軍仍然不放過任何一個在城的男女老少，他們以謀克或蒲輦為單位，挨家挨戶地搜剔殺戮。特殊的例外是僧寺和道觀，儘管金軍明知有一些居民逃進了寺觀，卻並不突入寺觀搜索。二十二日，耶律馬五也率領軍隊撤離洪州，而留下了一座近乎死寂的城市。除躲避在寺觀的人群外，只有很少數隱藏在城市某些角落的人倖免於難。
建炎四年正月，金軍從袁州進犯荊湖南路首府潭州（治今湖南長沙）地界。潭州知州、兼荊湖南路安撫使、直龍圖閣向子諲得到探報後，就召集僚屬們緊急商量對策。一名吏胥進入稟報，說：「今有鳳州團練副使張官人求見。」向子諲與李綱的關係頗好，曾受到黃潛善和汪伯彥的排斥，他自從到本地擔任知州以後，就與張所有所交往，他說：「正方必有奇謀，我當親自迎接。」
張所從號稱炎荒之地的嶺南遷到潭州，還是去年的事。他帶著妻子徐纓絡和十二歲的兒子張宗本，另加一僕一婢，居住在潭州城北里廂。宋時城市的廂作為城區，類似於現代城市的區。就生活而論，張所家並不缺乏衣食，向子諲還不時關照，但張所的精神一直陷入深沉的苦悶之中。特別是最近一段時日，就更關切戰爭的最新發展。張所今年不過四十三歲，當年在開封圍城中還是滿頭青絲，如今卻是鬚髮白了大半。
向子諲把張所迎到屋裡，吏胥進茶，向子諲開門見山地說：「如今虜人兵鋒甚銳，我正須就教於正方。」張所卻反問說：「不知向直閣與眾官人有甚計議？」於是眾官員繼續進行討論，宗室、成忠郎趙聿之是秦王趙廷美的五世孫，論輩份還比宋高宗長一輩。他說：「潭州城西，湘水便是屏障，易守難攻，虜人自東來，城守須以南、東、北五門為重。城中有東南第八將兵馬八指揮，軍額亦不過三千六百人，如今尚未及二千人，難以把截。勢須勾抽各縣鄉兵，與城中坊郭戶男丁，同共防拓。」東南第八將還是宋神宗時編組的駐軍軍號，正將、武經郎劉玠說：「我願統兵把截東二門。」所謂東二門是指小吳門和瀏陽門。
通判孟彥卿說：「目即聞得虜人大兵殺來，人心惶惶，坊郭戶往往逃奔出城。」向子諲說：「此須揭榜，禁止官吏士民，並不得出城。唯有死守城池，方得免兵禍。」他對另一通判趙民彥說：「便請趙通判寫一榜帖，命書吏謄錄，在城中四處張貼，曉諭官吏士民。」
等眾官員發言完畢，向子諲又對張所發問：「正方有甚計議？」張所說：「州城雖是西臨湘水，亦須相機設防，以免疏失。聞得京東有盜賊劉忠近日流竄荊湖，盤踞白面山，白面山在岳州平江縣、本州瀏陽縣與江西洪州分寧縣之間，山險重複，營柵相望，有三萬餘人。若得傚法當年開封底宗留守，招安劉忠，此亦是禦敵底一計。」
向子諲說：「此議甚是，我當修書一封，命信實人前去招安。」張所說：「聞得劉忠凶悖，若是貿然將劉忠底部伍引至城中，切恐有意外之變，亦須預為關防。我願去白面山，以便相機行事。上策莫過於統劉忠之兵，攔截虜人於來路，以保州城之安。」向子諲面有難色，說：「正方歷盡磨難，豈可親自蹈危履險，前去龍潭虎穴。」張所說：「士大夫處亂世，唯當為江山盡節，豈有他說。」
當天晚上，向子諲特別把徐纓絡和張宗本也請到州衙，親自為張所餞行。當酒酣耳熱之際，張所想起了五年前從開封圍城中縋城而出，準備去河北組織救兵的往事，不由感慨萬端，就起立舞劍，悲歌當年的一曲《南鄉子》：
殺氣亙皇州，鐵馬嘶風撼角樓。
天下阽危如累卵，堪羞！
政府諸公無遠謀。
何處覓吳鉤？洗淨煙塵解國憂。
相顧滴滴離別淚，休流！
須斷頭時便斷頭！
向子諲聽著這闋悲歌，總覺得有點不祥，他離席起身，給張所敬一盞酒，說：「正方只為國事之重，不惜輕擲千金之軀，唯願正方成功！我自當用心看覷你底妻子。」張所與妻兒、眾官員訣別之後，帶著兩名吏胥，連夜啟程。向子諲等人和徐纓絡、張宗本一直把張所送到城外，彼此依依惜別。
張所趕往白面山寨，幾經曲折，終於會到了劉忠和他的副首領文廣，這群盜匪的特徵是個個頭戴白氈笠，又在額上刺花，所以人稱「白氈笠」或「花面獸」。兩人在見面之初，對張所相當客氣，文廣特別說：「張招撫名滿天下，今日幸得一見。」張所經過仔細觀察，知道這兩人都是來自社會下層的不識字的粗人，就說：「虜人荼毒黃河、大江南北，你們必是在北方不得存身，只得離鄉背井，來到荊湖。」文廣說：「自家底老小便是被虜人所害。自家們委是不得在京東存身。」
張所感到是一個機會，他決定暫時先不談招安的事，說：「你們可知得虜人進犯，此亦是報仇底機便。我此來，只為與你們共商殺敵大計。」劉忠說：「我已聞得虜人進犯潭州界，然而此處是岳州界。寨中除老小外，能戰底男丁不過萬餘人。人不犯我，我不犯人，切恐難以與虜人大軍相抗，不如且把截山寨。」
文廣說：「寨中戰士又有多少血屬被虜人驅擄斬馘，深仇大恨，豈可不報？自家們須帶兵出寨，與虜人交陣。」劉忠說：「自家們敵不得虜人，何須前去。」張所說：「我本是一個罪廢底人，然而念天下萬姓有血淚之痛，江山有累卵之危，不敢在亂世偷安。我曾在河北任官，尚是粗知虜人情實，稍諳兵法，願與你們下山，同共廝殺。」
文廣說：「若得張招撫同去，煞好！」劉忠說：「去不得！」文廣憤怒地站立起來，說：「你不願去，可在此守寨，我當統兵下山！」劉忠拗不過文廣，就說：「你可統六千人馬前去。」張所也站起身來，說：「既是如此，我當隨文首領前去。」
不料劉忠起立，攔阻張所說：「張招撫跋涉辛勞，且留寨中稍憩，我另有緊切底事，須與張招撫計議。」文廣也說：「張招撫初到敝寨，不須煩勞。」張所通過剛才的談話，開始對文廣有幾分好感，而對劉忠卻有幾分惡感，當然願意與文廣一同下山，但面對兩人共同挽留，也只能勉強留下。
文廣走後，兩人重新坐下，張所問道：「劉首領有甚計議？」劉忠說：「山寨之中，俱是粗人，我思忖多時，須得一個秀才充當謀主，今日張招撫到此，豈非是天意！」張所說：「教我做謀主不難，然而你們須聽我計議。」他說著，就取出向子諲的招安書信，對劉忠念了一遍，又苦口婆心地作了解釋。
劉忠卻表示拒絕，說：「我底意思，便是乘亂世快活，豈願伏朝廷指揮。張招撫既是罪廢，便是朝廷無道失德，張招撫又何須聽命於朝廷，不如在自家們底山寨中快活。」張所到此也只能拒絕對方，說：「我是一介儒生，粗識義理，世受宋恩，雖是含冤負屈，亦不忍背叛朝廷。劉首領亦是鬚眉男子，須知為國盡忠，是人生底第一大節。」
劉忠站立起來，開始吼叫：「張招撫既是不願當我謀主，便須吃劍！」張所也站起身來，說：「劉首領，我願冒險來大寨，便是不惜性命！大丈夫處於亂世，尤須遵大義，守大節，我願劉首領亦做一個大丈夫。」劉忠說：「我只圖快活，不須做大丈夫！」他當即吩咐匪徒，把張所和兩名吏胥關押在一小間空屋，並且斷絕飲食。
張所經過一夜思考，第二天在屋裡大喊，說：「我願見劉首領！」此時劉忠也正帶著一群匪徒前來，開門以後，劉忠首先說：「張招撫，你可願伏我？」張所說：「我不能伏你，然而我底兩個隨從無辜，你須先將他們釋放，然後緩緩計議。」劉忠想了一下，說：「依得！」兩名吏胥向張所作揖告別，張所只是說了一句話：「你們須稟白向直閣，我當為朝廷盡節！」
劉忠把張所押往廳堂，張所只見桌上已經擺了酒宴，他雖然飢腸轆轆，卻不肯就坐。劉忠說：「張招撫，世人無不好生惡死，難道你便是別有肝腸？你若是依我，便請坐下，滿飲三盞。」張所感嘆說：「好生惡死，固是人之常情。你亦當聞知，如靖康開封圍城之中，有梅尚書、李侍郎、吳統制等，便是慷慨就義底人。」他想到了死難的梅執禮、李若水、吳革等人，不由落下了幾滴淚。
劉忠雖然沒有文化，卻也有他的心計。他已經發現文廣對張所頗有敬意，認為如果文廣回寨，自己肯定殺不了張所，而將不肯投降的張所留在寨中，或者放走，肯定是日後的禍