完顏兀朮從海上狼狽逃回定海縣，立即召集斜卯阿里、烏延蒲盧渾、完顏當海、烏古論少主、韓常和王伯龍六名萬夫長，另加鄭億年，共同會商。他現在終於下定了北撤的決心，說：「康王一時未得擒獲，大金人馬且暫回北方避暑，待明年再行用兵，一舉捉了康王。然而粘罕曾言道，若是回師，亦須在江南留得一個大寨。誰人願留守建康大寨？」六名萬夫長面面相覷，竟沒有一人自願應承。但粗豪的女真人也並非全無鬼點子，完顏當海說：「可叫撻不野保守建康。」於是其他五人一同附議，大撻不野遠在臨安城，正好被其他同僚缺席裁判。
完顏兀朮說：「既是如此，便叫撻不野守建康。大金人馬即日先回臨安，然後沿來路去建康。」韓常說：「告報四太子，如今戰馬不多，自廣德軍到建康，山路崎嶇，此回擄獲財寶甚多，只恐難以陸行。自臨安到鎮江有運河，若得舟船裝載財寶，水陸並行，方得有濟。」韓常知道完顏兀朮爭強好勝，不便明說在廣德軍一帶山路恐怕遭宋軍襲擊。自從岳飛軍在廣德軍拔除金軍營寨，大撻不野南逃以後，完顏兀朮大軍已和建康府的張真奴、蕭斡里也失去聯繫。儘管岳飛用趙九齡的計策，將俘虜李撒八等放回建康城，卻起不到誘敵沿來路回歸的作用。
鄭億年兩次航海，慶幸得以死裡逃生，卻仍是心有餘悸。他雖然投拜，並且得到完顏兀朮的青睞，而對金人的軍旅生活又頗感厭煩和惶恐。他還是有回歸宋朝的意願，那怕是因投拜而受處分，但也害怕將來宋朝果真被金人所滅，自己到頭來還是沒有好下場。他經過一番盤算，就乘機對完顏兀朮說：「四太子雖欲北歸，不可不出榜帖，曉諭南人與康王，宣稱搜山檢海已畢，備述秋冬尚須用兵，教他們休得執迷不悟。下官不才，願攜帶四太子鈞旨南下，傳語康王。」完顏兀朮當然沒有猜透鄭億年的用心，他正感到自己被迫灰溜溜地撤退，很不是滋味，就說：「『搜山檢海』底意思甚好，你便為我寫榜帖。然而康王處不須傳語，傳語亦是無用。你與李鄴等人既已投拜大金，自須引領你們北上，大金當有你們底榮華富貴。」
鄭億年只得陪著笑臉說：「四太子底恩德，下官沒齒不忘。」韓常說：「投拜煞好，如亡宋濟南知府劉豫、御史中丞秦檜，便在撻懶監軍底麾下效力，甚得歡心。」這是鄭億年初次得知秦檜的下落，他說：「更說與四太子，秦檜便是自家底親戚。」完顏兀朮高興地說：「自家曾宴請秦檜，如今秦檜便在江北，你們可同心在大金任官。」鄭億年得知秦檜的情況，內心也略感寬慰。
完顏兀朮率金軍當即返回明州，沿途大肆破壞。金軍在二月三日撤離明州城，並且在全城縱火，城裡甚至還留下了十多名無法行走的女真人的傷病員，也都棄之不顧。完顏兀朮抵達餘姚縣城，又任命守城的裴滿朮列速接替淹死的完顏訛魯補，任萬夫長，一起撤往臨安。二月六日，金軍又在臨安城縱火，大火燒了三天三夜，到十一日開始撤兵，十三日，全部撤離臨安城。
金軍用搶劫的舟船滿載物資財寶，沿運河北上，二月十八日攻破秀州城。二十五日，金軍又從城西南盤門突入平江府城。鎮守平江府的執政周望不顧坊郭人戶的謾罵，在此前已逃之夭夭。金軍又在平江府城縱火，連燒五天，煙焰綿亙百餘里。浙西一帶是當時全世界最豐腴的穀倉，在慘遭浩劫之後，橫屍枕藉，人口銳減，直到多少年後，才逐漸恢復生機。
金軍離開平江府時，其後軍萬夫長完顏當海所部，曾在吳江縣遭宋統制陳思恭軍的攻擊，蒙受了一些損失，但他們還是按原計劃，在三月初繼續進兵常州。常州知州周杞得到金軍北上的消息，深感害怕，他找趙九齡商議，說：「虜人自運河回犯，兵鋒甚銳，我再三思忖，唯是請宜興岳統制發兵，增援城守。」趙九齡說：「周知州不須憂，自家即時前去，教岳統制勾抽兵馬，馳援州城。本州奔牛鎮與鎮江府呂城鎮一帶，若是開閘洩水，使運河乾涸，則虜人底舟船便須膠滯河中，不得運行。」周杞說：「你且速行！」趙九齡辭別周杞，快馬加鞭，急馳宜興縣張渚鎮。
岳飛到宜興不過一月有餘，他花費了很大精力用於安定本地秩序，整飭和訓練軍伍，但近日也已得到金軍沿運河北歸的消息，正召集眾將商議，有軍士稟報：「今有趙秀才前來。」岳飛連忙與眾將出外迎接。趙九齡講明來意，說：「自家們原是計議在廣德軍一帶邀擊虜人歸師，不料虜人竟沿運河北上。今日之計，莫如先據守州城。」岳飛說：「明日便發兵，與趙丈同去常州城。」他當即部署劉經率本軍留守張渚鎮，自己的本軍八將人馬則全體出動。
第二天三月十日，天色未明，岳飛全軍已經集合完畢，整隊前往宜興城。按照慣例，岳飛和傅慶率第一將騎兵充當前鋒，趙九齡也與前鋒部隊同行。他們抵達縣城，知縣錢諶親自出城南門迎接。錢諶說：「下官請岳統制全軍將士在此用午膳，然後進發州城。」岳飛望了望太陽，說：「時辰遠未及正午，周知州直是望眼欲穿，自家們自帶乾糧，須及時行軍，早入州城。」雙方正說話間，有吏胥報告說：「周知州已自北門入縣城。」趙九齡很不高興，說：「周知州何以如此畏怯？援軍未至，便棄城先遁。」
於是岳飛、傅慶、趙九齡等人不得不隨錢諶去縣衙，與周杞會面。周杞此行，帶動了大批官員和坊郭人戶逃難，不大的宜興縣城裡，很快擠滿了數以萬計的難民，需要錢諶安頓。錢諶只是與周杞匆忙見面，又匆忙告別，留下岳飛等人與周杞商議軍事。
趙九齡神情嚴肅，首先用責備的口吻說：「周知州不守城池，卻是棄城而遁，是甚道理？」周杞不免有幾分自恧，儘管是面對一個已無官位的士人，卻只能用辯解的口吻說：「虜人荼毒生靈，極是兇殘，探報已自平江發兵，進逼本州無錫縣。下官左思右想，唯恐岳統制赴援不及，不如先率州城坊郭民戶保聚宜興。」趙九齡又問：「運河可曾開閘洩水？」周杞只得承認：「倉猝之際，未曾開閘，亦未曾關白鎮江府放水。」趙九齡感嘆說：「大宋底官人們，平時高官厚祿，養尊處優，到危難時節，便個個似平江府底執政周望，又如何中興？」說得周杞面色羞紅，十分尷尬。
岳飛是客將，當然不便隨趙九齡奚落本地知州，他馬上發令說：「傅統制，你莫須率馬軍先去奔牛鎮，開閘放得運河水。」傅慶說了聲「會得」，就命令舒繼明統率本將步兵隨岳飛，自己率騎兵立即出發。傅慶走後，岳飛想了一下，說：「虜人進逼無錫縣，已距州城不遠，自家亦須率領軍馬，急速前去邀擊。」他馬上告別周杞和趙九齡，帶兵出城北上。在宜興縣城與常州州治武進縣之間，有一個湖泊，名叫 湖。傅慶的騎兵是走 湖以西，而岳飛的大隊步兵是則走 湖以東。
鄭億年早先曾在鎮江府任官，熟悉這一帶的地勢，他事先已向完顏兀朮警告說：「鎮江府至常州底運河，全是仰賴丹陽縣練湖為水源，常言道，放練湖水一寸，運河水便長一尺。然而南人若於丹陽縣呂城鎮至武進縣奔牛鎮開閘洩水，大金底舟船便不得航行。」完顏兀朮聽取他的意見，所以金軍進攻常州的速度相當快。前鋒斜卯阿里和烏延蒲盧渾的部隊不進常州空城，直奔奔牛鎮，又馬不停蹄地向丹陽縣進兵。由於當天風順，便於行船，完顏兀朮也親統大軍，分水陸兩路，在傍晚時到奔牛鎮一帶屯駐。傅慶的騎兵來到奔牛鎮附近，得知敵人的大軍已經搶先，由於自己兵少，他只能在十日夜間出兵，對奔牛鎮一帶的金軍進行騷擾性的攻擊。
金軍自從在吳江縣遭受襲擊後，就改由萬夫長烏古論少主所部擔任後軍，他奉命率部進駐常州城。金軍進城時，天色已黑，烏古論少主進入州衙，喘息方定，下令全軍飽餐一頓，準備休息一夜，第二天再進行焚殺和破壞。不料金軍正在吃晚飯時，王貴和孫顯率第二將步兵，徐慶和董榮率第三將步兵已分別從城南德安門和廣化門突入城裡，接著，王經等率第四將步兵，寇成等率第五將步兵又分別突入城東通吳和懷德兩門。
岳飛的軍隊從早到晚，經歷了一百幾十宋里的強行軍，當然十分疲勞。他們只能邊走邊吃乾糧，沿途幾乎很少休息。但是，當岳飛聽說敵人已經佔領州城，為了免於州城遭受劫難，還是決定連夜發動攻擊。金軍本來就不習慣夜戰，在宋軍的凌厲攻勢下，很快被逐出常州城。這座州城得以免遭破壞。
宋軍從東、南兩個方向進攻，卻是讓開了城西的逃路，烏古論少主率大部分金軍由城西朝京門逃出，另有小部分金軍自城北偏西的青山門逃出。不料岳飛和張憲指揮其餘第一將、第六將、第七將和第八將步兵又在城外沿途攔擊。
經過一夜的戰鬥，岳飛在十一日天明前收兵回城，共計俘虜金軍一百多人，其中有女真人十一名，包括萬夫長烏古論少主。原來烏古論少主騎馬逃竄時，乘騎中箭倒斃，被姚政第七將的軍兵俘虜。最初還不知他就是這支金軍的統兵官，後來進行搜查，發現他腰部佩有女真文的金牌，得以確認他的身份。這是自宋金開戰以來，首次俘獲金軍的萬夫長。
岳飛親自