馬家渡大戰失利，岳飛被迫撤軍在鐘山駐紮。
一系列訓練下來，這些學員個個練就了非凡的武藝，戰場殺敵便多了一分勝算。
南撤的路上，下起了雪。天幕低沉，前後左右一片白茫茫、灰乎乎。
形勢比計畫變化快，剛到建康府句容縣（今江蘇句容縣）地界，就聽到了趙構已經從臨安跑路的消息。
「怎麼辦？」岳飛拔劍四顧，心茫然。
恰好，同在馬家渡被打散了的劉經和扈成兩支隊伍也流落到了句容。
幾個人一碰頭，交換了意見，最後一致同意南下廣德軍（今安徽廣德縣），蓄精養銳，以觀時變。
「寒色孤村暮，悲風四野聞。」從建康府到廣德軍的路上，一派蕭條景象，說不盡的荒蕪肅殺。
岳飛等人和金兵六度交手，「六戰皆捷」，斬首一千二百一十六級，擒女真、漠兒王權等二十四人。
到了廣德軍的鐘村，又有消息傳來，說趙構出海逃亡，生死不明。
當他覺察到了將士這種苗頭，立刻召集全軍進行整訓。
岳飛手下也有將士躍躍欲試，想以戚方為榜樣，在亂世中佔山頭、喝酒吃肉爽一把。
「蓬生麻中，不扶而直；白沙在涅，與之俱黑。」岳飛雖然出身農家，但父親的正直俠義、母親的知禮識義，使他自小就有了忠奸之辨、正義與邪惡之分；而遇上了劉韐、張所、宗澤等亦師亦友的長輩、上級，更是潛移默化地塑造了他忠義愛國的勇氣和氣節，再加上他本身又喜讀《春秋》一類言大義的史書，使他沒有像張俊、劉光世之流那樣胡亂地生長，終成一代楷模。
當年誰說岳家軍，紀律森嚴孰與鄰。
師過家家皆按堵，功成處處可鐫珉。
威名千古更無敵，詞論數行俱絕塵。
擬取中原報明主，亦勞餘刃到黃巾。
在會議上，他拔刀在自己的左肩上插了一刀，「灑血厲眾」道：「同胞們，戰友們，現在國難當頭，正是我們捨生取義、慷慨赴死的時候，咱們保家衛國，可青史留名。如果咱們趁亂為盜，苟活偷生，到頭來不過枉活一世，遺臭萬年！大家想想，建康是江左形勝之地，就算胡虜暫時盜據，也不足以立國！只要我們發奮起來，萬眾一心，就一定能把胡虜驅逐出境，今日之事，有死無二，擅離者，斬！」（先臣灑血厲眾曰：「我輩荷園厚恩，當以忠義報國，立功名，書竹帛，死且不朽。若降而為虜，潰而為盜，偷生苟活，身死名滅，豈計之得耶！建康，江左形勝之地，使胡虜盜據，何以立國！今日之事，有死無二，輒出此門者斬！」）眾將士大為感慨，軍心慢慢穩定了下來。
不久，劉經和岳飛的隊伍合併在了一起。
岳雲少小有乃父遺風，喜習武藝，《鄂國金佗稡編》卷九《諸子遺事》稱其「手握兩鐵椎，重八十斤」，每次打仗，都是一馬當先，衝鋒在前。
岳飛將這些人按照之前的行伍兵籍集合起來，鼓勵他們說：「團結就是力量，咱們本來就是最富戰鬥力的隊伍，現在又團結在了一起，正是收復中原，建立奇功的大好時機。到那時，咱們身受朝廷封賞，衣錦還鄉，豈不是人間盛事！」
大家熱烈鼓掌，一起歡呼道：「從今以後，惟岳統制之命是從！」
兵馬屯駐鍾村，軍中「糧食罄匱」，岳飛只得「資糧於敵」，以戰養戰，不斷向金人發動襲擊，靠獲取戰利品給士兵提供衣食。
聽說金人進犯溧陽縣，岳飛和劉經帶領了一千人，趁夜向他們發動襲擊，短短兩個時辰不到，斬五百多金兵，生擒金人的同知溧陽縣事、渤海太師李撒八等高級官員數人。
當然，像這樣輝煌的戰果並不是時時都有的。在這段艱苦的日子裡，岳飛以身作則，「與士卒最下者同食」。
很多將士衣不蔽體、食不果腹，面有飢色，但岳飛治軍嚴謹，大家畏懼軍中紀律，不敢擾民，「市井鬻販如常時」。
不久，建康失守，杜充降敵，岳飛這支部隊就和組織失去了聯繫，成為了一支孤軍，彷彿又回到了太行山打游擊那段時間。岳飛「孤軍轉戰，且行且擊」，不斷向趙構所在的臨安方向靠攏。
原江淮宣撫司的水軍也從建康潰逃到了宜興，擾掠吏民，聽說岳飛屯軍在側，恐懼莫名，「即命虜捉舟船、盡載老小，若將遁者」。
岳飛親自寫信，派人送去，好言撫慰，招撫了半數人員過來，悉數納為己用。史稱：「江淮宣撫司右軍統制岳飛自廣德軍移屯宜興縣。杜充之敗也，其將士潰去，多行剽掠，獨飛嚴戢所部，不擾居民，士大夫避寇者皆賴以免」，「常之官吏、士民棄其產業趨宜興者萬餘家」。在這裡，岳飛召集到了很多素質極高的將士，這其中有張憲、王貴、姚政、王萬、徐慶，等等。
杜充從東京帶出的東京留守司部隊里很多士兵都是西北人，他們聽說杜充已經渡江投敵，紛紛前來投奔岳飛。
而這些，只緣於馬家渡那場大戰，岳飛見到了兀朮的「拐子馬」戰術，他深深地知道，如果沒有精湛的騎術和過硬的技擊術，根本不可能與金國騎兵相抗衡。
金兵中的「簽軍」到了宜興地界，聽說岳飛大名，「皆相謂曰：『岳爺爺軍也！』爭來降附」。從金營中投降的「簽軍」前前後後約上萬人。
大軍既已安頓好，岳飛多次派人回故鄉尋找家人下落，終於把自己的母親姚氏、長子岳雲、次子岳雷、弟弟岳翻接到了軍中。
岳雲年方十二，軀幹不豐，表面一副弱不禁風的模樣，實際上卻生得銅皮鐵骨，力大無窮軍中號為「羸官人」。清朝袁枚曾題詩讚岳飛及其雲、雷二子，詩云：「不依古法但橫行，自有雲雷繞膝生。」
而岳雲的母親，即岳飛的夫人劉氏，因不堪忍受寂寞，改嫁了，並未在南來的親友團中。後來，岳珂作《鄂國金佗稡編》，有意為長者諱，將岳雲記作是岳飛的養子。
宋人的筆記曾記有這樣一件小事，岳家軍的一名士兵奉令過長江，當時正遇上「風暴禁渡」，渡船為生的艄公誰也不願過江，這名士兵就單獨駕船過江，眾人大驚，一起勸阻，他卻說：「寧為水溺死，不敢違相公令。」然後毅然前行，在驚濤駭浪之中，越去越遠。
在宜興，岳飛對軍隊進行了整合集訓，史稱：「其御軍也，重蒐選，謹訓習，公賞罰，明號令，嚴紀律，同甘苦。」
一時間人心惶惶，「諸將洶洶欲叛」，其中扈成的部將戚方率先叛亂，他鼓動了一夥不安分的士兵，斬殺了扈成，裹脅軍隊叛亂為盜。
岳飛希望在保全民眾，愛護士兵的基礎上組成一支這樣的軍隊：無論面臨絕境，還是深陷重圍，這支軍隊都一往無前，能夠壓倒一切敵人，而不為敵人所屈服，即使戰鬥到最後一刻，也絕不投降，戰鬥到底。
所以，在每堂訓練課上，岳飛都要訓上一段話，將士兵個人的命運和國家、民族的興亡結合起來，鼓勵大家刻苦訓練。
終於，一支讓金兵聞風喪膽的軍隊新鮮出爐了，這就是岳家軍！
岳家軍紀律嚴明，作風優良，當然，最讓岳飛引以為豪的是它的作戰能力。
在反覆操練各種隊形戰法、衝刺砍殺的既定課程之外，岳飛還特別設置了馬上的各種技藝訓練，當然，在完成這些高難度動作的過程中，都要求士兵「被重鎧」。
很快，岳飛這支部隊的戰鬥力就會在戰場上得到檢驗。
史書記載，有一次，岳雲身披重甲騎馬進行「注坡」訓練，從高山上俯衝下來，到了半山，快速勒馬停駐，因為沖得太急，馬的前足陷入了一個小坑窪里，馬失前蹄，岳雲一個倒頭蔥，身體越過馬頭，狠狠地摔了下來。
岳飛當場斥責道：「難道上陣殺敵，也這樣嗎？」當即下令將他推出去斬首。眾將士大驚，急忙求情，最後打了一百軍棍了事。
正因為如此嚴格的要求，岳雲更加努力練習，練就了一身非凡的武藝。全軍也因此一個比一個刻苦訓練，精熟安習各種技藝，「一皆當百」。
另外，岳飛本人便身懷絕技，他根據自己的多次技擊經驗和實戰心得，分別創造了一套拳法和槍法，親自在教場上傳授，這就是流傳至今的「岳家拳」和「岳家槍」。
南宋嘉定年間的武狀元、中國古代著名軍事家華岳曾在他的兵書《翠微先生北征錄》中不無崇拜地說：「臣聞呈試有四門馬槍，揀指有馬上單槍。岳飛教荊襄之兵，有稽槍射。」他認為：「自近代，善馬射者不善馬槍，所以海隊只選馬槍一十八條、正副旗頭六名，其餘皆系弓箭。立為定製，不容增減。蓋新刺馬軍、新補馬校不練教習，不熟弓馬，兩手挾弓猶恐不能施放，更責以馬槍兼人之能，則彼安能獨辦？要之，一隊皆系老舊馬軍，則令各稽小槍，而不拘以十八人之數；皆系新招生疏之人，則令專事弓箭，而不拘以正副旗頭之額。庶不強人以短，而反害其所長。是謂槍制。」對岳飛的馬上槍擊之技佩服得五體投地。
岳