原來官軍守住長沙不過是個偶然，太平軍已經強大到了可以攻城拔寨，見誰滅誰的程度了。曾國藩猶豫起來，守孝固然重要，可如果哪一天讓太平軍奪得天下，還會讓他這個前禮部侍郎優哉游哉地在家裡待著嗎？到時候，恐怕連給他自己守孝的人都找不到了。
曾國藩躊躇不決，把很多人都給急壞了，其中也包括他的一些至交好友，這些人紛紛上門來對曾國藩進行規勸。曾國藩囁嚅著說守孝不出是古法，好友們皆不以為然：「古法，那也不必拘泥，而且你素來有澄清天下之志，現在不乘時而出，對得起皇帝的託付嗎？」
到底都是讀書人，為了打消曾國藩關於不孝的顧慮，他們還翻出典故，指出春秋戰國時就有先例，遇到戰事危急，人家照樣穿著喪服行軍打仗，要說古法，這也是古法。
經過整整四天的痛苦取捨，曾國藩終於決定邁出家門，踏出他人生中最重要的一步。
1853年1月25日，曾國藩來到長沙。不去不知道，去了之後才發現不得了，太平軍雖然走了，卻把湖南的火給點了起來。在太平軍的影響下，長沙周圍全是揭竿而起的會黨，什麼串子、紅黑、邊錢、香會，名目繁多，數不勝數，且隱隱然已有燎原之勢。
在咸豐的諭旨中，團練的用途只是用來「搜查土匪」，放個哨啊，報個信啊什麼的，真正剿匪的主力是駐長沙的綠營官軍，可是這些官軍根本就不中用。
在太平軍撤圍北上後，綠營中的精銳已去追擊太平軍，剩下來的都是一些成事不足、敗事有餘的老兵油子。他們去剿匪，動不動就說打了勝仗，擒斬多少多少人，實際是見了對方就跑，或最多端端花架子，用火炮、鳥槍遠遠地放那麼幾下，意思意思，打得著打不著全沒人管。
曾國藩調查了一下，在這麼多剿匪戰事中，竟然從沒有短兵相接的例子，也就是說兵勇們根本不敢進行白刃肉搏。
除了缺乏勇氣，當然也與兵痞們平時不訓練有關，所謂「無膽無藝」。這在綠營中還不是個別現象，周天爵有一次要從廣西省城帶兩百名兵勇去和太平軍作戰，其中一百人好像到了馬嵬坡，賴在地上不肯走，另外一百人如同《石壕吏》的現實版，路上就哇哇大哭起來，恨不得給自己製造一殘疾，以便可以免戰。
周天爵以為到了真正的戰場上會好一些，不料去了之後更讓他哭笑不得：一百人有如見到禿鷹的小麻雀，一百人彷彿裹足之羊，反正都被孫行者施了定身法，就沒一個敢上去拼殺的。
已近八十高齡的周天爵氣炸胸膛，上去用刀砍了兩個，又用箭射了兩個，還是無人敢跟著他往前沖。老將軍無可奈何，只好說了一句：「你們這些熊兵可真厲害，算是讓我知道了什麼叫撼山易，撼岳家軍難。」
顯然，靠老爺兵們難以成事，曾國藩決定改弦更張，獨闢蹊徑，用勇軍來剿匪。
經徵得咸豐同意，他從羅澤南所編練的團練中進行挑選，再在湖南各地增募勇丁，著手建立了一支勇軍，這就是日後名震天下的湘軍，也稱湘勇。至1853年7月下旬，其人數已達四千多人。
勇軍出自團練，但它是升級版的團練，戰鬥力方面完全按正規野戰部隊的標準來要求。在湘軍成立之初，曾國藩便親自在長沙城對其進行了集中訓練和管理。
從小到大，曾國藩沒有當過一天兵，他之所以能練出一支不同凡響的軍隊，是因為拜了一個好老師——明朝名將戚繼光。
戚繼光當然不可能活過來重新授徒，但讀書人就這點比別人佔有優勢，見不到人，他們可以看書，連授課費都省下來了。
戚繼光生前留下兩本兵書，一為《練兵實紀》，一為《紀效新書》，其中詳細記錄了他的「戚氏練兵法」。戚老師很實在，他說我不會講空洞而玄乎的大道理，能做的，就是真金白銀，把方法原原本本地教給你們，所以叫「實紀」；至於以前那些兵法，戚老師認為都顯得有些老套，他教的是新的，讓你看了以後絕對物超所值，所以稱為「新書」。
讓曾國藩激動不已的是，當年的戚繼光也遇到了和他一樣的麻煩，說是要統兵打仗，可手下全是一群扶不起的阿斗。於是戚繼光只好自己重新選兵，並形成了一個獨特的選兵標準。
比如，孬兵們很多是城市裡的遊手好閒之輩，他就選用農村裡老實巴交的莊稼漢。又比如，孬兵們平時能擺出個花架子，打仗時卻一無所能，說明戰場之上，膽量比風度更重要，只有夠膽，敢往刀槍劍戟中沖，才能稱為好兵。
這種標準太對曾國藩的胃口了，他照單全收。