曾國藩雖被稱為湘軍的創始人，但他所指揮的湘軍其實最早來自羅澤南。
羅澤南很早就已應湘鄉知縣所邀，投筆從戎，開始編組團練。他募勇的標準和曾國藩相似，主要也是從左鄰右舍的農民中進行挑選。這些農民一開始哪裡知道什麼軍紀不軍紀，即使行軍，喉嚨還是哇哇哇的，跟高音喇叭一樣，羅澤南便讓他的門下弟子們起帶頭作用，每天給這些農民士兵示範，什麼叫坐有坐相，站有站相，以及如何進退行止。
湘軍初建時有三派，一是江忠源的楚軍，二是羅澤南的湘軍，三是王錱的楚軍。楚軍創立最早，曾在湘軍中開風氣之先，可惜衰弱的也最快。王錱是羅澤南的弟子，但他在建軍營制方面不用曾國藩的辦法，且不服從曾國藩的調遣，所以只有羅澤南的湘軍才是曾國藩建軍的基幹隊伍。很多人認為，湘軍實由羅澤南所締造，這支軍隊身上也確實有著鮮明的羅澤南印記，所謂「無澤南，無湘軍」，說他是湘軍之父也不為過。
在把自己編練的湘軍交給曾國藩全面掌握後，羅澤南又成為曾國藩的重要助手，他把軍隊變成了課堂，白天打仗訓練，晚上還組織大家讀書。
湘軍的新兵很多是一字不識的文盲，羅澤南客串老師的角色，從開蒙起步，教他們斷文識字。當然不可能讓農民們讀很深奧的哲學文章，羅澤南只講最淺顯的，比如他會從《四書》《孝經》里擇出片斷，用來闡述做人處事的道理，以及宣講精忠報國這些老百姓能夠接受和理解的東西。
羅澤南有豐富的教學經驗，講課深入淺出，聲情並茂，到動情處時，甚至有聽者被打動得潸然淚下。
這就叫以理學治兵。與此同時，羅澤南還主張「以兵衛民」，堅持打仗以不擾民為本。在湘軍三派中，曾國藩、羅澤南系的湘軍不僅戰鬥力最強，而且軍紀也保持得最好。
羅澤南雖然會拳棒，但畢竟是個讀書人，沒有實戰經驗。可以說在湘軍創建之初，他和曾國藩對湘軍未來究竟能取得多大成就，其實都心中無數。
直到江忠源保衛南昌那一年，曾國藩派羅澤南帶著湘軍前去援救，實際上也是要試一下水。現實是很慘痛的，由於當地官軍沒有按約定進行接應，湘軍遭到了太平軍的伏擊，從而受到重創，戰死八十人，其中包括四名營管，皆羅澤南一手培養的學生。
這毫無疑問是個敗仗，可是卻展現了湘軍的潛力。他們不像官軍一樣貪生怕死，即使在遭到伏擊且無友軍相援的情況下，仍誓死不退。在援救南昌的過程中，雖然湘軍戰死了八十人，但也同時殺死太平軍達兩百餘人，經過此役，湘軍「勇敢之名已大震」，可謂雖敗猶榮。曾國藩據此認為湘軍「果可用」，更堅定了在衡陽練兵的決心。
曾國藩對羅澤南抱有信心，但有一個人卻對羅澤南沒信心，這個人就是塔齊布。
作為職業軍人，塔齊布從來不認可什麼儒將不儒將的說法，他認為羅澤南之輩不過是些在學堂里夸夸其談的書生而已，不懂得什麼打仗，最多也就只能去對付對付會黨之類，若要打大陣仗，還得靠他們這些人。
改變塔齊布這一印象的，是岳州之戰。
曾天養退守城陵磯後，湘軍進入了岳州。在討論如何防守時，塔齊布說當然是駐軍城內，以城設防，羅澤南則提出異議：「岳州四面環水，只有一座大橋可以相通，因此守城不如守橋。」他還願意親率湘軍兩營搶佔要隘，扼守大橋。
塔齊布雖不以為然，但羅澤南年紀比曾國藩都大，又肯親自擔綱，他自然也不便加以阻撓。
不久太平軍再次對岳州發動反攻，果然首先將大橋作為了攻擊焦點。他們在距大橋十里處紮下九座大營，投入進攻的兵力達上萬人，而羅澤南用以抵禦的湘軍不過兩營，才一千人，十對一的比率，數量上相差十分懸殊。
這時候連塔齊布都慌了，但在大橋上負責指揮的「儒將」則異常從容鎮定。