湘軍的意外崛起，使昏慘慘黃泉路近的大清王朝又看到了起死回生的希望。一時間，朝廷褒獎，紳民歡呼，曾國藩成了滔滔天下的中流砥柱。
按理說，此時的曾國藩應該會呼風喚雨、八面逢源了吧？不是。曾國藩的日子仍不好過。因為體制仍然不順，餉項仍須自籌。咸豐四年四月十四日，湘潭大勝之後僅僅九天，他在長沙給弟弟們所寫信中沮喪地說：
餉項已空，無從設法，艱難之狀，不知所終。人心之壞，又處處使人寒心。吾惟盡一分心作一日事，至於成敗，則不能復計較矣……余近來因肝氣太燥，動與人多所不合，所以辦事多不能成。
也就是說，湘軍籌餉上的困難一如既往。曾國藩仍然經常和他人發生衝突，以致肝氣上升，時常處於焦灼憤懣之中。
問題的焦點在於曾國藩沒有實權。大清王朝各省的實權掌握在省長們也就是總督和巡撫們的手中，他們是全省官僚系統的絕對主人。下級官員的身家性命掌握在他們手中，對他們唯命是從。
曾國藩與督撫們雖然同一級別，在地方官員眼裡卻被視若無物。因為出山之後，皇帝給曾國藩的只是虛銜，既沒有提拔下屬的權力，又很難左右地方官的命運。軍事離不開民事，招兵、選將、購置武器，「處處與地方官相交涉」，而地方官卻往往不予配合。
曾國藩需要實權，這一點皇帝心裡很明白。然而，目光短淺的咸豐卻打起了自己的小算盤：他以前只知曾國藩膽子大，敢於攖皇帝之逆鱗。這次才知道此人本領大，以在籍侍郎，振臂一呼，就集兵數萬，所向披靡。如果他打敗了太平軍後反戈朝廷，那豈不是比太平軍還難對付？即使他不反戈，但由漢人立下拯救王朝之全功，以後滿洲八旗的威信何在？皇帝的如意算盤是讓曾國藩游擊野戰，殲滅太平軍有生力量，最後仍由盤踞在天京腳下的滿族將領收功。因此雖然屢獲大勝，湘軍與清王朝體制上的矛盾仍然沒有理順，曾國藩的處境仍然十分艱難。這種艱難在江西表現得最為充分。
鑒於湘軍是唯一有戰鬥力的部隊，咸豐皇帝命曾國藩出省作戰，支援困境中的江西。
湘軍出省作戰實行的是「就地籌餉」，江西省官僚系統負有供餉之責。其時江西巡撫是陳啟邁。其人氣度狹隘，寸權必爭。在他眼裡，曾國藩不過是一個辦團練起家的在籍官員而已，地位等同紳士，要在江西吃自己的軍餉，就必須對自己唯命是從。因此他對曾國藩指手畫腳，呼來喝去，而所下命令又朝三暮四，令人左右為難。
對這樣一個毫不知兵的巡撫，曾國藩實在無法敷衍，只好拒不從命。這下子惹火了陳啟邁，對曾國藩「多方掣肘，動以不肯給餉為詞」。曾國藩沒辦法，只好自己想辦法在江西籌餉，這又侵犯了陳啟邁的財政權。在他的帶領下，江西通省官員與曾國藩針鋒相對。曾國藩要對商人抽稅，地方官員馬上也抽，強分一杯羹。曾國藩要任用一個地方上的紳士，地方官就扣住不放，甚至對敢於接近曾國藩的紳士打擊報復。蓋有曾國藩關防的捐輸執照，不被地方官員承認，說曾國藩「未奉明詔，不應稱欽差字樣」；又說他「曾經革職，不應專摺奏事」；說他「系自請出征，不應支領官餉」等等，極盡污辱玩弄之能事，大有擠垮曾國藩之勢。曾國藩在江西數年之間步步荊棘，處處碰壁。曾國藩自己說他在江西「事事被人欺侮，故人得而玩易之也」，連與曾國藩積怨很深的王鑫，也不無同情地說：「滌帥遭際若是，直令人急煞」，「滌帥所處真是不易。」
曾國藩忍無可忍，拍案而起，於咸豐五年六月十二日，以陳啟邁「劣跡太多，恐怕貽誤大局」，上奏參劾。陳啟邁所作所為確實讓人無法為之辯解，咸豐皇帝閱之大怒，立刻將陳啟邁革職查辦。
然而，接下來發生的事情又重複了湖南的經驗，這次參劾不但沒有使其他江西官員束手，反而令他們變本加厲。接替陳啟邁任江西巡撫的文俊行事一如陳氏，江西官員在他的率領下團結起來處處給曾國藩下絆子設障礙。甚至曾國藩的兵勇也被人毒罵痛打，遭受侮辱。曾後來在給朋友的信中回憶這段經歷說：「江西數載，人人以為詬病。」又形容當時的苦況說：「士飢將困，窘若拘囚，群疑眾侮，積淚漲江，以奪此一關而不可得，何其苦也。」
當然，使他「積淚漲江」的根本原因，不是江西官員的個人素質，而是咸豐皇帝對自己不信任。在籍之員出山帶兵，本是基於對王室的忠心，不想皇帝卻對他如此提防，曾國藩的寒心和委屈可想而知。他無時不想掛冠而去，但時勢之危與聖人之教又不容許，只好百計隱忍，甘受煎熬，長年寸心如焚。「國藩昔在湖南江西，幾於通國不能相容。六七年間，浩然不欲復聞世事。」「虹貫荊卿之心，而見者以為淫氛。碧化宏之血，而覽者以為頑石。古今同慨，我豈伊殊。屈原所以一沉而萬世不復者，良有以也。」委屈痛苦，溢於筆端。甚至這樣對好友劉蓉說：「所至齟齬，百不遂志。今計日且死矣，君他日誌墓，如不為我一鳴此屈，泉下不瞑目也。」種種不平之鳴，證明這是他一生中精神最痛苦的時期之一。一向對曾國藩多所譏評的王愷運，在編寫《湘軍志》時，也在日記中對曾國藩深表同情：「夜覽滌公奏，其在江西時，實悲苦，令人泣下……滌公言：『聞春風之怒號，則寸心欲碎；見賊船之上駛，則繞屋彷徨』，《出師表》無此沉痛！」
這就是曾國藩所說的「為江西所唾罵」，以及「又參撫臬，丙辰被困南昌，官紳人人目笑存之」的難堪經歷。
正在曾國藩痛苦萬分之時，他接到了父親的訃告。這個噩耗此刻倒成了擺脫困境的天賜良機。他立刻上疏要求回家守孝，並且不等皇帝的回覆，把軍隊拋在江西，徑直回到了湖南老家。
皇帝當然不會批准他在家守孝三年，在回覆中催他立刻回到軍中。曾國藩給皇帝上了一封奏摺，一股腦地把自己壓抑已久的愁苦憤懣都說了出來，期望皇帝會體諒他的苦衷，授予他職權。
曾國藩在奏摺中將官場的潛規則說得很清楚。
他說，帶兵打仗，必須依靠地方官員的支持。「至於籌餉之事，如地丁、漕折、勸捐、抽厘，何一不經由州縣之手？」但地方官員只認他們權力體系內的運轉規則，只聽能掌握他們升遷權力者的話。他名義上為部長級官員，而「文武僚屬，大率視臣為客，視本管上司為主。賓主既已歧視，呼應斷難靈通」。他「身非地方大吏，州縣未必奉行，百姓亦終難可信」，所以「或臣抽厘之處，而州縣故為阻撓；或臣營已捐之戶，而州縣另行逼勒。欲聽之，則深慮事勢之窒礙；欲懲之，則恐與大吏相齟齬」。
他雖有保舉權，但由於所保人員非國家正規軍出身，「徒有保舉之名，永無履任之實」。許多戰功卓著的部下，「雖保舉至二三品，而充哨長者，仍領哨長額餉。充隊目者，仍領隊目額餉。一日告假，即時開除，終不得照綠營廉俸之例，長遠支領」。
他直言不諱地說：「以臣細察今日局勢，非位任巡撫有察吏之權者，決不能以治軍；縱能治軍，決不能兼濟籌餉。臣處客寄虛懸之位，又無圓通濟變之才，恐終不免於貽誤大局。」如果皇帝不給他督撫之權，他就只能「在籍終制」，就是說不復出山。
曾國藩以為他已經把委屈和困難說得夠充分了，皇帝沒有任何理由不給他這個賣命的走狗以必要的支持。沒想到逞婦人之智的咸豐皇帝卻和曾國藩較上了勁。適值此時天京內訌之後，太平軍內部分裂，勢力大衰，看起來已經指日可平，有沒有曾國藩好像也沒有大礙。於是順水推舟，批准他在家守制三年，實際上解除了他的兵權。
這當頭一棒差點把曾國藩打昏。他萬沒料到苦戰數年竟是這樣一個結果。而他的那些宿敵，也就是長沙城中的湖南官員們聞聽此訊卻一個個喜形於色。從傳統倫理上來說，不論曾國藩是何居心，如此要挾皇帝都有違臣道。以前曾國藩以唯我獨忠之態，居高臨下，睥睨眾人。而這次他們可抓住了把柄，舉城跳著腳大罵曾國藩假道學，假忠義。蟄居荷葉塘的曾國藩有口難辯，遂「得不寐之疾」、患了「怔悸之症」，卧病在床。他在給郭昆燾的信中亦稱：「以興舉太大，號召過多，公事私事不乏未竟之緒，生者死者猶多愧負之言。用是觸緒生感不能自克，亦由心血積虧不能養肝，本末均失其宜，遂成怔悸之象。」
更讓曾國藩痛苦的是，建立不世大勛的千載難逢之良機眼睜睜地從自己眼前溜走了。此際正當太平軍由盛轉衰的轉折點，而他偏偏在這個時候回了家。他的許多部下，都因軍功飛黃騰達。比如以知府投身於他的胡林翼早當上了湖北巡撫，以千總這樣的低級軍官身份加入湘軍的楊載福也已經升為二品提督，而他卻仍然是一個在籍侍郎，職位沒有任何升遷。在他離開軍隊的這段日子，湘軍攻陷九江，楊載福、李續賓皆賞穿黃馬褂，官文、胡林翼皆加太子少保，一時榮耀無比。只有他這個湘軍創始人冷冷清清待在家裡，受人嘲罵。曾國藩雖被視為理學名臣，但功名心一向極熾，失去這個