然而頂級富人曾國藩卻活得像窮人一樣。
離開京城之後，曾國藩不再有出入宮廷之需要。他每天面對的都是自己的同僚和下屬，所以穿衣越來越簡單。豈止簡單，有時候簡直到了不修邊幅的程度。
趙烈文說他第一次見到曾國藩時，曾國藩「所衣不過練帛，冠靴敝舊」。
這一記載得到了外國人的印證。同治二年，戈登在安慶與曾國藩會面，這些外國人驚訝地發現「曾國藩……穿著陳舊，衣服打皺，上面還有斑斑的油漬……」。
直到同治六年，曾國藩已經是太子太保、一等侯，又補授體仁閣大學士，名副其實地「位極人臣」了，可是他所穿的馬褂質地簡陋，又短又小，看起來比普通讀書人還要寒酸。同治六年九月初六日趙烈文的日記中說：
滌師來久談，談次，師脫馬褂置榻上，又少坐即去。余取視榻上衣：佛青洋呢面布里琵琶襟，極短而小，蓋寒士所不屑衣者。為之太息不已。
在吃的方面，曾國藩平生從不講究。有一次宴客，客人發現總督大學士請客居然用瓦器：
竇蘭泉侍御來，予亦陪飲，食鰣魚止一大瓦缶。蘭泉笑曰：大學士飲客，用瓦缶，無乃太簡乎？公大笑而已。
如果說這是因為戰時物質條件艱苦，那麼戰爭結束重現昇平後，趙烈文日記中兩江總督曾國藩每日的飲食也仍然十分簡單。同治六年八月二十八日，趙烈文在曾國藩處閑聊，正好曾國藩的侍衛官拿著一張紙請示曾國藩。曾國藩告訴趙烈文，這是他的「食單」：
材官持一紙示師，師頷之，顧余曰：此何物，足下猜之。余謝不敏。師曰：此吾之食單也。每餐二餚，一大碗一小碗，三簌，凡五品。不為豐，然必定之隔宿。
每頓飯兩個主菜，三個小菜。這在普通老百姓當然是極豐盛了，但是在官員階層，卻是相當寒儉的。不但沒什麼雞、鴨、魚、肉，甚至連火腿都沒有：
余稱佩儉德，因曰：在師署中久未見常饌中有雞鶩，亦食火腿否？師曰：無之……
曾國藩的女兒曾紀芬在回憶錄中說，總督時期的曾國藩請客和出席下屬舉行的宴會，對用菜標準有嚴格要求：
所至禁用燕菜燒烤之席，僚屬皆遵守，相習成風。平日宴客常用之品，惟紅燒魚翅魷魚片及豆腐湯等。
至於住，曾國藩也可以說是天下總督中最不講究的一個。同治元年，幕僚方宗誠來到曾國藩身邊，他這樣描述曾國藩寢室的樣子：
當公夫人未來皖時，宴彭雪芹侍郎於內室，招予陪飲。見室中惟木榻一，竹床二，竹枕二，此外一二衣箱，無他物也。
這一情景在另一位幕僚趙烈文《能靜居日記》同治二年五月初九日條中得到了印證。他記載了曾國藩內室的情形：
今日直詣相國卧室，葛帳低小，布夾被草蕈而已。旁有二小箱，几上陳設紙筆之外，無一件珍物，吁，可敬哉！
不光自己的生活一如既往地簡單，他對家人的要求也一如既往地嚴苛。
同治二年，曾國藩將歐陽夫人、兩個兒子及兩個女兒女婿接到了安慶。
如前所述，曾國藩兄弟分家之後，曾國藩一支只分到五十五畝田地。分家以前，吃大鍋飯，借曾國荃、曾國潢的光，曾家生活水平還算得上不錯。分了家之後，歐陽夫人帶領子女住在「黃金堂」，只靠這五十五畝田生活。既然曾國藩要求自己「以廉率屬，以儉持家，誓不以軍中一錢寄家用」，曾國藩妻兒的生活馬上變得貧窘了，甚至掙扎在拮据的邊緣。曾國藩幼女曾紀芬就曾經回憶說：
先公在軍時，先母居鄉，手中竟無零錢可用。拮据情形，為他人所不諒，以為督撫大帥之家不應窘乏若此。其時鄉間有言，修善堂殺一豬之油，止能供三日之食；黃金堂殺一雞之油，亦須作三日之用。修善堂者，先叔澄侯公所居，因辦理鄉團公事客多，常飯數桌。黃金堂則先母所居之宅也。即此可知先母節儉之情形矣。
歐陽夫人在家手無餘錢，只能事事躬親，下廚燒灶、紡紗織布，無所不為。
歐陽夫人在鄉下的苦日子過夠了，和孩子興沖衝來到安慶，想享享總督家眷的福，沒想到總督府中的日子過得比鄉下還要緊張。
曾國藩給夫人的零用錢很少。方宗誠記載說，歐陽夫人月費僅四千銅錢，折銀二兩，兒媳則減半。這點錢對於一位總督夫人來說，實在是太少了。曾國藩的幼女曾紀芬曾經回憶說：
初文正在日，家中人給月費二緡，爾時物價雖賤，亦苦不足，稍涉奢華之物不能買，亦不敢買也。歐陽太夫人偶喚賣京貨之嫗入署，且為文正公所訶，他無論矣。
曾國藩不許孩子們穿華麗衣服：
余憶幼時所見皆淳樸無華。而余家為尤甚，姊妹姑嫂至一衣遞襲，已詳前記矣。文正素惡紛華，曾手書不準穿大鑲花邊衣五採花裙，蓋今日所視為陳舊者，彼時方矜奇炫異也。
有一次見曾紀芬穿了一條彩色綢褲，就立命她換掉：
憶入金陵督署時，尚未終靖毅公喪，所著為藍呢夾襖及長嫂賀夫人所遺黃綢褲，綴青花邊。文正見而斥以為侈，乃亟取三姊之綠褲易之。此褲亦賀夫人遺物，蓋嫂以遺姑、姑又互相襲用也。
整個總督府中，只有兩位女僕。一位是歐陽夫人從湘鄉老家帶來的老嫗，另一位是大女兒身邊的小丫環。
歐陽太夫人自原籍東下，僅攜村嫗一人，月給工資八百文。適袁姊有小婢一人，適羅姊則並婢無之。
因為人手不夠用，歐陽夫人在安慶花十多千錢，買了一個女僕，曾國藩知道後大為生氣。「房中粗事亦取辦於母氏房中村嫗，乃於安慶以十餘緡買一婢，為文正所知，大加申斥。」歐陽夫人沒辦法，只好「遂以轉贈仲嫂母家郭氏」。
既少月費，又無僕人，那麼總督府中的日子怎麼過活呢？只有自力更手，自己動手了：「文正馭家嚴肅守儉若此，嫂氏及諸姊等梳妝不敢假手於婢媼也。」
曾家的女人們，每天都要進行體力勞動。從洗衣做飯腌制小菜，到紡線繡花縫衣做鞋，都要親力親為。從早上睜開眼睛，直到睡覺，基本上不得休息。
同治七年，曾國藩剿捻回任再督兩江後，為家中女人們制了個工作日程表：
五月二十四日，文正公為余輩定功課單如下：
早飯後，做小菜點心酒醬之類，食事。
巳午刻，紡花或績麻，衣事。
中飯後，做針黹刺繡之類，細工。
酉刻（過二更後），做男鞋女鞋或縫衣，粗工。
在這個日程表後面，曾國藩還提出了工作量的要求，自己將定期檢查：
吾家男子於看讀寫作四字缺一不可，婦女於衣食粗細四字缺一不可。吾已教訓數年，總未做出一定規矩。自後每日立定功課，吾親自驗功。食事則每日驗一次，衣事則三日驗一次，紡者驗線子，漬者驗鵝蛋，細工則五日驗一次，粗工則每月驗一次。每月須做成男鞋一雙，女鞋不驗。
上驗功課單諭兒婦侄婦滿女知之，甥婦到日亦照此遵行。
同治七年五月二十四日。
如此辛苦的總督府家眷，恐怕大清天下找不到第二家了。當時每晚南京城兩江總督府內，曾國藩秉燭夜閱公事，全家長幼女眷都在麻油燈下紡紗績麻，成為中國歷史上的一幅動人畫面。
應該說，和曾國藩一起生活很痛苦。身為總督眷屬，他們需要與同一層次的家庭社交，也需要有自己的生活和娛樂。曾國藩以自己的「聖人」標準，去約束他們的日常生活，勢必讓他們在社會上顯得寒酸落伍，造成他們在社交及生活中的種種尷尬不便。我們可以想像，曾國藩家的妻子兒女們對這位父親和丈夫一定腹誹不止。然而，除了偷偷抱怨，拿這位全天下最剛強又最頑固的老人，誰又有什麼辦法呢？
曾國藩有兩個兒子、五個女兒，早在做京官時期，曾國藩就「議定」每個女兒的嫁妝是二百兩白銀。咸豐十一年六月初四日，曾國藩寫信給曾國潢說，大女兒婚事在即，雖然當了總督，但他還要堅持在北京講好的嫁妝數目：
嫁女之資，每一分奩貳百兩，余多年前在京議定，今不能增也。
咸同時期，物價上漲很快，社會風習變化迅速，二百兩銀子在咸豐十一年其實已經不夠用。到了同治五年，曾國藩的第四個女兒曾紀純出嫁時，這個數目更是脫離實際到了讓人無法相信的地步了。辦婚事時曾國荃正好賦閑待在荷葉老家。他無論如何不能相信大哥只給二百兩陪嫁銀，「聞而異之曰：『烏有是事？』」打開箱奩親自驗看後才相信。「再三嗟嘆，以為實難敷用，因更贈四百金。」送了四百兩銀子給嫂子歐陽夫人，這才打發了四女的婚事。
由於過於脫離現實，曾國藩剛剛去世，他的這套苦行僧式的家規就被兒子曾紀澤打破了。
及惠敏（曾紀澤的謚號）主持家政，稍以文正積存俸余購置田宅，月奉太夫人湘紋十二金，兩嫂各十金，兩房小孩