紮營安慶後，曾國藩將家屬也接到了位於安慶的兩江總督官署。湘鄉風氣儉僕，曾國藩本人又家風嚴謹，所以女眷們都有自己紡紗織布的習慣，歐陽氏和大兒媳劉氏每晚都要紡棉紗，兩人還有工作標準，必須紡到四兩棉紗才罷手。
一般情況下，二更就可以完工，但是這天到了二更還沒有能夠紡完，拖到了三更。曾國藩的兒子曾紀澤早已就寢，歐陽氏就對兒子說，乾脆你也別睡了，我給你講一個笑話，保管能夠叫醒睡魔。
笑話中說有家人也是婆婆媳婦紡紗紡到深夜，兒子被紡車吱吱嘎嘎的聲音弄得忍無可忍，不由得朝媳婦大聲怒罵，揚言要將她的紡車給砸碎。父親在房間里聽到了，立刻呼應道：「兒子，如果你能將你母親的紡車也一起砸掉，那是最妙的了。」原來老頭子也正被紡車聲攪得難以入眠呢！
第二天和幕僚們一起用早餐時，曾國藩將歐陽氏的笑話轉述給眾人聽，眾人無不噴飯。
曾國藩服膺理學，難免給人死板和不拘言笑的印象，其實他並無一般道學家的假正經，反而生性極愛開玩笑。和過去在宿松大營時一樣，安慶時期的曾國藩仍和幕僚們一起就餐，吃完飯大家也照例圍坐在一起聊天，這時曾國藩總會帶頭先奉上一個笑話段子。聽完他的段子，幕僚們肚子都笑疼了，個個東倒西歪。偏偏他自己還不笑，段子結束便以手捋須，正襟危坐，其他人看了更覺可樂，但這時候想笑又不能笑，不笑又止不住，親歷其境的李鴻章說「這真被他（曾國藩）擺弄苦了」。
李鴻章曾經畏懼的早起習慣也仍然維持著，曾國藩打趣地將其稱為「進飯場」，意思是讓幕僚們早起吃飯，如同讓他們科舉入考場一樣。曾國藩的老友歐陽兆熊想回趟老家，曾國藩為之餞行，席間歐陽兆熊忽然對他說：「大家不是不能早起，但起得那麼早，也吃不下飯啊。我今天要回去了，替大家跟您懇求一下，能不能免去『進飯場』？」曾國藩聽後當場笑著點了點頭。
歐陽兆熊回家後給李鴻章寫了一封信，開玩笑說：「（免去『進飯場』後），從此你們睡也睡得香，吃也吃得飽，怎麼報答我？古人在吃飯的時候必然要先供奉恩人，你們每頓飯前是不是也都要感謝我幾句啊？」李鴻章在複信中也同樣報以戲謔之言：「『進飯場』確實已經豁免，非常感謝，非常感謝！只是沒了聚餐，尚齋、申甫（程尚齋、李申甫，均為曾府幕僚）都必須自起爐灶了，恐怕他們還得向先生你要飯錢呢！」
談笑間，湘軍大營那種相對輕鬆愉悅的氛圍能夠想見，這也可以看作是當時局勢轉變的一個具體寫照。此時湘軍已基本肅清上游，且「軍威所至，駸駸直指金陵」，同時他們還得到了朝廷越來越多的倚重和支持。
咸豐病死於熱河時，繼位的載淳才六歲，沒有親政能力，為此他生前留下遺命，讓八位輔政大臣贊襄政務，直至兒子成年親政。八大臣都是咸豐親近的大臣，其核心是載垣、端華、肅順。載垣、端華均為親王，雖位居肅順之上，但二人才智平庸，性格也優柔寡斷，遇事常由肅順做主，所以實際肅順才是八大臣的主心骨。
端華與肅順是兄弟關係，端華是肅順的哥哥，然而端華貴為鄭親王，肅順卻無王爵在身，這是怎麼回事呢？
原來肅順和端華乃同父異母的兄弟，他們的父親鄭慎親王烏爾恭阿娶了一位回族女子為妾，這位回女就是肅順的母親。按照清制，妾所生之子只是閑散宗室，所以肅順才未得封爵，而且成年後即出府另居，家境很一般。
肅順身材魁梧，還長著一雙倒豎眉。在古代卦相中，眉相呈倒八字屬於上相，預示此人今後將有機會獲得成功。不過最初肅順在周圍人們心目中的形象卻是個經常騙吃騙喝的無賴，連親戚朋友都看不起他，見到他都繞著走。只有一個叫墨裕的人覺得肅順可憐，時常予以接濟。
有一年冬天，肅順頭上盤著辮子，身上反披著一件羊皮褂，牽著狗從街頭走過，正好遇到了墨裕。墨裕一看他那破罐子破摔的樣子就皺起了眉頭，問道：「你自己覺得你是什麼樣的人？」肅順倒也知道別人對自己的評價，答道：「無賴。」
「你覺得做無賴很光榮嗎？」
肅順顯得垂頭喪氣：「因無所賴，故無賴耳。」墨裕對他說：「既然這樣，那麼我給你找一個事做，讓你有所賴，如何？」
肅順問要給他找什麼事，得知是做官，他以為是墨裕在跟他開玩笑，於是扭頭就走。不料過後墨裕動用各種關係，居然真的給他在刑部弄到了一個官職。
上任之日，肅順特地備酒筵感謝墨裕。酒過三巡，他突然長跪在地，舉杯向墨裕敬酒，並且說：「沒有先生就沒有我的今日，如果我再不痛改前非，豬狗不如！」