榔會已成事實上的民間幫會，其規模比生苗都嚇人，往往聚眾上萬，遠遠看去塵土瀰漫，同時藉助於巫師的「作法」，他們整天狂呼歡飲，一副刀槍不入的樣子，哪裡把尋常官兵放在眼裡。
官員們對此束手無策，就連少數嚷嚷著要舉兵「進剿」的，也是嘴上起勁，真要點名讓他去，恨不得即刻卸職回家。
料理這些都得靠胡林翼。胡林翼有多年帶兵打仗的經驗，要擊敗榔會完全不成問題，但他認為榔會事件的起因，還在於官府怠於職守，且與民爭利，如果能解開這個結，便可以化干戈為玉帛。
胡林翼沒有首先派兵，而是委託當地秀才舉人，拿著自己的名片去見榔首，表明商談誠意。可是不管商談中好說歹說，擺事實講道理，榔首們就是聽不進去，胡林翼的名片也被一摔老遠，清官好官的名頭起不到任何作用。
胡林翼明白了，榔首就是存心要作對，對老百姓有利沒利他們不管。看來又得用「雕剿法」了，他立即調集部隊，向事發地點開進。
榔會只是起鬨有一套，沒見識過真刀真槍，猛不丁聽到槍炮聲，早就驚潰四散。胡林翼除了抓捕並處決了一些仍在蠱惑民眾、鬧事作亂的榔首外，余皆不問，同時根據實情核減糧稅，安定人心。
真正安分守己的老百姓，沒有幾個願意跟著榔首一條道走到黑，榔會風波很快就平息了。胡林翼在西南的聲望達到頂點，但他本人卻有了換個地方做官的想法，原因是他在經濟上入不敷出，快維持不下去了。
知府一級的地方官本來是不窮的，每年僅養廉銀就有一千多兩，加上其他收入，日子應該很好過，然而胡林翼立志做清官，不僅從不拿來路不正的錢，還常常要自己掏腰包。比如，他在擔任鎮遠知府時，用士用民，沒有錢是玩不轉的，政府財政有限，出現缺口，胡林翼就只得把自己的俸祿倒貼進去，不然沒法把賬抹平。
胡林翼入黔八年，年年都要如此操作，養廉銀幾乎全墊了進去。由於沒有錢貼補家用，跟著他的家丁嘖有煩言，耐不住清貧的率先腳底抹油走人了，就是幾個忠厚老實的，也已流露去意。
入黔時，胡林翼把老母帶在身邊，以便隨時照料。老太太年紀大了，還患有白內障，沒有人在旁服侍肯定不行。無奈之下，胡林翼只得靠借債度日，但貴州不是京城，熟人朋友很少，也難以借到錢。
胡林翼沒有求財之心，可人總得過日子，母親也必須贍養，與此同時，人一走紅，就必然會招惹紅眼病。那些什麼事也不幹，什麼事也幹不了的傢伙，經常在背後叨叨咕咕，指指點點，說胡林翼「貪功擅殺」。雖然上頭並不會理睬這些閑言碎語，但是這些官場流言聽多了，人心裡總不是個滋味。
在平息榔會風波後，胡林翼便咨請進京，以尋求他調。因為當年的求言求賢運動，他早就被列入了赴京名單，只是前幾任督撫一直不肯放人，才沒有走成。
申請打上去，省府原樣退還：決不能走！
你是不是嫌官職和俸祿低？的確是我們欠考慮，這就給你升，由從四品的知府升正四品的貴東道（轄貴州東部府縣的主官）。
說實話，如果是太平年月，他姓胡的就算能力再強，水平再高，政績再突出，也不至於如此炙手可熱。只能說是時勢造英雄，你不靠胡林翼，難道靠那些酒囊飯袋們去做事嗎？所以一定得求著哄著，哪怕是上司反過來拍下屬的馬屁。
連官都升了，胡林翼就不好意思再提進京的事了。
雲貴方面剛剛鬆了一口氣，又有人跟他們搶人才了，這回要人的依舊是兩湖地區。太平軍發起西征後，兩湖頻頻告急。新任湖廣總督吳文鎔曾任雲貴總督，對胡林翼印象深刻，上任伊時即奏請朝廷調撥胡林翼援鄂。
這次不比求言求賢時期，咸豐一腦門子都是湖北，撲火要緊，其他都在其次，因此立即准奏。皇上說了話，而且態度堅決，雲貴方面就是再捨不得，也只好放人。
離開貴州時，胡林翼帶走黔勇六百人，還有他積八年時間匯聚而成的用兵之道，後編成《胡氏兵法》一書。