鎮遠給予胡林翼的真正考驗，還是僻遠山區里的生苗。
苗人有生苗熟苗的區分，稱得上是懂事的比誰都懂事，渾蛋的比誰都渾蛋。所謂熟苗，就是懂事一些的苗人，這撥人由土司管理，懂漢語，納糧當差一個不少。生苗與之相反，無組織、無紀律、無法令，而且動不動就要出來盜劫一番，對鎮遠地方的安寧構成了嚴重威脅。
過去鎮遠官府曾多次組織入山清剿，但生苗平時居住於深山幽澗，他們行動敏捷，飛梭來去，官軍浩浩蕩蕩開進山裡，卻只能像猴一樣被耍得團團亂轉，次數多了，便失去了再次進山的勁頭。
省里把胡林翼調到鎮遠，一個重要目的就是寄望於他率安順綠營過來平亂。可是胡林翼對綠營兵的能力心中有數，安順綠營與鎮遠綠營都沒什麼區別，完全可以用三個字來形容，叫作「悍而惰」。這個悍可不是戰鬥力強悍的悍，而是驕悍的悍，此輩也就是見到老百姓比較牛，見到稍微強一些的對手，你就是告訴他殺人不犯法，他也下不去手，整個一群豆腐渣子。
兵不可用，胡林翼棄「兵」用「民」，具體來說就是官出錢，民出力，組織團練進山清剿。
有人說，當兵的都不肯進山，老百姓怎麼肯去？這是因為雙方利益息息相關，生苗下山，剽掠盜劫，苦的都是居於鎮遠的百姓，有政府號召，又不增加額外負擔，當然會挺身而出，這叫「以民衛民」。
生在富裕家庭，胡林翼從小就知道錢的好處，捨得花錢，也會花錢，他的賬算得極其精明。比如說，你要用綠營兵的話，每一千個兵，每月耗費不下六千兩銀子，如果用團練，只需用一千兩多一點的銀子，而且效果更好，花錢更少，何樂而不為。
打仗的人有了，至於主帥，用不著再花錢請別人，胡林翼自己就行。
胡林翼讀書時的興趣就是研究地理和兵法，這次找到了實踐的機會。他並不貿然進兵，而是先用幾個月的時間對苗人的情況進行明察暗訪，光地圖就畫了百幅之多。
知己知彼後，便是抓住重點。胡林翼發現即便在生苗裡面，也有好些是良民，並不從事盜掠，要打的話，只須揀最刺頭的開刀就可以了。確定名單後，他親自率團練出擊，一舉擊破盜風最烈的一座苗寨。這一仗打贏，打出了團練的自信，也把綠營的臉給打紅了。
綠營雖然很㞞，但畢竟是正規軍，再這樣下去，如何在本地抬頭立足，於是紛紛向胡林翼請戰。此時與政府和漢人相處融洽的熟苗也湊了過來，他們表示願意派苗兵參與平亂，以與窩裡的這些害群之馬劃清界限。
胡林翼一一欣然笑納，人多力量大嘛。他組織團練，綠營兵、苗兵共計三萬多人，按照所繪地圖，將仍然舊業不改，從事搶掠的苗寨全部包圍起來，所有山口要隘一律封堵，使其插翅難逃。
在一個月內，胡林翼連破苗寨十餘處，擒獲有案底的巨盜近三百人。在殺雞給猴看的威懾中，六十座生苗苗寨主動投案，表示今後寨中若再有人從事盜掠，即自願捆獻。
至此，困擾鎮遠地區數十年的匪患得以平息。胡林翼捐納得來的知府原先只是候補，立此大功，很快得以轉正，並授花翎。他終於為自己，也為父親正名了：我們胡家要麼不做官，要做就做好官！
僅僅兩年時間，胡林翼已經聲名大噪，不僅在西南地區，就連京城的皇上都知道有這麼一個超人。早在道光時期，只要是雲貴各級官吏、封疆大吏赴京覲見，道光就會提到胡林翼，並且還想從他們身上找到答案：「胡林翼的官聲怎麼會如此之好？」
到咸豐繼位，發起求言求賢運動，要各省大吏推舉人才。在雲貴督撫的保舉名單上，無一例外都有胡林翼的名字。咸豐下旨傳胡林翼進京，雲貴方面急了，堅決不放胡林翼：「我們老實薦才，卻不是要他走，他走了，我們這邊的攤子該怎麼辦？」
胡林翼沒能走成，省里又把這個總能出奇效的萬金油調到了黎平。