40年代初期，陝甘寧邊區和各敵後抗日根據地發生了空前嚴重的物質困難，機構龐大、農民負擔過重的問題比較突出。
當時，陝甘寧邊區人口不到150萬，其中脫產人員呈直線上升趨勢。1939年後，主要是0年和1941年，國民黨發動兩次反共摩擦，用重兵包圍邊區，並伺機大舉進攻。中共中央被迫從前線陸續調回軍隊，保衛邊區。邊區脫產人員（主要是軍隊）猛增：1938年僅16萬人，39年增至49萬人，1940年61萬人，1941年達73萬人。人員增加，支出隨之大幅度增長。而1940年10月國民黨停發了八路軍軍餉，同時實行斷郵，外援大部斷絕，財政收入銳減。
支出增加，收入減少，勢必增加人民的負擔。
黨中央曾規定，黨政軍脫產人員不能超過人口總數的3%，但此時實際已達到54%。1941年征公糧20萬石，已佔邊區糧食總產量的138%，比1937年只佔128%，增加了10多倍；人均負擔1斗4升，比1937年負擔1升，也增加了多倍。
為克服困難，減輕人民負擔，中共中央除開展大生產運動，從發展經濟中解決財政問題，進行「開源」外，另一個方法是節流。毛澤東說：「我們必須克服這個困難，我們的重要的辦法之一就是精兵簡政。」
精兵簡政，是李鼎銘等人提出來的。
1941年11月，陝甘寧邊區召開了第二屆參議會，李鼎銘受共產黨「自力更生，克服困難」原則啟發，聯想到「漢高祖之成功，是在關中推行精兵簡政」的史實，認為現在邊區要渡過難關，只有開源節流，實行精兵簡政。他同姬伯雄等幾位參議員商議後，毅然向大會提出提案：
「政府應徹底計畫經濟，實行精兵簡政主義，避免入不敷出、經濟紊亂之現象。」
「兵要精，政要簡，行政機構要質勝量，提高辦事效率。」
這一提案提出後，反響很大。
有的議員說：「現在正值抗日救國的緊急關頭，敵人以大量的兵力向我們進攻，這時還要我們邊區精兵簡政，這不是叫我們自己束手就擒嗎？」
這些人認為這個提案是別有用心。
大多數議員則認為這個提案對於解決邊區財政經濟困難很有用。因此，大會表決時，以票的多數擁護通過，並決議「交政府速辦」。
精兵簡政的提案送到毛澤東手裡後，毛澤東極為欣賞和贊成，他反覆閱讀，拿起紅筆把重要的段落圈起來，一字一句地抄下來，旁邊還加了批註：
「這個辦法很好，恰恰是改變我們的機關主義、官僚主義、形式主義的對症葯。」
第二天，毛澤東出席參議會，充分肯定了這一提案，並親自找李鼎銘談話，進一步徵求他的意見。
經黨中央討論後，1941年12月13日，向各抗日根據地發出了精兵簡政、發展經濟的指示，普遍推行。
1942年9月，毛澤東為延安《解放日報》寫了題為《一個極其重要的政策》的社論，指出：
要把精兵簡政作為一個極其重要的政策看待。
他以「氣候變化了，衣服必須隨時變化」的生動事例來說明這個政策。他說：精簡龐大的機構，就好比是人褪去冬衣，穿起夏服，以便輕輕快快地同敵人作鬥爭。
他還說：「我們八路軍新四軍是孫行者和小老虎，是很有辦法對付這個日本妖精或日本驢子的。目前精兵簡政，我們變一變，把我們的身體變小些，但是變得更加紮實些，我們就會變成無敵了。」
此後，黨中央把精兵簡政作為邊區和各抗日根據地的一項基本政策列入十大政策之一。
陝甘寧邊區最先實行精兵簡政，並把它當作政府工作的一件大事來抓。
1941年底，邊區召開政務會議，決定設立一級編整委員會，由劉景范、高自立、周文、周興、南漢宸等5人組成，負責邊區各級行政機構的精簡、裁併，擬定人員編製和編政計畫。
邊區政府還陸續制定了一些政府機關組織條例、管理條例、獎懲條例、公約，為簡政規定了具體目標、任務和要求。
對調整出來的人員，有以下處理原則：
（1）凡是有相當文化程度，有能力，能工作的幹部，應該盡量往下移，以加強縣、區、鄉的機構；（2）凡是須繼續培養，加以深造的幹部，應該經過一定的系統，送學校學習；（3）凡有疾病不能工作或學習的幹部，應該經過一定的系統，送學校學習；（4）凡身體強壯的雜務人員，去參加生產事業；（5）凡落後的分子，以及太老弱的雜務人員，應幫助他們回家去務農，做到人人各得其所。
從1941年底至1943年底，陝甘寧邊區先後進行了三次精兵簡政。到1944年初檢查，已基本實現預期效果。
在政府系統，各廳、處、院的內部機構，裁減1/4，邊區政府直屬機關從35個減至22個，專署及縣府的內部機構從8、9個減至4、5個不等，消除了頭重腳輕的積弊。
人員上，邊府各機關的人員都已按計畫精簡，辦公廳、民政廳、財政廳、建設廳、教育廳和物資局等6個單位從原有的469人減至279人，精簡40%多。各級機關總人數減至7500名，達到脫離生產的政民工作人員不超過邊區居民總數1%的目標。
幹部調配上，從下級提拔了一些幹部到專署和邊府工作，也派一些得力幹部去加強區、鄉政府工作。如延安縣有10個縣級幹部調區，20個區級幹部調鄉，邊府調入5個縣長當處長。
政策、法令、命令、指示已基本統一，政出多門的現象少了，組織上加強了「一元化」。
由於精簡了機構和人員，從上到下「官僚」少了，精簡後加強了基層工作，工作效能提高了。如邊區通訊站日平均投遞量在1至4月是16661件，5至11月激增至30078件，提高效率80%以上。在政府經營的工業中，效能提高的程度更驚人。由於在簡政中反對官僚主義、改善領導作風，各級機關中干實事的人民勤務員多了。加上機關、軍隊厲行節約，自己動手，對經濟建設貢獻很大，邊區民力的動員也大大減少了，如延安1941年動員民力6萬多個，1942年只動員民力28萬個，減少一倍多。綏德1941年動員民力75萬個，1942年僅900個。
與此同時，八路軍留守部隊貫徹實行「精兵」方針，使部隊人數不超過邊區居民總人數的2%。直屬部隊裁減的人員轉到生產戰線。
根據這一方針，邊區留守部隊第一次精簡了3000人，1943年又縮減了1400人，原有自衛隊指戰員1000多人，都轉入農村生產，由完全脫產變為不脫產。
各抗日根據地也循此進行了精兵簡政。
此項政策的實施，解決了抗日根據地存在的「魚大水小」、「頭重腳輕」的矛盾，減輕了老百姓的負擔，便於克服物質上的困難；同時提高部隊戰鬥力，改進了各級政權的行政工作，「出現了政簡民便，兵精糧足的新局面」。
1944年9月，在追悼張思德大會上，毛澤東又一次肯定了精兵簡政。他說：
「這一條意見，就是黨外人士李鼎銘先生提出來的；他提得好，對人民有好處，我們就採用了。」