3月21日晚，野戰軍電台截獲並破譯了胡宗南發給31旅的電報。彭德懷為抓住戰機，不顧已是三更半夜，和習仲勛、張文舟、徐立清到作戰值班室查看地圖，分析研究敵情。在判明敵軍動向後，彭德懷決心採取伏擊戰術，殲滅側翼之敵31旅，打好撤離延安後的第一仗。
3月22日上午，彭德懷和習仲勛接連向中央軍委報告：胡宗南21日令31旅經川口渡延水，進至青化砭築工據守，限24日到達。「我軍擬以伏擊或乘其立足未穩徹底殲滅該敵」。同時令野戰兵團各縱、旅於22日晚和23日拂曉前，按指定地點隱蔽集結，看好地形，並封鎖消息。
彭德懷把部隊部署於青化砭附近蟠龍川東西兩側及以北地區。第1縱隊在川之西山，第2縱隊和教導旅在川之東山，北面新4旅在青化砭東北。布成了對沿咸榆公路北進的敵軍張開口的口袋陣。待敵後尾通過房家橋後束緊袋口，截斷敵之退路，進行兩側夾擊。另以獨1旅為預備隊，並監視安塞、延安方向之敵。
為確保初戰勝利，彭德懷和習仲勛、張文舟、徐立清及旅以上指揮員到青化砭四周察看地形，在現地分配戰鬥任務，具體部署了兵力。
青化砭位於延安東北50餘里處，在一條40多里長南北走向的蟠龍川中。咸榆公路沿大川而上，穿過青化砭。公路兩側為連綿起伏的山地，便於隱蔽的部隊出擊，是打伏擊的理想戰場。觀看地形後，指揮員們都佩服彭德懷的這個布陣。認為31旅只要鑽進「口袋」，等待他們的只能是滅亡的命運。但這一帶山地都是光禿禿的，不容易隱蔽好，彭德懷一再交代：「一定要注意隱蔽。敵人來了就不顧一切地殺下去！要突然，要猛，一鼓作氣把敵人殲滅在這溝槽子的公路上。」邊說邊揮手做出圍殲的姿勢。
24日拂曉前，野戰軍各旅進入伏擊陣地。當時陝北高原的山地尚未完全解凍，春寒料峭，冷氣襲人。指戰員們伏在冰冷的山嶺上，緊握鋼槍，嚴密注視著河川，隨時準備出擊。可是從天明等到下午5時未見敵軍蹤影。彭德懷命令各部於下午6時後撤出陣地休息。
指戰員們埋伏一天而敵人沒來，預定的殲敵計畫未能實現。一下子議論紛紛，有些人擔心離延安這麼近，會不會走漏了消息；有的人沉不住氣，懷疑情報的可靠性；有的戰士還說：准來？哪有那麼准，敵人聽你指揮啦！
彭德懷了解了這些情緒，說：老根據地的群眾是不會去向敵人告密的，情報也是不會錯的。敵人是一定會來的。今天伏擊不成不要緊，就當成咱們的一次演習。告訴大家要有耐心。他分析道：你們要掌握敵人的心理嘛！胡宗南雖然是個草包，但是他的主力由延安北上安塞之後，需要派兵保障其側翼安全，這一點軍事常識他還是有的，不然他怎麼能撈一個陸軍上將當呢？何況他有大炮、坦克，有汽車，又想捕捉我主力部隊，這陝北唯一的一條公路，他能不走嗎？所以說，他一定要來。
當晚，彭德懷和習仲勛向毛澤東和中央軍委報告：敵31旅24日到達拐峁，停止前進，可能是待補糧食（按：事後得悉，31旅在川口宿營補給）。我們明日仍按原計畫部署待伏31旅。同時電令各縱旅首長：「明日我軍仍以伏擊之勢，按24日部署堅決執行伏擊。必須耐心認真布置，勿因敵一二次不來而鬆懈戰鬥準備。」彭德懷再三強調：要嚴格做好偽裝保密工作。
3月25日凌晨4點左右，寒星閃爍，群山灰濛。西北野戰兵團主力進入原地區設伏。上午6時許，胡軍第31旅由川口、拐峁沿公路向青化砭前進，其空中偵察和地面的火力搜索，都沒有發現野戰兵團的伏擊部隊。於是大模大樣朝前走，機槍、小炮裹著槍衣、炮衣，還捆在馱子上。10時左右，其先頭部隊進至青化砭附近，後衛過了房家橋，整個行軍縱隊完全進入彭德懷布下的伏擊圈內。在信號槍發過後，西北野戰兵團按預定部署，在石綿羊溝緊緊封住袋口，攔頭斷尾，東西兩側部隊以排山倒海之勢，猛烈夾擊敵人。迅速將敵壓至不到7公里長，只有二三百米寬的川溝里。敵軍首尾不能相顧，兵力尚未展開就完全喪失指揮，頃刻間亂作一團。經過1個多小時的激戰，31旅直屬隊及92團2900餘人全部被殲滅，旅長李紀雲被俘。整個戰鬥打得非常快速，乾脆利索，子彈消耗少，繳獲多，當時被新華社稱為「模範戰例之一」。
戰鬥結束後，彭德懷興奮地說：「敵人氣勢洶洶，可是在眼前這小小的戰場上，我們以絕對優勢兵力壓倒了它。在具體戰鬥中，就得殺雞用牛刀！」
彭德懷高度讚揚邊區群眾的作用，說：「古人寫信，信封上寫『如瓶』兩個字。邊區群眾對敵人真是守口如瓶，不是自己人就不給你說真話。青化砭這一仗，要不是在陝北，是很難打的。」