臨汾戰役原定於3月10日打響。3月4日，臨汾閻錫山部的66師2000餘人出擾汾河西之襄陵、汾城地區。3月5日，我13縱隊奉命西渡汾河作戰，6日進佔襄陵縣城。就在這時，我「前指」從破譯的敵電報中得知，胡宗南部在陝西宜川被我西北野戰軍殲滅5個整旅，3萬多人。
為了挽救自己在西北戰場的失敗，胡宗南不顧臨汾之危，急忙將其第30旅空運西安，增兵洛川。為了配合西北戰場作戰，拖住敵人，斷絕空運之敵逃路，徐總決定提前3天，即於3月7日發起臨汾外圍作戰。遂令第8縱隊7日晨奪取堯廟宮機場，而後由城南攻城；第13縱隊西渡汾河，奔襲出擾襄陵之敵，而後移至城東奪取東關；呂梁部隊控制河西之敵，太岳部隊於城北。以向心合圍態勢，首先掃清外圍，拔除護城據點，攻克東關，力爭將敵主力消滅於外圍，而後進攻主城。若晉中敵人南援，即先殲援敵，而後攻城，如果敵人不來增援，則一舉攻克臨汾。
受領任務後，我8縱24旅經一晝夜急行軍，7日晨抵堯廟宮機場，該旅72團當即以迫擊炮襲擊飛機場，9發炮彈擊毀敵機2架，其餘8架倉皇飛逃。等待空運之敵第30旅亦逃回城內，除30旅旅長尹瀛洲和4個連兵力在此之前被運走外，該旅大部分兵力被拖在臨汾。與此同時，我8縱、13縱及太岳軍區部隊，從城南、城東、城北三面合圍臨汾。
我8縱主力在城南攻佔了柴村、張關、喬家莊、堯廟宮、菜市村等外圍據點後，又打垮了敵人的多次反衝擊，鞏固了佔領的陣地。太岳軍區部隊在城北和城東攻佔了高河店、南北焦堡、南北孝村等據點。13縱殲滅汾河西之敵後，於9日冒雨返回，接管臨汾城東之防地，開始了拔除外圍據點的作戰。至16日掃清了敵外圍警戒，逼近城垣。在外圍戰鬥中共殲敵1500餘人，破壞了胡宗南的空運計畫，取得了初戰的勝利。
眼看外圍據點失守後，梁培璜急忙調兵遣將，集中主要兵力死守城垣周圍的護城據點和東關。而我軍則從實地偵察和俘虜口中得到情報，守敵之主城以北地勢略高，城牆較薄，兵力也較弱，對我軍既利於登城作戰，又便於兵力、兵器的展開。於是「前指」於3月10日調整作戰部署，決定由城東和城北兩面實施主要攻擊，城南為助攻方向。遂以13縱從城東攻擊東關和電燈公司，8縱（欠第22旅）攻擊城北興隆殿（8號）護城據點，以太岳軍區4個團攻擊北門以東敵護城據點，22旅和太岳軍區2個團在城南助攻，呂梁軍區部隊在河西準備打援或堵殲逃敵。
18日至22日，我13縱38旅為爆破東關城牆挖了三道坑道，但均被敵破壞。23日，我軍全線發起攻擊，但由於破關坑道被毀，不得已用炮火開闢突破口，然而，在我軍在炮數量少、口徑小的情況下直到天黑，才打開一個寬約20米，坡度很陡的缺口，外壕內沿又未徹底破壞，當2個突擊團沖至城下時，突遭敵火力攔阻，難以登城，不得不撤下來。
3月26日，38旅二次打東關，三條坑道兩條又遭敵破壞，一條雖挖到東關城下，但攻擊開始前，運送炸藥的暗道被敵炮彈炸塌，延誤了裝葯時間，直至27日4時，才裝葯完畢，爆破時，又因葯室裝填不緊，未能發揮應有威力，只把城牆炸開一條裂縫，突擊隊只好在炮火支援下，從原先炮兵轟開的缺口強行登城。
但是由於步炮協同不力，當先頭排登上城頭時，卻意外地遭我支援炮火的殺傷，反而增加了登城部隊和後續部隊的顧慮，致使守敵趁我軍猶豫之際，向我軍猛烈反撲，我軍傷亡很大，未能鞏固突破口，二次攻城又告失利。
在攻打電燈公司之39旅方面，經過4天的苦戰，和守敵、反撲之敵反覆爭奪拼殺，把敵第189團和補訓第2團1個營消耗殆盡，又經2天坑道作業，30日爆破成功，一舉攻佔了敵核心陣地，全部佔領電燈公司這個堅固據點。
然而，在城北，我8縱23旅和24旅分別攻打興隆殿和北門附近之6號據點，都因輕敵，三次攻擊失團三次攻打五號護城據點，都均遭失利。利，傷亡很大。最後雖攻佔了興隆殿，但因受敵城上火力壓制，不能立足，又被迫撤出。太岳軍區第41團23日晚攻佔了城東北角之4號護城據點，並打退敵多次反撲，26日又失而復得，以後敵每天組織數次反撲，均被擊退。而太岳軍區第47在近10天的作戰中，我攻城部隊打得英勇頑強，得到了很大鍛煉，但也暴露出不少問題，為了總結經驗，以利再戰，3月31日，「前指」召開團以上幹部會進行研究，號召各部隊認真總結經驗教訓，開動腦筋，多想辦法，普遍開展戰場總結和戰場練兵。徐總強調指出，要繼續解決步炮協同，戰鬥隊形，小群動作，火力、爆破、突擊相結合，坑道作業等戰術技術問題。
4月1日，在重新調整作戰部署後，我軍集中兵力重點攻打東關，以8縱隊23旅和13縱37旅這兩個戰鬥力較強，有攻堅經驗的老部隊作為攻打東關的主力，並集中了全部炮兵進行支援。經過激烈的爭奪，我攻堅部隊終於控制了外壕，掩護了坑道作業。至9日，23旅由電燈公司向東關城牆下挖成4條爆破坑道，37旅也挖成兩條，隨即連夜裝葯，並按預定計畫在10日16時開始總攻東關。
先經過2小時火力準備，23旅的3條坑道（1條備用未裝葯）同時爆破成功，炸開2個大缺口，突擊隊趁煙霧迅速登城，突入東關，迅猛向縱深發展。37旅則因坑道爆破未成，一部由23旅缺口突入關內，一部由先前38旅所開的缺口強行登城，經過激戰，直搗閻軍66師師部，11日凌晨結束戰鬥。除師長徐其昌和少數殘敵逃入城內，大部敵人被殲，東關被我軍佔領。