攻克東關後，戰役進入第二階段——攻佔主城戰鬥。但由於主城外有深溝高碉，不奪取外壕，主城仍「固若金湯」。
鑒於此，「前指」在4月15日作出決定：首先從城東、城南兩面攻佔外壕，挖好破城坑道，做好爆破準備，佔領登城有利陣地，而後再發起總攻。徐總還一再叮囑部隊：「坑道戰是當前我攻堅的主要手段。我們的炮火弱，要實行『土行孫』的戰法，鑽到地下去。」必須用這種手段奪取和「控制外壕，以保證破城坑道作業」。
19日，「前指」發布命令，以13縱在南門至城東南角地段，8縱在東南角至大東門地段，太岳部隊在大東門到東北角地段，奪占外壕和護城據點，選點挖掘破城坑道。
同時，為了控制外壕，使我破城坑道逼近城牆，我亦在外壕壁上挖成與暗堡、掩蔽部相通的暗道，依託部隊共挖了15條破城坑道，為保護這些坑道的安全和爭奪坑道鬥爭的主動權，在主坑道兩側和上方，又挖了40多條掩護坑道。暗堡、掩蔽部不斷地出擊，炸敵暗堡，堵敵暗道。在此期間，我攻城挖掘坑道的鬥爭是相當艱苦的，除了要和缺氧、地下水、照明及保持方向、水平、距離等困難鬥爭外，還要同敵人的破壞作鬥爭。梁培璜自從在東關吃了坑道爆炸的苦頭後，便更加狡猾，急忙組織了反坑道部隊。還在城牆腳下及外壕外沿，里里外外都設有聽音缸、聽音哨，偵聽地下動靜，並挖了「Y」字形和「T」字形的破壞坑道和聽音坑道，只要發現我軍坑道位置，就馬上爆破、放毒，同時以地面的偷襲、出擊，破壞我軍坑道口；以飛機、炮火和從城牆上往下投手榴彈封鎖、阻撓我軍坑道作業。致使我軍破城坑道被敵炸毀10多次。
但是，由於我作業部隊發揚了機智、英勇、頑強的戰鬥作風，以掩護坑道主動尋找敵人，先機爆破和設計欺騙引誘敵人爆破，又採用無聲作業法和轉向、繞道等方法避開敵人，最終還是取得了日見功效的成果。
就這樣，敵炸我，我炸敵，敵炸我挖，炸了再挖，在這種對挖、對聽、對炸的極其複雜、緊張、殘酷、激烈的鬥爭中，我英雄的部隊，以堅強的意志，驚人的毅力和無畏的精神，以手指代替杴钁，用兩膝代替雙腳，用彈藥箱代替小平車，經過72晝夜的搏鬥，終於在5月15日挖成了三條各長110餘米的破城坑道，死亡之神直通臨汾城牆底部。
在「萬事俱備」之後，「前指」決定5月18日發起總攻，突破口選在大東門南北地段，以8縱（欠第22旅）在大東門以北地段突破，太岳軍區44團和41團1個營為2梯隊；以13縱37旅在大東門以南地段突破，38旅為2梯隊；以22旅、39旅、太岳47團在城西堵殲潰逃之敵（原在河西的呂梁軍區部隊和太岳軍區的3個團5月初奉命北調，河西由22旅接替）；太岳其他部隊在城南、城北助攻。
5月16日，「前指」察覺破城坑道有被敵破壞的危險，便決定提前一天發起總攻。隨即連夜裝填炸藥，到17日12時，第23旅在自己挖的兩條坑道內，一條裝黑色炸藥1.24萬斤，一條裝黃色炸藥6000斤。15時，集中炮火開始摧毀突破口兩側敵火力點，19時坑道點火，隨著火光一閃，「土行孫」大顯神通，只聽轟隆兩聲巨響，堅固的城牆被炸開兩個近40米寬的缺口，外壕同時也被填平。
23旅69團突擊隊首先登城，後續部隊相繼跟進，該旅一部沿城牆向北發展，迅速佔領了東北角，其主力則向縱深發展。24旅一部沿城牆向南發展，很快奪取了東門城樓。
13縱隨後也突入城內，直插縱深，分割包圍，各個殲滅諸據點之敵。
24時，戰鬥勝利結束。梁培璜率殘部2000餘人由西門及其以南企圖跳城牆突圍，被我22旅和39旅堵殲大部，其餘向山區逃竄。