蔣介石想到加強臨汾防務的同時，晉冀魯豫軍區第一副司令員徐向前也想到了把臨汾作為奪取運城後的下一個戰役目標。若能乘勝組織臨汾戰役，攻克該城，將會給我軍在戰略上造成許多有利形勢：一可拔掉國民黨殘留在晉冀魯豫地區內的最後一顆釘子，全部解放晉南，這樣就能和晉綏、西北連成一片；二可為進軍晉中、太原掃清障礙，解除後顧之憂，將有力地配合西北戰場和黃河以南我陳謝兵團的作戰行動。
鑒於上述考慮，徐向前向中央軍委建議攻打臨汾。
這一建議很快得到了中央軍委的批准。
1948年2月，晉冀魯豫軍區奉命組成了以徐向前為司令員的前方指揮所（簡稱「前指」），並擬定該年春季攻勢的第一個戰役，便是攻打臨汾。
徐向前受命之後，雖然身體欠佳，但心裡十分高興。因為早在抗日戰爭後期，他在延安養病期間，就一而再，再而三地向黨中央寫報告，要求出征，與鬼子作戰。
1948年初春，大地還沒有解凍，徐向前就向晉南前線出發了。他在臨出發時對夫人黃傑說：「這次出去，打不下臨汾不回來！」
途經陽城時，徐向前在這裡召開了太岳區黨政軍聯席會議，研究了攻打臨汾的問題，並就這個戰役的準備工作進行布置，成立了由徐向前任司令員的晉冀魯豫軍區前線指揮部，統一指揮參戰部隊。
2月17日，徐向前致電中央軍委，提出：「我們第一步作戰計畫，擬攻殲臨汾之敵。」因未解凍，準備在作戰開始前普遍進行以「土工作業，連續爆破，破壞外壕，坑道作業，攻擊碉堡群、地堡，打開城牆突破口，豎梯登城，鞏固突破口向兩翼發展，縱深戰鬥及步、炮、工協同動作等項」為內容的攻堅訓練。只有熟練掌握這一套攻堅戰術，「才能代價小，收效大」。
18日，毛澤東給徐向前發來了回電，說：「第一、完全贊成先做攻堅戰術訓練。待解凍後再打臨汾，只要攻克臨汾就是對彭張的大幫助。第二、但臨汾之敵有兩種可能，一是固守不動，二是棄城北走。因此你所率準備攻城的各部隊的整訓位置，應放在便於打逃敵而又很隱蔽的地點，並要預先作出準備打逃敵的計畫，以便不失時機地殲滅可能逃跑之敵。第三、李周應令呂梁部隊確實受領向前所給協同作戰的任務。」
根據毛澤東的這一指示，為不失時機地殲滅可能逃跑的敵人，徐向前考慮了攻打臨汾的作戰部署，決定：以第8縱隊第20旅位於浮山、大陽以西地區；太岳軍區部隊一個旅位於洪洞、趙城以東地區，控制同蒲路東側；以呂梁軍區指揮的西北野戰軍獨立第3、第7兩旅隱蔽在汾西地區，控制同蒲路西側。主力集結翼城、曲沃地區，如敵逃竄，即以東側兩旅佔領要點，阻擊敵於趙城以南地區，西側兩旅截擊從汾河西岸北逃的敵人，並遲滯南下接援的敵人。為不過早暴露行動企圖，在戰役發起時，主力部隊即以一天半行軍北上投入戰鬥。19日，他把這一考慮向中央軍委作了報告，得到了中央軍委的同意。毛澤東在複電中說：「部署甚好。」
在報告中，徐向前還說：「臨汾敵兵團雖多，但蔣閻軍內矛盾甚深，派系複雜，指揮不統一，戰鬥力一般不強，我攻下運城後，官兵極恐慌，且城大不利防守，只要我們準備周密，攻克不成問題。」這是徐向前對中央軍委立下的軍令狀。
徐向前分析敵我力量後，認為，「是有勝利把握的」。就敵人方面而言，一是，「已喪失了守城信心。敵人內部不團結不統一，臨汾城的敵人，有胡宗南部隊，有閻錫山部隊，還有土頑部隊，他們內部矛盾重重，互相摩擦、抵消」。二是，「敵人是孤立的，四周被我們解放區軍民緊緊包圍著。敵人要想來援，是比較困難的，只有北邊是唯一可以來援的方向。如果敵人來援，正是我們歡迎的，我們就打援，在野外消滅他」。三是，「臨汾城內的敵人，總計不過二萬五千來人，而且也受過我們的打擊。臨汾的工事，同運城差不多，可是臨汾城的四周，比運城大得多，這也是便於我們突破的」。就我方來說，「內部是統一的，士氣是旺盛的，我們有全邊區三千萬人民的支援，我們的兵力比敵強」。徐向前強調指出，上述這些，「只是解決問題的根據，要經過戰鬥才能解決問題」。（《徐向前軍事文選》，解放軍出版社1993年版，第143～145頁）