防守臨汾的是閻錫山的第6集團軍副總司令兼晉南武裝總指揮梁培璜。他是河南光山縣人，保定軍事學校第三期畢業，歷任閻錫山部的旅長、軍參謀長、軍長等職，是閻錫山的「鐵軍組織」的28名骨幹之一。駐守臨汾的國民黨軍除胡宗南的第30旅和閻錫山的第66師兩支正規軍隊外，還有先到臨汾的4個偽軍公署和14個流亡偽縣政府所屬的各種雜牌武裝還鄉團、保警隊等，整編成的8個團，總兵團近3萬人。
梁培璜深知用這3萬人來固守臨汾是難以和強大的人民解放軍對抗的。況且在這3萬人中有一半是地方團隊，戰鬥力很差。因此，梁培璜的如意算盤就是憑藉工事固守，進行頑抗。於是，他搜颳了巨大的人力物力，在臨汾原有工事的基礎上，構築了四道防線，形成了一個完整的防禦體系。
第一道防線是外圍警戒陣地，以城東、南、北各2.5公里，城西7.5公里內的較大村鎮為據點構成。築有高碉堡、明暗火力點和外壕、電網、地雷等障礙物，形成一個個獨立支撐點，各點駐有一個連至一個營的兵力，配有重機槍、迫擊炮、山炮，既可獨立作戰，又可相互支撐。
第二道防線是護城陣地，以環城周的31個碉堡構成，三碉一組作品字形布局，以水泥、片石構築的主碉居中，距城50米至80米不等，周圍並有地堡、暗火力點和外壕、鐵絲網、地雷等防禦物，有的還有暗道通往城內。
第三道防線是外壕和城牆陣地，外壕在舊護城壕基礎上挖成，深20米，寬30米，緊靠城牆，在城牆頂部四角和四個城門樓上修有火炮、各種槍和噴火器使用的據點工事，將城牆腰部挖空，修築輕機槍、步槍和噴火器的發射掩體。
第四道防線是城內縱深陣地和地道工事，城牆內有一條深、寬各3米至6米的內壕，壕內每隔15米修一伏堡，城內主要街道和高大建築物上，共修了11個巷戰據點，在城東偏南的東關，高度略低於主城，也構築了完備的防禦工事，與主城形成一個整體。
面對如此堅固的城防工事，梁培璜極為得意，說：「八路軍作戰，向來是以多勝少，我們把臨汾城周工事築成法國的『馬其諾』，來個以少勝多。」
梁培璜自認為他的「馬其諾防線」萬無一失了。幾天以後，他給閻錫山發去一份電報，說：
第一、城防工事，在日本朋友幫助指導下，按計畫全部加固改造。如果徐向前敢來進攻，他所指揮的土八路，定叫他死在我堅固陣地和各道防線之前沿。
第二、66師接防，30旅交防，交接將畢，將設宴迎送。
第三、堅守臨城，唯糧荒在即，難以持久。
閻錫山看過電報，甩在一邊，向參謀長郭宗汾大發雷霆：梁培璜真是個糊塗蟲，守城沒有糧食，還守個甚？傅作義當年守涿州教訓還不夠嗎？快給梁培璜發急電，趁共軍大練兵尚無攻城之意，還不出城把糧食搶到手？