8月12日，陳賡兵團所屬各部，分別從駐地出動，開始了偉大的南征進軍。
這是許久以來全軍一致盼望的日子。進軍命令下達的時候，一個個都為行將到來的勝利的喜悅所鼓舞。
晉冀魯豫解放區人民全力支援大軍南征，太行600萬人民送給第9縱隊的紅旗上，寫著太行人民引以為榮的壯語：「太行子弟結長纓，跨河南征縛蒼龍。」當向解放區父老告別的時候，全體指戰員對於在這裡成長壯大的土地，對於一同戰鬥過來、血肉相連的人民，都懷著無限眷戀，依依惜別之情。
部隊行軍途中，正逢陰雨連綿的季節，遍山滿谷瀰漫著雲霧，所有河流都泛濫著洪水，部隊經常在暴風驟雨中踏著泥濘的山路前進，一個個被淋得像落湯雞一般。到了夜晚，山巔、村邊、道旁，到處燃燒起一堆堆烘烤衣服的篝火。這些烽火會聚成巨大的光輝，像在漆黑的夜幕邊際出現曙色。當它被遠遠地留在背後的時候，遙望更加美麗，恍若傳說中的神話世界。
不論是鋪天蓋地的傾盆大雨，或是蜿蜒崎嶇的羊腸小道，都擋不住千軍萬馬的偉大進軍。8月20日左右，東路部隊如期進抵濟源長泉渡口附近，西線我軍也按時到達平陸茅津渡口附近地區集結，控制了鄭州、潼關間黃河北岸330里沿線地區，積極進行強渡黃河的最後準備。
在渡河作戰發起前夕，西北野戰軍於榆林戰役後，8月20日又在陝北沙家店殲滅了胡宗南主力部隊第36師，使胡宗南集團深陷在米脂以北地區，飢疲不堪。劉鄧主力躍進大別山的行動，調動了敵顧祝同主力20多個旅向南堵追。這就使敵顧、胡兩個集團的主力無暇顧及豫西、陝南地區。在我突擊地段潼關至洛陽之間，敵人僅以5個保安團，沿黃河南岸孟津至潼關段500餘里正面擔任第一線防禦，以整15師、青年軍第206師、第76師的新1旅（原第75旅）等部署於洛陽、陝縣、靈寶、潼關之間，依託鐵路進行機動防禦；隴海路以南廣大地區，只有保安團隊守備。該地段黃河北岸都是山地，便於隱蔽行動和進行各種準備，群眾條件也好，這些情況給我軍渡河作戰提供了良好的時機和條件。同時也有利於我軍渡河後乘虛而入，放手發展，尋機殲敵，創建根據地。
據此，陳賡指示司令部制訂了這次行動的作戰方案：以第4縱隊的4個旅為左縱隊，在垣曲，濟源間的官渡至青河口，和大教至馬灣的兩個地段上渡河（以第10、11旅為左路：第10旅擔負渡河突擊，第12旅為預備隊，在官渡青河口實施南渡；以第13旅、12旅為右路：第13旅擔負渡河突擊，第12旅為預備隊，在大教至馬灣實施強渡），而後，以主力迅速向隴海路突擊，攻佔新安、澠池，並相機奪取洛陽。以第38軍和第22旅為右縱隊，在茅津渡以東渡河，而後以一部向東奔襲張茅鎮和觀音堂車站，策應左縱隊作戰，其主力向西南發展，威迫陝縣，並向西迂迴大營車站，切斷靈寶、陝縣間敵人的聯繫，抗擊牽制由陝西東援的敵人。以第9縱隊為兵團第2梯隊，尾第4縱隊渡河，而後主力向東南發展，牽制鄭州之敵西援。為了保障陳賡兵團勝利渡河，太岳軍區以第23旅及各分區的基幹武裝，積極向臨汾南北、同蒲沿線的敵人展開攻勢，迷惑牽制敵人，配合主力行動。