陳賡於8月初返回晉南，即向全軍傳達了黨中央的進軍命令。
在此期間，部隊對於渡河南征進行了充分的準備。7月27日，遵照中央軍委的命令，迅速出動原晉冀魯豫野戰軍第4縱隊（轄第10旅、第11旅、第12旅、第13旅，以後又增加第22旅），新成立的晉冀魯豫野戰軍第9縱隊（轄第25旅、第26旅、第27旅和1個炮兵營），光榮起義加入人民解放軍的第38軍（轄第17師、第55師），共8萬餘人組成1個兵團，以陳賡為司令員，謝富治為政治委員。中央軍委並指示組成兵團前委，以陳賡為書記、謝富治為副書記，執行強渡黃河挺進中原，建立豫陝鄂根據地的戰略任務。
八月初旬，由陳賡主持，在太岳解放區的首府陽城召開了兵團前委擴大會議。各個部隊的軍政負責同志都參加了會議。
陳賡在會上詳細傳達了中央小河會議的精神，傳達了毛澤東、周恩來的指示，非常生動地講述了「破釜沉舟」的故事，同時表示挺進豫西，逐鹿中原的決心是只能前進、絕不後退，只許勝利、不能失敗。他還深刻地分析了解放戰爭一年來的形勢發展，指出這次行動的有利條件，同時要求大家要充分估計到可能遇到的困難，準備克服一切嚴重的困難。會議經過了認真地討論以後，制訂了強渡黃河、挺進豫西的軍事計畫，還研究了新解放區的各項政策問題。陳賡在會上強調指出，在新解放區放手發動群眾，開展民主改革運動，在鬥爭地主惡霸的時候要注意團結民主人士，在解放城鎮的時候要保護民族工商業，注意團結各界愛國人士，擴大反對國民黨反動派的統一戰線。
陳賡平素作風瀟洒，生活上是樂天派，在戰爭中卻是兢兢業業，十分嚴謹的人。打起仗來，常常幾天幾夜不眠不休，腦子裡只想著這一件事。他對作戰指揮，總是非常細緻，經常親自偕同主攻部隊指揮員看地形，找群眾詢問情況，和幹部研究計畫，力求每次戰鬥都有充分的準備和勝利的把握。
對於這次關係全國戰局，具有重要戰略意義的軍事行動，陳賡尤其小心翼翼，態度認真，進行了異常周密細緻的戰前準備。本來，在召開陽城會議以前，兵團所屬各旅、團的指揮員，早已前往準備強渡的黃河沿岸地段作過詳細偵察，渡河地段的地形，民情以及對岸的敵情，等等，都已深入了解。
但是，在會議結束以後，他又指派太岳軍區第4分區、第11旅和第4縱隊聯絡部負責人等，馬上出發前往靠近黃河岸邊的藍田，專門負責了解對岸敵人的情況。行前，陳賡交付他們兩項任務：第一，對於沿岸情況再作一次全面的了解；第二，逐日觀察對岸敵情有無變化，隨時報告。第4分區司令員郭慶祥等帶領少數參謀，偵察人員到達藍田，每天都將所得到的敵情資料，及時地打電話或寫書面報告給他，直至渡河前夕，陳賡親自率領指揮所來到前沿的時候。
渡河前，部隊開展了政治整訓、戰前練兵活動，通過訴苦教育，激發了廣大指戰員的階級仇恨；通過軍事演練，提高了作戰能力。同時還深入具體地進行了新區政策紀律教育。中共晉冀魯豫中央局為使部隊做好充分準備，8月6日還作出了《關於支援陳謝兵團南征的決定》。
在晉冀魯豫中央局和晉冀魯豫軍區的統一領導下，太行、太岳兩解放區黨委和政府動員了8000餘名翻身農民分別補充了各部隊；在半個月的時間內，黃河北岸人民群眾為部隊渡河趕造了大小船隻60餘艘，並準備了葫蘆、油布包等大量渡河器材，挑選和訓練了隨軍渡河的船工、水手。兩解放區黨政軍機關還抽調幹部成立了聯合後方指揮部，動員民兵、民工3萬多人隨軍渡河南進，並籌集了一定數量的經費，為這次渡河作戰給予了大力的保障。