根據中央軍委的統一部署，華野在粟裕和譚震林的領導下，於10月4日開始，在曲阜的孔林召開了師以上幹部會議，對不久即將開打的大仗進行了充分討論、做了準備。11月初，我軍的偵察人員發現駐連雲港地區的敵第九綏靖區的部隊有從海上撤退的跡象，粟裕立即命令部隊準備發起攻擊，並於11月6日向中央作了報告。華野的司令部也來到了距黃百韜兵團不遠的郯城西北的馬頭鎮。為了大部隊行動的保密，粟裕命令各部，「為免過早暴露，各縱行動中，盡量利用長途電話線接線聯絡、汽車傳騎聯絡，到集結地點後再行恢複電台聯絡」。所以，部隊展開行動以後的3天之內，華野總部與各縱隊之間的電波基本消失，讓國民黨軍隊一直未能搞清楚我軍各部隊的具體行動方向。
11月6日，粟裕、譚震林、陳士榘、張震、唐亮等華野總部領導在馬頭鎮召開了有各縱隊首長參加的軍事會議。在會上，粟裕告訴各縱隊領導，我軍南下的動作敵人已經知道了，敵人必然會收縮兵力於徐州附近，這對我軍展開作戰十分不利。所以我軍必須快速南下，拖住、切斷並包圍黃百韜兵團。張震副參謀長又對各縱隊的具體進軍方向與任務作了進一步的布置。會後，在西起單縣、東到贛榆的350來公里的推進面上，分兵四路，浩浩蕩蕩，向徐州地區的蔣軍殺去。醞釀已久的淮海大戰正式打響。
第一路的左翼縱隊是華野蘇北兵團的3個縱隊，即二縱、十二縱、十一縱（中野的十一縱，這時隨華野行動），由韋國清司令員率領，由贛榆地區出發，目標是連雲港、海州與新安鎮之間的阿湖鎮，其任務是切斷黃百韜兵團向東邊撤退後從海上逃走的退路。同時佔領連雲港和海州。
第二路的中路大軍是由粟裕親自率領的華野總部和7個縱隊的強大兵力，即一縱、六縱、九縱、魯中南縱、四縱、八縱、十三縱，由臨沂地區出發，直指黃百韜兵團總部駐地新安鎮，將對黃百韜兵團進行包圍，並切斷其與李彌兵團之間的聯繫。
第三路的右翼縱隊是山東兵團的3個縱隊，即七縱、十縱、十一縱，由政委譚震林和副司令員王建安率領，由滕縣地區出發，目標是位於徐州以東、新安集以西隴海線上的曹八集和大許家車站，任務是切斷黃百韜兵團向西邊逃入徐州的去路，並阻擊從徐州向東援助黃百韜的敵軍。
第四路的側翼縱隊是由華野三縱、兩廣縱隊和冀魯豫兵團的獨立旅組成的，目標是徐州西北部地區，任務是配合中野在徐州西部的行動，阻止駐在商丘地區的邱清泉兵團向東援救黃百韜兵團，保證我軍對黃百韜兵團實現全殲。
毛澤東在戰役打響之後十分興奮，第二天他在給華東野戰軍粟裕等人的電報中表示，完全同意他們的攻擊部署，並說：
完全同意魚戍（按：這裡的「魚戍」是當時中文電碼中使用的「韻目代日」的表示方式，以地支代表月份，以韻目代表日期，「魚戍」就是代表11月6日）電所述攻擊計畫，望你們堅決執行。非有特殊重大變化，不要改變計畫，愈堅決愈能勝利。在此方針下，由你們機斷專行，不要事事請示，但將戰況及意見每日或每兩日或每三日報告一次。
淮海戰役開始之前，黃百韜的七兵團駐紮於徐州以東的新安鎮和阿湖鎮一帶的隴海路沿線。根據11月5日徐州軍事會議的決定，在他東邊大海邊上的第九綏靖區李延年部要全部向西撤，原來屬於第九綏靖區的四十四軍還要交由黃百韜指揮。按照軍事會議的決定和顧祝同的命令，雖然黃百韜的七兵團也要向西撤，要渡過運河向徐州靠近，由於李延年部還在他的東邊，暴露在華東野戰軍的打擊之下，所以，按照顧祝同的命令，黃百韜必須得讓李延年部先動，必須要掩護李延年，要待李延年部西撤完畢之後，七兵團的大部隊才能行動。由於四十四軍已歸於黃百韜指揮，又由於原來開往海州的一零零軍歸還七兵團建制，黃百韜兵團一下子就成了5個軍，要在一個狹窄的範圍內迅速轉移這些部隊就相當困難。而這時黃百韜已經察覺到北邊的我華東野戰軍正在向南邊壓過來，他必須按徐州軍事會議的部署儘快向西移動，渡過運河。所以這時黃百韜對顧祝同的部署極為不滿，大發牢騷，並對李延年說：「國防部作戰計畫一再變更，處處被動，正是將帥無才，累死三軍。」
黃百韜所以有如此牢騷不足為怪，因為突然要讓5個軍迅速轉移的確困難。還有一點是，黃百韜早就看到了徐州地區的國民黨軍隊幾十萬人在隴海線上一字排開的不妥，他曾向劉峙提過兩條建議：
（一）陳毅部主力將會和蘇北的3個縱隊夾擊職部（按：「職部」是舊時的謙稱，就是我部）。而劉伯承則從西南方向牽制鈞部（按：「鈞部」是舊時的尊稱，就是你部、貴部）主力各兵團，使不能應援職部。如此擊破職部後，再循序各個擊破各兵團之企圖，已甚明顯。
（二）我軍分布於隴海沿線，戰線遼闊，且四面八方均有敵情，備左則右寡，備前則後寡，無所不備則無所不寡。唯有效拿破崙的團式集中法，結合各兵團於徐州四周，然後掌握戰機，趁陳、劉大軍尚未會師之前而各個擊破之。
應當說，黃百韜的上述分析還是很不錯的。可是，他的意見猶如石沉大海，劉峙沒有任何迴音，更不說有任何行動。直到現在才叫轉移集中，已經為時太晚了。
按照黃百韜原來的命令，七兵團應當在11月6日出動。由於要等李延年，又只好向後推遲一天，在7日出動。6日晚上，黃百韜在新安鎮的兵團司令部中對他在陸軍大學的同班同學李以劻說了不少心裡話。由於我華野派出的四個化裝進入新安鎮的偵察員被敵人發現，所以黃百韜已經知道華野30萬大軍南下的消息，他的七兵團是首當其衝，而此時顧祝同和劉峙給他的命令卻是向西移動，因此，「西撤途中，側面受敵，隨時應戰，立足未定，各個擊破，最堪憂慮」。他要李以劻第二天一早儘快離開新安鎮，去向劉峙說明情況，「如我被圍，希望別的兵團來救」。他還要李以劻向蔣介石轉告：「我黃某受總統知遇之隆，生死早已置之度外，絕不辜負總統期望。我臨難是不苟免的，請記下來，一定要轉到呀！」他最後還說了這樣一句話：「國民黨是鬥不過共產黨的，人家對上級指示奉行徹底，我們則陽奉陰違。」
應當說，黃百韜這時還是相當清醒的，他已經明白自己的下場是什麼。而且，我們也得承認，黃百韜的牢騷滿腹和憂心如焚也不是沒有道理的。這裡可以說一件看來不大，但對於黃百韜不久的全軍覆沒卻有著不小關係的事：按照顧祝同在徐州主持的軍事會議決定，第九綏靖區立即撤銷，所屬的四十四軍西撤，交給黃百韜指揮。這本來是重要的軍事機密，可是，由於劉峙的貪得無厭，在這最緊張的時刻，竟然首先想到的是他在海州開設的幾家鹽店。他怕這幾家鹽店撤晚了要受損失，就讓司令部的機要科長以最快的速度將這一消息通知了在海州為他管理鹽店的經紀人唐某。唐某一方面收拾東西準備逃跑，一方面又告訴了他商場中的朋友。朋友再傳朋友，熟人再傳熟人，於是海州和連雲港立即大亂，紛紛出逃。而這時，身為第九綏靖區司令長官的李延年還未看到命令他撤退的電報。當第九綏靖區和第四十四軍開始撤退時，無數的商人、財主、公務人員、鄉紳等拖家帶口的隊伍乘著牛車馬車，帶著箱包擔籠，早已擠滿道路，大大延緩了四十四軍西撤的速度，特別是在過橋時，更加擁擠不堪。這一情況，不僅使黃百韜為了等待第九綏靖區人員和四十四軍而推遲了西撤的出發時間，更影響了整個黃百韜兵團西撤的速度。而這時，時間對黃百韜來說是至關重要的。黃百韜所以會被我軍迅速包圍以至全殲，他西撤過晚過緩，應當是一個極為重要的原因。而他所以會如此緩慢，就是由於劉峙這個總司令為了幾家鹽店的利益竟然有意泄露軍事機密所造成的。
11月6日夜，我華東野戰軍的先頭部隊已經與黃百韜兵團的部隊接火。7日晚，直插曹八集地區的山東兵團首先插入到徐州東北的運河一線。九縱首殲韓庄的守敵，七縱攻佔了由韓庄到台兒庄之間運河上唯一的一座橋樑萬年閘。大部隊遂通過萬年閘向南猛撲過去。與此同時，蘇北兵團從黃百韜兵團以東迂迴向南，到了徐州東南。
就在這個關鍵時刻，在徐州以北賈汪地區的國民黨軍隊第三綏靖區的一個軍部、三個半師舉行起義，向我軍敞開了南下的大門，讓我東野大軍得以更加順利地向南開進。
最早攻入黃百韜兵團在新安鎮司令部的，是九縱副參謀長葉超率領的偵察營。當他們在11月8日進入新安鎮之後，才知道黃百韜兵團已經完全西撤，而且並未走遠。鎮中的老百姓說：「老廣（黃百韜兵團殿後的部隊六十三軍是廣東部隊，大多是廣東人）走了不到兩個小時。」九縱司令員聶鳳智得知這一消息，立即報告給粟裕設在馬頭鎮的臨時司令部。粟裕毫不猶豫地立即向各縱隊下達命令：追！用最快速度追！各路大軍的戰馬和汽車首先啟動，迅速向敵人追去。