按照葉劍英的說法，大決戰的正式開始時間是1948年9月12日，歷時四個月又十九天。但是，大決戰的序幕在此之前早已拉開。
1948年9月8日至13日，在中國革命的總指揮部所在地西柏坡村，中共中央召開了自撤出延安之後的第一次政治局會議。參加會議的有：
政治局委員（7人）毛澤東、朱德、劉少奇、周恩來、任弼時、彭真、董必武；中央委員和候補中央委員（14人）鄧小平、陳毅、賀龍、葉劍英、徐向前、聶榮臻、薄一波、曾山、鄧穎超、滕代遠、饒漱石、廖承志、陳伯達、劉瀾濤；此外還有中央其他工作人員李維漢、楊尚昆等10人。除了東北戰場上幾位負責人如林彪、陳雲、羅榮桓、高崗、張聞天等和在戰場上無法抽身的彭德懷、劉伯承、粟裕等人之外，中共的重要幹部幾乎全部到會。
毛澤東在會上做了重要報告，他說：「我們的戰略方針是打倒國民黨，戰略任務是軍隊向前進，生產長一寸，加強紀律性，由游擊戰爭過渡到正規戰爭，建軍五百萬，殲敵正規軍五百個旅，五年左右根本打倒國民黨。」
作為中央軍委的總參謀長，周恩來在會上對具體的軍事計畫做了發言。他說，中央的計畫就是要「指導戰爭繼續引向國民黨統治區」，「應準備若干次帶決定性的大會戰」。劉少奇也說，打倒國民黨，統一全中國，以前是宣傳口號，現在是擺在議事日程上來計畫了。現在就是要準備大的會戰，一次消滅他兩三個兵團。
九月會議，為最後打倒蔣介石、成立新中國，從思想上、政治上、軍事上、組織上都做了充分準備，是與蔣家王朝進行大決戰的總動員。
在毛澤東和中央軍委其他領導人心中，這場大決戰究竟怎麼打？根據九月會議上的討論和毛澤東為中共中央起草的《中共中央關於九月會議的通知》，大戰將在長江以北，特別是在東北和華北進行，中原的徐州和東北的北寧線，很可能是會戰的中心。為什麼要作出這樣的決策，而不是讓大軍打過長江去擴大解放區？關鍵的一個原因是我軍必須以大量消滅敵人的有生力量為目標，而不在一城一地的得失。當時，國民黨主力的分布已如前述，幾乎全在長江以北，東北的衛立煌集團、華北的傅作義集團、華中的劉峙集團都是以具有戰略地位的幾個大城市為依託在和我軍對峙，正如葉劍英後來在回顧時所分析的：
為著繼續大量殲滅敵人，從根本上打倒國民黨反動政府，人民解放軍就必須攻擊敵人堅固設防的大城市，必須同敵人的強大機動兵團作戰。因此，敢不敢打我軍從來沒有打過的大仗，敢不敢攻克敵人的大城市，敢不敢殲滅敵人的強大集團，敢不敢奪取更大的勝利，已經成為我軍當時戰略決策上的重大問題。就在這時候，國民黨一九四八年八月南京軍事會議曾經議論過撤退東北，確保華中，堅持瀋陽到十月底，以觀時局發展，原則上不放棄瀋陽，同時亦做撤退準備的作戰指導計畫。
在這種情況下，究竟是讓敵人實現他們把現有兵力撤至關內或江南的計畫，使我們失去時機，從而增加我軍爾後作戰的麻煩呢？還是在敵人還沒有來得及決策逃跑之前，我們就當機立斷，抓住大好時機，組織戰略決戰，各個消滅敵人的強大戰略集團呢？機不可失，時不再來，毛澤東同志根據對戰爭形勢的科學分析，毅然決然地抓住這個戰略決戰時機，先後組織了遼瀋、淮海、平津三大戰役。
就在中共中央政治局會議前夕，1948年8月上旬，國民黨政府的高級軍事會議也在南京召開。自蔣介石以下，何應欽、顧祝同、白崇禧、湯恩伯、杜聿明、范漢傑、宋希濂、黃維、孫立人、黃百韜、周至柔、桂永清、王叔銘等120人到會。根據會議的參加者宋希濂的回憶，「蔣介石在會議開幕時的發言，充滿了沮喪的神情，對前途完全喪失了信心」。不過蔣介石在指責他的下屬時坦率地承認，「許多高級軍官大發接收財，奢侈荒淫，沉溺於酒色之中，弄得將驕兵逸，紀律敗壞，軍無鬥志」。他也坦率地告誡他的下屬們：「現在『共匪』勢力日益強大，『匪勢』日益猖獗，大家如果再不覺悟，再不努力，到明年這個時候，能不能再在這裡開會都成問題。萬一共黨控制了中國，則吾輩將死無葬身之地。」所以他要求大家「共濟時艱」，「挽救危機」。到會的高級將領們當然也談了不少，宋希濂說：「有一個總的印象，就是幾乎所有發言的人，都是申訴本單位處境的困難，向國防部要求增加部隊，要求新成立部隊番號，要武器，要新兵，要軍糧，要器材，要車輛，要彈藥……總之一句話，全是困難、危險、艱苦。」最後形成的戰略方案是：停止戰略進攻，將兵力歸併為幾個強大的機動兵團，在長江以北布防，防止共軍渡江，相機打擊共軍。
這次國民黨當局召開的最高軍事會議，沒有取得任何實質性的結果，只是加劇了與會者對戰局信心的動搖與沮喪。例如蔣介石的「北平剿匪總司令部」司令傅作義，就是在這次會後產生了與蔣介石分手的念頭。
大決戰正式開打之前，我人民解放軍奏響了一支高亢的序曲，這就是解放濟南。
1948年夏天，我華東野戰軍陳士榘、唐亮兵團先打了宛西戰役。緊接著，華東野戰軍粟裕兵團，加上中原野戰軍陳賡兵團，又打了宛東戰役。然後，由粟裕統一指揮華東野戰軍和中原野戰軍的中原地區部隊攻打軍事重鎮開封。蔣介石親自坐著飛機在空中督戰，狂炸市區，並命令邱清泉兵團、孫元良兵團、胡璉兵團、劉汝明兵團四個兵團增援開封。
6月20日，我軍在外線阻擊援軍的同時，已將開封城除了城中心的制高點古龍亭之外的全部市區攻下。這時粟裕除留下一個師攻打古龍亭外，下令撤出攻城的主力華野三縱、八縱，加上十縱和兩廣縱隊（兩廣縱隊原本是我黨抗日戰爭時期在廣東省的抗日武裝，即著名的東江縱隊。抗戰勝利後，根據國共兩黨在和談期間達成的停戰協議，全部北撤。1946年7月5日，東江縱隊主力2583人走海路北撤煙台，進入我山東解放區，編入當時的新四軍和山東軍區，仍稱為東江縱隊。在戰鬥中隊伍不斷擴大，1947年8月編入山東野戰軍，改稱為兩廣縱隊。司令員曾生，政委雷經天）組成阻援兵團，由華野一縱、四縱、六縱，中野十一縱組成突擊兵團，圍殲蔣介石新組建的，由豫東馳援開封的區壽年兵團。這時，國民黨軍的注意力都集中在開封的攻堅戰上。6月22日，開封古龍亭被攻下，開封全城解放。可是我軍卻很快又撤出開封。而且，華野的三兵團（即陳士榘、唐亮兵團）還根據粟裕的命令，有意放開原來一直被我軍阻擊於蘭封一帶的敵邱清泉兵團，讓其進入開封。與此同時，我軍的突擊兵團卻在華野一縱司令員葉飛的統一指揮下，猛然向睢縣地區的區壽年兵團發起強攻。這一撤一攻，完全出乎蔣介石的意料。他立即命令20萬大軍前往援救。而我軍早已準備了將近30萬人的兵力，雙方在中原大地展開大戰，這一場大戰就是有名的豫東戰役，也是解放戰爭開始以來最大的一個戰役。如果從6月17日攻打開封算起，豫東戰役一共打了20個晝夜，我軍全殲了區壽年兵團，區壽年被俘（這也是我軍在解放戰爭中生俘的第一個國民黨軍的兵團司令），黃百韜兵團和邱清泉兵團被重創，蔣軍的五大主力之一的第五軍被我擊潰，黃百韜的兵團部差點被我軍端掉，我軍共殲滅敵人9.4萬人。
豫東戰役結束之後，為了切斷徐州和山東的聯繫，為了讓整個山東解放區連成一片，為了進一步取得打大仗、攻打大城市的經驗，更重要的是，為了在解決濟南之後，我軍沒有後顧之憂，能騰出手來將力量投入淮海方向的大戰中去。我軍決定攻打濟南。
山東省會濟南是聯結華東、中原、華北三大戰場的戰略樞紐，自從日軍佔領時期起，就不斷修築了大量而堅固的工事，國民黨軍在其基礎上又加以擴大和加固，既有古老的城牆、城壕，又有現代化的電網、地雷，加上各種類型的碉堡，防守體系十分堅固。
濟南國民黨守軍的主將是徐州綏靖公署第二綏靖區司令官王耀武。
王耀武雖然只是黃埔三期畢業生，可他卻在過去與工農紅軍的戰鬥和對日作戰中立過大功，是所有黃埔學生中第一個出任方面軍司令官和省主席的人。不過，這時候的山東戰局已無法讓王耀武樂觀，因為王耀武所轄的軍隊已經在萊蕪戰役、孟良崮戰役、魯西南戰役等戰役中多次被我軍擊敗，他早已深知陳毅、粟裕的厲害。所以，雖然濟南有堅固的縱深達十幾公里的防禦體系，雖然他在濟南已經苦心經營多年，但對濟南的防守仍然沒有多少信心。自豫東戰役之後，他已明顯地察覺到華東野戰軍在向魯西結集，粟裕的下一個目標十有八九就是他所防守的濟南。他如芒在背，急飛南京，向蔣介石彙報軍情，請求援軍。
有多年作戰經驗的蔣介石對於濟南這個戰略要地的重要性當然是十分明白的，而且他也已經預感到，雙方都在徐州地區集中了大量兵力，這個自古就是兵家必爭之