濟南，位於津浦、膠濟兩條鐵路的交會處，是一個擁有70萬人口的大城市。當時為國民黨山東省政府和第2綏靖區所在地，是國民黨軍賴以支撐其華北、華東殘局的少數戰略要點之一。
1948年7月在華東野戰軍勝利結束豫東戰役和津浦路中段戰役後，濟南便處在解放軍的包圍中。守住濟南，是當時國民黨軍的戰略需要。蔣介石為了屏障徐州，隔斷華東、華北兩解放區的聯繫，並使青島不致處於孤立，決心確保濟南。當時駐守濟南的國民黨軍為第2綏靖區司令官兼山東省政府主席王耀武所率的3個整編師（軍）12個旅共11萬餘人。
在解放軍結束膠濟路中段戰役後不久，王耀武鑒於其所部在膠濟路上連連被殲，感到「分散兵力，處處設防，易被擊破，況濟南形勢又十分孤立，只靠現有的部隊是無論如何守不住的」，即於5月15日乘飛機到南京見蔣介石，向他報告軍事情況。
蔣介石親自出來迎接，這屬破例。蔣介石此前還未曾出門迎候過任何一個文官武將。這與其說是看重王耀武這員大將，不如說是看重濟南這座孤城。
幾句寒暄後，蔣介石直入主題：「俊纔此次來京，你要找我談些什麼？」
「此次來京，主要是想將濟南的軍事情況向校長報告一下，同時談一下我個人的想法。」王耀武小心翼翼地說。
「哦，你有什麼想法？說來我聽聽。」蔣介石微有詫異，因為，對於濟南的方針政策他已經明確：死守。
王耀武也顧不得許多了，把自己的看法和盤托出：
「校長，共匪轉入全面進攻後，山東戰場上我所指揮的部隊傷亡日漸增加。從今年3月到現在，短短兩個月的時間，在膠濟路上我部就傷亡了8萬多人。學生感到分散兵力，處處設防，易被擊破，況且，當前濟南形勢又十分孤立，只靠現有的部隊要守住濟南難度很大。因此，根據當前的形勢，學生建議放棄濟南，將在濟南一帶的軍隊撤至兗州及其以南地區，與徐州一帶的部隊連成一片，鞏固徐州至兗州的鐵路交通，以利而後的作戰。不知學生所慮是否得當？請校長賜教！」
蔣介石聽到這個建議，不滿意地說：「你應從大處著眼。對於濟南的問題，我曾考慮過。我們必須確保濟南不能放棄。第一，濟南是山東的省會和華東的戰略要地，濟南至徐州的鐵路已修好通車。為了不讓華東及華北的『匪區』打成一片，不讓他們掌握鐵路交通的大動脈，必須守住濟南。第二，為了不使駐在青島的美國海軍陷於孤立也必須守住濟南。否則，不但在軍事上、政治上於我們不利，且將影響美國對我們的援助。因此，無論華東戰況如何變化，濟南絕不可放棄。第三，我們有空運大隊隨時可以增派援軍。在空軍優勢的條件下，濟南並不孤立，沒有後方也可以作戰。」
最後蔣介石給王耀武打氣說：「濟南如果被圍攻，我當親自督促主力部隊迅速增援。只要你能守得住，援軍必能及時到達，我有力量來解開你們的包圍。為了確保濟南，必要時還可以增加防守部隊。打仗主要是打士氣。鼓勵士氣，首先自己不要氣餒。你要知道，我們的失敗是失敗於士氣的低落。你們如不發憤努力，堅定意志，將死無葬身之地。」說到這裡，本是鼓氣，他自己卻長長地嘆了一口氣，也許蔣介石已經感覺到了什麼不祥之兆吧！