1947年2月26日，在南京軍事將領會議上，蔣介石語重心長地對他的高級將領們說：
「我們將改變戰略方針，由對共軍的全面進攻改為重點進攻。國軍佔地眾多，則兵力愈分，反而處處被匪軍牽制，成為被動，而匪軍卻時時可以集中兵力，採取主動，在我正面積極活動，將我們各個擊破。因此，我決定採取『空心戰術』，在大後方只留下3個正規軍，而將大部分的主力部隊調到前線，重兵進攻陝北和山東。」
說到這，蔣介石走向一張地圖旁，用手狠狠地指向山東地區，「目前山東是匪我兩軍的主戰場，匪軍的主力集中在山東，同時山東地當衝要，交通便利，有海口運輸。我們如能消滅山東戰區的主力，則其他戰場就容易肅清了。但我們如果能夠不顧一切集中兵力，首先來對付這股共軍，現在還來得及。如我們再像過去一樣，不聽統帥命令，各自為政，任其東奔西突，各個突破，則兩三個月以後，你們大家都死無葬身之地。因為陳毅組織民眾的技術、訓練軍隊的能力和其作戰的靈活，我們前方的高級將領可以說很少能夠和他相比……」
蔣介石說這番話是發自內心的。經過1946年11月至1947年2月間的各戰場的激戰，國民黨軍被殲達41.49萬餘人。中共則放棄87座城市，同時又解放87座城市。加上1946年7月至11月間的作戰，國民黨軍被殲達71萬人。
如此慘重的代價使蔣介石被迫改變戰略，由全面進攻改為重點進攻。重點進攻地區為山東和陝北兩個解放區。
蔣介石的戰略總方針為：佔領各重要交通點，步步逼近，使之被迫決戰，然後一併殲滅。其具體部署為：
第一步，先佔領津浦線的大汶口和泰安，向魯中臨沂連成一根橫線，使陳毅部隊無法竄到津浦路以西的地區，如果他要竄過來，就和他作陣地戰。
第二步，於膠濟線以南，津浦線以東之地區，置三個方向力量圍攻陳毅的華東解放軍。
蔣介石命令國民黨軍積極準備對山東解放區實施重點進攻，撤銷徐州、鄭州綏靖公署，成立由陸軍總司令顧祝同親自主持的徐州司令部，統一指揮原徐州、鄭州綏靖公署的部隊，並將在冀魯豫戰場的王敬久部和在武漢的整編第9師調往山東。
這時國民黨軍在山東的機動兵團的兵力，加上擔任守備任務的以王耀武為司令官的第2綏區、馮治安為司令官的第3綏區的兵力，總計達24個整編師（軍）60個旅（師）45萬人，占其進攻全國各解放區總兵力的27％，占其重點進攻兵力的67％。
國民黨軍在接受以前分路進攻常被分割殲滅的教訓後，決定採取「密集靠攏、加強聯繫、穩紮穩打、逐步推進」的新作戰方針，以加大兵力密度，集團前進，使解放軍無法分割或各個擊破。
其進攻部署是：顧祝同指揮下的24個整編師，除以7個整編師約20萬人擔任重要點線的守備和對突擊兵團的策應以外，集中17個整編師約25.5萬人，以「五大主力」中的整編第74師、整編第11師、第5軍為骨幹，組成3個機動兵團，由湯恩伯、王敬久、歐震分別擔任1、2、3兵團司令官，執行機動突擊任務，在打通津浦路徐濟段和克州至臨沂的公路、佔領魯西南以後，同時向沂蒙山區進犯。湯恩伯兵團由臨沂向北，歐震兵團由泗水向東北，王敬久兵團由泰安向東，對華野主力形成弧形包圍態勢。
面對大軍壓境、強敵雲集的嚴重形勢，陳毅、粟裕沉著應戰。
已經到南線的陳毅和張鼎丞、鄧子恢一起致電粟、譚，並報告中共中央和毛澤東：提議華野在膠濟路之休整，如已可以告一段落，則請考慮新行動。如敵5軍等部4月初已到濟南南線，集中力量修復津浦路，而濟南之敵又擬重占膠濟線，則我軍可考慮向臨沂、東海、新安之間突擊。
次日，粟、譚與參謀長陳士榘回報：擬以第二、七、八縱隊8.2萬人攻入郯城、馬頭、新安鎮，到新安鎮後向西擴張佔領運河線，繼而渡運河西進，威脅津浦南段之勢，誘敵74、83兩師南援，爾後再看情況而定。以主力第一、三、四、六、九縱隊集結於蒙陰東南、臨沂西北地區待機殲滅南線之74、83兩師，或殲滅由泗水向東南增援之11師，或殲滅大汶口向東進犯之第5軍，以上部署於4月1日開始運動，14日左右才能打響。
陳毅完全同意粟裕的計畫。他們原來計畫打由隴海線北進的湯恩伯兵團的整編第74師，派3個縱隊南下隴海路東段。
湯恩伯察覺華野意圖，不僅不派兵回援，反而把兩個軍調到臨沂，密集靠攏，使華野部隊不能分割殲敵。陳、粟隨即改變計畫，繞到剛剛調到山東的王敬久兵團側後，抓住他左翼薄弱環節，攻擊佔據泰安的整編第72師。
整編第72師，是具有幾十年歷史的川軍主力，日美混合裝備，有山地作戰經驗，但非蔣介石嫡系。其佔據地形對它有利也有弊：泰安地形和工事利於固守，但北有泰山、南有徂徠山相隔，不利於它與濟南王耀武部、曲阜邱清泉部的相互支援，而有利於華野實行分割圍殲。
陳、粟抓住這個戰機，迅速下定圍泰（安）打援的決心，於4月20日發起泰蒙戰役，以3個縱隊圍殲泰安之整編第72師，以4個縱隊待機殲滅可能來援之敵。4月24日完成了對泰安城的四面包圍。
粟裕特派陳銳霆率領特種兵縱隊榴彈炮團開赴泰安前線參戰，進行實戰鍛煉。剛剛組建不久的榴彈炮團大顯神威，在圍攻嵩里山制高點的戰鬥中，與第三縱隊密切配合，很快就把嵩里山守敵一個營擊潰全殲。整編第72師師長楊文泉被俘後說：
「你們有這麼多大炮，完全出乎我們意料。你們炮兵火力組織得這麼好，步炮協同得這樣好，更是我們沒有想到的。」
在戰鬥過程中，楊文泉幾次乞求增援，鄰近泰安的各路蔣軍都見死不救，距泰安僅1日行程的整編第75師和整編第85師一直按兵不動。
經過3天激戰，華野部隊攻克泰安城，殲滅整編第72師師部和兩個旅，生擒中將師長楊文泉，連同南線共殲敵2.4萬餘人，取得了沂蒙山區作戰的第二個勝利。
陳、粟又以第一、三、六縱隊沿津浦路兩側南下，出擊寧陽，威脅敵補給基地兗州，以調動敵第5軍等部西援，野戰軍主力則主動放棄新泰、蒙陰，轉到臨沂、蒙陰公路以東，待機殲敵。
28日，敵軍先頭進佔蒙陰。陳、粟乘其第1兵團主力分散配置於臨蒙公路、立足未穩之機，於29日以4個縱隊突擊桃墟、青駝寺段。但敵十分警覺，一經接觸即退踞公路以南山區，僅殲敵第83師1個半團。以後又兩次出現戰機，或因主力轉運不及，或因敵援迫近，均未成功。
整個泰蒙戰役，以殲敵2.8萬餘人勝利告終。
從4月初到5月初的1個多月時間裡，陳、粟指揮華野10個縱隊，利用在解放區腹地作戰的有利條件，同敵人在魯南和沂蒙山區周旋，時南時北，忽東忽西，欲擒故縱，避實擊虛，有利則打，不利則撤，而將主力始終集結於便於機動作戰的位置，處於主動地位。陳毅把這種戰法比喻為「耍龍燈」：我軍揮舞綵球逗引，敵軍像長龍一般迴旋翻滾。用這種辦法調動和迷惑敵人，創造有利戰機。
為了進一步調動與分散敵人，陳、粟決定以第一、六縱隊南下魯南，第七縱隊開赴蘇北。5月3日，他們把這個設想報告給中央軍委。
5月6日，中央軍委電示：「目前形勢，敵方要急，我方並不要急。鑒於青駝寺教訓，尤不宜分兵，不但一六兩縱不宜過早分出，即七縱亦似宜暫留濱海地區一個月左右，作為鉗制之用，一個月後看情形再行南下。因此，五六兩月你們除以七縱位於濱海外，其餘全部似宜集中萊蕪、沂水地區休整待機，待敵前進或發生別的變化，然後相機殲擊。第一不要性急，第二不要分兵，只要主力在手，總有殲敵機會。」
根據中央軍委的指示，陳、粟立即決定放棄以第七縱隊南下蘇北和第一縱隊去魯南的計畫；命令已位於新泰以西的第六縱隊就近南下至平邑以南地區，不再以牽制敵人為主要任務，不採取積極行動，而隱伏於魯南敵後待命，必要時即可作為一支奇兵使用。主力則後退一步，集結於萊蕪、新泰、蒙陰以東地區待機。
蔣介石、顧祝同得知華野主力東移，他們未經嚴重戰鬥就佔領了臨沂、新泰、萊蕪一線，錯誤地判斷華野「攻勢疲憊」，已向淄川、博山、南麻、坦埠、沂水、莒縣一線撤退。於是決定「跟蹤進剿」，並且把「穩紮穩打」的戰法改變為「穩紮猛打」，3個兵團同時向莒縣、沂水、悅庄、淄博一線推進，企圖圍殲華野主力於沂蒙山區，或者把華野主力趕過黃河。
國民黨的《中央日報》為此狂呼：「雄師北指，氣吞沂蒙！」
這樣一來，國民黨軍隊密集靠攏的態勢很快發生了變化。有利於華野的戰機終於出現了。
5月10日夜，華野指揮部