按毛澤東和中央軍委對全國戰局的考慮，1948年1月27日，毛澤東以中央軍委的名義電示粟裕，為了迫使蔣介石改變戰略部署，吸引敵人20～30個旅回防江南，決定由粟裕率領的華東野戰軍外線兵團一縱、四縱和六縱在這年的春夏渡過長江，挺進江南，插向江南腹地，把蔣介石的後方攪個人仰馬翻。這一個大膽的方案，是毛澤東提出來的。
毛澤東的考慮是：蔣介石在從豫西到東海的隴海線部署了近百萬人的密集型防禦態勢，特別是在徐州地區就放了4個兵團，進可以進攻我山東與中原解放區，退可以守江淮、拱衛京滬。如何才能更好地打破敵人的這種密集防守？如何才能讓蔣介石的防守體系變得手忙腳亂？如果我軍要進攻蔣介石的老巢京滬地區，在江南如何立足？
在對這些問題進行了多方考慮之後，毛澤東認為，這幾年都是蔣介石的軍隊到我解放區來打仗，我們也應當到蔣介石的地盤上去打一仗了。蔣介石可以來打我們的陝北根據地，我們為什麼不能去打他的江南老巢？如果我們能派部隊進入蔣介石目前兵力最薄弱的江南農村建立根據地，既能打亂蔣介石的戰略部署，攪亂他的大後方，又能迫使蔣介石抽調中原的兵力回防江南，為我軍在中原殲敵創造有利條件。當我軍渡江南下時，還能有接應、有落腳點。這一計畫的實現，將成為我軍解放全中國的極為重要的一步。
對於毛澤東提出的這一大膽計畫，當時中央政治局在陝北米脂楊家溝的幾位成員毛澤東、周恩來、朱德、任弼時與陳毅在一起做了研究。
大家一致同意這一方案，而且決定將這一任務交由在江南有多年作戰經驗的粟裕組建東南野戰軍第一兵團去完成，兵團由華東野戰軍主力的3個縱隊組成，由粟裕任司令員兼政委。這3個縱隊確定為葉飛的一縱、陶勇的四縱和王必成的六縱。
這種大膽的打法，過去毛澤東曾經用過，而且取得過很大的成功，比如1944年11月王震的南征，1947年劉鄧大軍千里躍進大別山，將戰場推向國民黨統治區，打亂了敵人的全面部署。雖然部隊的損失和消耗很大，丟掉了全部重武器，但也是一次很成功的插入敵後的重大軍事行動。
這一次，粟裕兵團將進行又一次南征，而且規模更大。因為這一次不是幾千人，而是近10萬人；不是去山區牽制敵人，而要在敵人的腹心地區的幾個省與敵人作戰；不是去打一仗就回來，而是要建立根據地，等待下一步解放全中國的大軍南下（按當時的估計，不是在一兩年之內）。
可是，粟裕卻並未執行毛澤東和中央軍委的命令，他沒有南下，粟裕兵團也沒有去江南。這是因為，粟裕在經過深思熟慮之後，向毛澤東提出了他的不同意見，他希望毛澤東和中央軍委改變南下江南的部署，並提出了自己的新設想，且得到毛澤東和中央軍委同意。像粟裕這樣對毛澤東和中央軍委已經決定的重大戰略決策提出不同意見，而且最後又被毛澤東和中央軍委所採納的事，在遵義會議之後還是第一次。
粟裕是我黨我軍最傑出的指揮員之一，毛澤東曾稱他「最會打仗」，朱德曾稱他為「青年戰術家」，陳毅曾稱他為「常勝將軍」。從青年入伍一直到晚年，他把一生心血都投入到了中國革命戰爭的研究與實踐之中，指揮了無數次成功的大戰。哪怕是在「文化大革命」之中，他仍然在十分困難的情況下巡視邊防，多次向中共中央提出關於未來戰爭問題的重要報告。1979年，他發表《對未來反侵略戰爭初期作戰方法幾個問題的探討》講話，成為全黨全軍一致頌揚的一段佳話。
解放戰爭初期，粟裕在華東戰場上屢戰屢勝，特別是在蘇中的七戰七捷和孟良崮全殲國民黨王牌軍整編七十四師的戰績更使他名震全國。
就在著名的七戰七捷之後，中央軍委接受陳毅的建議，將當時的華東野戰軍和山東野戰軍兩支隊伍合併為統一的華東野戰軍。1946年9月23日，毛澤東為中央軍委起草的電報中特地指出：「在陳毅領導下，大政方針共同決定，戰役指揮交粟裕負責。」在著名的孟良崮大捷之後，新華社記者採訪了陳毅司令員，陳毅說：「你們不用向我祝賀，我這個人呀，在政治工作上依靠的是譚震林同志，在軍事組織指揮上依靠的是粟裕同志。」
1948年1月27日，中央軍委給粟裕發來一封電報。軍委的電報說，為了迫使蔣介石改變其集中兵力在江北與我周旋、固守長江的基本戰略，將中原戰場上的國民黨軍隊吸引20～30個旅到江南，以便於我軍在中原殲敵，軍委決定由粟裕率領華東野戰軍的一縱、四縱、六縱組成外線兵團，在集中整訓之後渡江南下。先在湘、贛機動作戰，與敵人周旋半年至一年，然後在閩、浙、贛邊區我黨原來的老根據地見機建立根據地，開創南方的解放區。渡江時間可以在2月、5月或秋天。軍委要求粟裕認真考慮具體的行動方案，「熟籌見復」。
粟裕得到中央軍委指示後，立即結集部隊，北渡黃河，將部隊安排在濮陽地區進行整訓，進行以水網稻田地區作戰和攻堅、巷戰為主要內容的軍事訓練，並積極進行渡江的各種準備，包括派出小分隊南下偵察。為了選擇渡江地點及確定如何渡江，粟裕還特派曾希聖、孫仲德分別帶領一批幹部到皖江和巢湖地區工作。與此同時，根據中央的決定，華東野戰軍第一兵團的幹部配備、地方工作、物資後勤等工作也在積極進行。中央決定，由粟裕擔任中共中央東南分局書記，由葉飛擔任第一兵團副司令員兼副政委，由金明協助粟裕做地方黨的工作，由駱耕漠負責南下之後的財經工作。當時，連南下之後對部隊的老弱病殘的安置、家屬小孩的安置都已經做出了具體的計畫，在新區使用的銀元和由自己發行的「東南流通券」紙幣都已經在印製了，可以說是「萬事俱備，只待渡江」。而用周恩來和陳毅對粟裕的評價，則叫「心細如髮」。
作為一名黨的高級幹部，粟裕得到中央命令之後就開始積極準備，以待中央一聲令下立即出動。可是，作為一個領兵作戰20年的指揮員，特別是曾經在江南長期作戰，如今又將重返江南獨立作戰，擔負黨中央賦予的重新開闢江南根據地重擔的粟裕，對於中央的一個重要決策，對於即將到來的南下江南作戰並開創新的解放區的重要任務，進行了多方面的思考。他必須認真領會毛澤東這一決定的戰略意圖，分析敵我雙方的力量對比與分布，考慮好應付可能出現的各種困難的辦法並在出發前有所準備，為大部隊的南下制定出最佳的行動方案。在這些工作還未做好，心中還沒有充分把握之前，他是不會輕易向中央提出自己意見的。
在反覆考慮之後，粟裕認為中央軍委的決定的確有大膽與出奇之處，如果他帶3個主力縱隊南下，打亂敵人的後方，肯定會取得一定的效果。但是，這既是一著妙棋，可又是一著險棋。在仔細權衡華東野戰軍南下與不南下、我江北主力部隊分兵與不分兵的利弊之後，他認為中央軍委的決策並非上策，認為不南下會取得更佳的戰果。粟裕的基本考慮是：中央作出這樣決定的主要目的，是要改變中原戰局，在中原打殲滅戰，大量地殲滅敵人。事實上，這時在中原地區打大殲滅戰的條件已逐漸成熟。
一是敵人在中原的三條鐵路幹線和各大中城市的防守上分散了很多兵力，有利於我軍在運動之中捕捉戰機；
二是中原地區的平坦地形雖然有利於敵人相互支援，但如果我軍破路之後，敵人的重裝機械化部隊就無法機動，有利於發揮我軍徒步行軍的長處，迅速集中兵力，實現戰役的速戰速決；
三是中原地區背靠山東和晉冀魯豫老解放區，便於得到支援和安排傷員；
四是我軍挺進外線以後，已經度過了最困難時期，逐漸適應和掌握了外線作戰的特點，新的解放區也已經有了一定的基礎。
相反，如果3個縱隊過江，雖然可以調動部分敵人回防江南，但是國民黨軍隊在江北的4支主力部隊，即整編第五軍、第七軍、整編第十一師、第四十八師要支撐國民黨軍隊的中原防線，拱衛南京和武漢，是不可能將其調動南下的。特別是第七軍和四十八師屬於桂系的部隊，駐在武漢的白崇禧更是不會讓其脫離自己的指揮。
另外，中原地區國民黨所有機械化部隊的主官也是不願到江南水網地區去作戰的。所以，國民黨軍隊可能調到南方的部隊不會是其主力，只能是一些二三流部隊，這使中原兵力對比的改變不可能很大。在此背景下，如果我軍3個主力縱隊南下卻削弱了我軍在中原與敵人決戰的能力。
從以上因素考慮，部隊南下的方案與中央要在中原地區打大殲滅戰的初衷是矛盾的。如果再從另一方面來考慮，我軍南下之後，是在新區轉戰，行程數省，部隊的重武器必須全部放棄或丟失，這是不可避免的損失。同時，部隊在轉戰中處處有敵人的圍追堵截，傷員的救護與安置有很多困難，這就使得部隊減員的數量不會少，很可能達到三分之一甚至二分之一（3個縱隊加上部分地方幹部約為