開皇八年（五八八年）三月，隋文帝頒布詔書，宣布弔民伐罪，討伐陳朝。那麼，他到底要怎麼打這場仗呢？
謀臣崔仲方為隋文帝出了個好主意。他說：
今唯須武昌已下，蘄、和、滁、方、吳、海等州更帖精兵，密營渡計。益、信、襄、荊、基、郢等州速造舟楫，多張形勢，為水戰之具。蜀、漢二江，是其上流，水路衝要，必爭之所。賊雖於流頭、荊門、延州、公安、巴陵、隱磯、夏首、蘄口、盆城置船，然終聚漢口、峽口，以水戰大決。若賊必以上流有軍，令精兵赴援者，下流諸將即須擇便橫渡。如擁眾自衛，上江水軍鼓行以前。雖恃九江五湖之險，非德無以為固，徒有三吳、百越之兵，無恩不能自立。
意思是，隋陳間隔著長江天險，因此，所謂統一問題也就是如何突破長江的問題。在長江中上游地區，有兩處兵家必爭之地：一是三峽峽口，一是漢口。針對這兩處關鍵，崔仲方建議隋朝在長江中游的武昌地區增派精兵，同時在位於上游的四川地區建造舟船，大造聲勢。如果陳朝擔心上、中游地區的安全，派精銳部隊布防的話，隋軍便在下游乘機橫渡長江；如果陳朝固守下游核心地區，隋軍便從上游及中游順流而下。簡單來講，就是上中下游互相配合，上游牽制，下游突破。此一策略其實就是三百年前西晉滅吳的故技。
隋文帝對此方略非常讚賞，馬上據以布置軍隊。
隋文帝總共糾集五十一萬多人兵力，分成三兵團，第一兵團由隋文帝次子晉王楊廣擔任行軍元帥，下設四路大軍，負責長江下游作戰，重點突破陳朝的首都建康，也就是南京。
第二兵團由隋文帝參子秦王楊俊擔任行軍元帥，下設三路大軍，負責長江中游作戰，重點突破漢口。
第三兵團由清河公楊素擔任行軍元帥，下設兩路大軍，負責長江上游的作戰，重點突破三峽的峽口。
在三支大軍中，第二、第三兵團是策應部隊，共同任務是吸引敵人注意。很明顯，這次戰爭是要一統天下，為楊家打江山，所以，楊堅當然要凸顯自己兒子的地位。
說到這裡，可能有人要問，楊廣和楊俊是楊堅之子，那楊素是何許人？他何德何能，能和皇子有相同地位？
楊素可是隋朝歷史上非常著名的人物。此人出身弘農楊氏，長得高大威猛、長髯飄飄，極具英雄氣概。不過，楊素可不是只會打仗的草莽英雄，他精研詩書、擅長書法，還兼通占卜術，是難得的文武雙全的人。
北周時，楊素替周武帝起草詔書，下筆成章，周武帝讚賞不已，說：「善自勉之，勿憂不富貴。」小夥子，好好做，以後會有富貴等著你。這已經是很高的評價了。沒想到，楊素卻應聲答道：「臣但恐富貴來逼臣，臣無心圖富貴。」我倒不想要富貴，但我害怕富貴來逼我，追著來找我。此乃風流倜儻、落拓不拘。有這樣的才幹，加上這樣的性格，一看就是做大事的人。可惜，隋朝開皇四年（五八四年），楊素狠狠地栽了個跟頭。怎麼回事呢？
楊素的夫人鄭氏是著名的悍婦，楊素一輩子連皇帝都不怕，但是就怕夫人。有一次，楊素被夫人欺負得實在忍不住了，忿忿然說了句：「我若做天子，卿定不堪為皇后！」我要是當皇帝，我也不讓你當皇后。這樣反抗夫人的權威，鄭夫人當然饒不了他，馬上就向朝廷舉報，說楊素想當皇帝。這是謀反罪，按照法律，要殺頭的。當然，文帝知道他們是怎麼回事，頗為同情楊素，所以並未嚴加追究，只是把楊素免官了事。
開皇四年已大致結束對突厥的戰爭，朝廷的中心工作轉移到平定江南，楊素既然免官，整天在家琢磨平陳方略，幾次向隋文帝上書，獻平陳策。隋文帝知道，楊素是個難得的人才，待在家裡太可惜，於是，重新起用他擔任信州總管，駐紮在四川奉節，經營長江上游。
楊素到任後，馬上積極備戰，修造大船。船大到什麼程度呢？最大的叫五牙，高達一百多尺，船面上起五層樓，能夠容納八百士兵。船的前後左右設有六個拍桿，也就是投石的槓桿，相當於六門大炮，論作戰能力，簡直就是古代的航空母艦。而且，造船時故意大張旗鼓，牢牢捉住陳朝軍隊的注意。
這正符合隋文帝的戰略部署，所以，隋文帝對楊素相當看好，雖然不是自己的兒子，也讓他擔任一個兵團的司令。