李善長回鄉後，中書省一時沒有了主事之人，丞相一職一時還真沒有合適的人選。按才能，劉伯溫最為合適，可當下淮西勛貴當道，即使劉伯溫出任丞相一職也很難有所作為。朱元璋知道處理起這些勛貴來，手段和方法一定要得當，絕不可一步到位，急於求成。汪廣洋是高郵人，雖然說和這些淮西人走得不近，但也算半個淮西人。讓其出任左丞相，這些淮西人應該不會反對。另外讓楊憲出任右丞相，他上台可以牽制一下淮西人，讓這些淮西人不至於太過分。
這時劉伯溫雖遭遣，但仍住在京城內。朱元璋很敬服劉伯溫對人事的判斷，所以隔三差五仍密召劉伯溫議事。
「伯溫，你看咱這樣安排如何啊？」一日，朱元璋對劉伯溫道出了他心目中丞相的人選。
劉伯溫聞聽此言很是詫異，道：「皇上，記得微臣曾經說過此二人均不適合為相。」
「伯溫難道不明白亂中取勝的道理嗎？現在朝廷最大的威脅是來自勛貴們，只有亂咱才能趁機打壓。」朱元璋道。
劉伯溫聽完，不禁打了個冷戰。我們的這位皇上真是曠世奇才，辦事手段也讓人不寒而慄。只是可惜了汪廣洋、楊憲二人，他們終將成為皇上和勛貴們鬥爭的犧牲品。他一時心中很是不忍，於是道：「皇上高見！只是汪廣洋生性軟弱，而楊憲則戾氣太盛，只怕汪廣洋難以駕馭楊憲。」
「哈哈，這個伯溫就請放心吧。我們不是想打壓勛貴嗎？楊憲會成為一根很好的棍子。汪廣洋和楊憲同坐中書省，楊憲肯定獨攬大權，這也是我的目的。楊憲掌權，淮西勛貴肯定沒有好日子過。當然，如果讓楊憲直接出任左丞，那些勛貴也不會同意，所以只好安排汪廣洋出任左丞。」
劉伯溫聽罷又是一驚，他不得不重新審視眼前的這個皇上：膽大心細，一切盡在掌握。看來，那些居功自傲的淮西勛貴好日子已沒多久了。有這麼一個雄才大略，但同時做事又無所不用其極的皇上，做臣子的真不知道是幸運還是不幸。
洪武三年（1370年），朱元璋以汪廣洋為中書左丞，主導政事。以楊憲為中書右丞，協助汪廣洋。
楊憲聰明，把這一切看得通透。剛上任就仗著皇上的寵信而顯得咄咄逼人，處處都讓別人覺得他才是中書省的主事。
一日，禮部尚書崔亮到中書省辦完事，出門剛好遇到楊憲。
「崔大人，見了本堂怎麼匆匆忙忙，連個招呼也不打啊？」楊憲一臉不高興地問道。
「原來是楊大人，實在抱歉。因有要事忙著趕回去，還請楊大人見諒。」崔亮趕快賠禮道。他知道這楊憲如今是皇上身邊的紅人，又愛找別人麻煩，自己得小心些。
「原來是這樣，來我中書省有什麼事啊？」楊憲看到崔亮戰戰兢兢的樣子很是開心。
「哦，禮部此次提拔的人選擬定了，前來呈報給汪大人。」崔亮道。
「崔大人，難道你不知道我們中書省的規矩嗎？這種事情應該先報給我才對啊！我看了再交給汪大人審定，難道你不知道嗎？」楊憲很是惱怒。楊憲心想，這事幸好被自己遇到了，禮部人選提拔怎麼能不走我這關呢？於是，他問道：「那名單現在何處？」
「楊大人，那名單已呈給汪大人過目了。」崔亮不解為什麼名單要拿給楊憲看，按道理應該交汪大人才對的。
「趕快到汪大人那兒取回來，告訴他本堂要看看。」楊憲命令道。
這汪廣洋也是聰明之人，明白自己坐在這個位子上該幹什麼。淮西勛貴自己得罪不起，皇上當然更得罪不起。我汪廣洋什麼別做就對了，楊憲那麼愛幹事，乾脆就把中書省放手給他，這倒也遂了皇上的意。於是崔亮來取，汪廣洋就把名單還給了他。
楊憲看完名單後，大聲叱喝起崔亮：「崔大人，你這名單擬得太草率了，幸好被我看到了。這要是交到皇上那兒，我們都得跟著倒霉。」說著順手改了幾個名字，遞還給崔亮。
崔亮接過一看，楊憲竟把名單上淮西籍的人全部換成了他的親信。崔亮敢怒不敢言，只得說道：「楊大人果然高見，以後還請多多指教！」趁著楊憲大笑的時機，趕緊告辭離開。
這件事過後，楊憲更加有恃無恐，也越發不把汪廣洋放在眼裡。汪廣洋雖然不管什麼事，但他畢竟還是左丞，楊憲有什麼事也得報請汪廣洋批准才能生效。楊憲覺得自己應該搬倒汪廣洋取而代之。於是派人整天盯著汪廣洋，等他犯錯。
說也奇怪，什麼事情都讓楊憲做了，汪廣洋即使想犯錯也沒這機會。一連數日，盯梢汪廣洋的人都沒有結果。
這一日，負責盯梢汪廣洋的一個人忽然來報告楊憲，說汪廣洋原來怕老婆。昨天母親和夫人鬧彆扭，汪廣洋竟然出言訓斥了母親。
楊憲如獲至寶，立馬進宮稟報皇上。他明白皇上如今罷免汪廣洋，需要的只是一個借口。
「皇上，汪廣洋竟然對母親如此不孝。臣建議罷了他這個左丞，另選賢才。」稟告完汪廣洋的罪過，楊憲又說道。
朱元璋聽聞，感覺很是好笑，心想，咱知道你楊憲想當左丞相，但你也想得太瘋了吧。我是想罷了汪廣洋的左丞相，他也當得也太窩囊了。也罷，是時候試探一下淮西人的反應了，也趁此讓你楊憲滿意。
於是，汪廣洋因不孝，剛當上左丞沒幾日就被皇上趕出中書省，流放他鄉。洪武三年（1370年）七月，朱元璋任楊憲為左丞相，同時將淮西人胡惟庸調入中書省擔任參知政事，以安撫淮西人。楊憲取得了相權之爭的初步勝利。
但正如劉伯溫所言，楊憲此人有丞相的才能，但沒有丞相的氣度。
李善長曾經罷黜過楊憲的哥哥楊希聖。李善長雖然告病還鄉，可皇上並沒有免去他的官職。現在楊憲獨攬大權，決心搬倒李善長這個淮西勛貴的代表。
楊憲多次向朱元璋說道：「皇上，臣以為李相國近年來年老體衰，已顯疲態。況且中書省在他的領導下各部門相互推諉，效率低下。微臣以為他曾經為皇上立過不少大功，現在該退下來享享清福了。」
朱元璋想起劉伯溫的話，心道楊憲你果然錙銖必較。李善長可是淮西派代表，不可能憑你幾句話就能罷了他的，恐怕動他得付出點代價才行，你這樣咬著他不放只怕會丟了性命。
這時李善長不在朝中，淮西派的代表變成了中書省參知政事胡惟庸。他聽到楊憲向皇上進言欲罷李善長的消息後，立即去見李善長。
「李相，楊憲進言明擺著是想自己做大。楊憲是劉伯溫的好朋友，若楊憲為相，劉伯溫自然大權在握，那麼我們淮西人士就別想再出頭了。」胡惟庸道。
「惟庸，你不明白。當今皇上是一代聖君，做事自有其深意。丞相職位不可貪戀，即使楊憲不參我，我也不準備繼續做這個丞相了。」李善長說道。
「可我們怎麼辦呢？」胡惟庸焦急地問道。
「我所眷顧的還是你最了解，就是我們那些淮西的子弟。有楊憲這個小人在，恐怕沒他們的好日子。」李善長憤怒地說道，「我們得把他搬倒。為官這麼多年，難道他就沒得罪什麼人？」
「汪廣洋！」二人幾乎異口同聲道。於是，一個計畫在他們中間形成了。
回京後，胡惟庸立馬覲見皇上。他向皇上稟報道：「皇上，微臣得報楊憲派殺手在流放的路上欲殺死汪廣洋，刑部已經證實。」
皇上明白，什麼證實啊，肯定是李善長的主意。於是急召李善長，問李善長道：「善長，你病還沒好吧？以後中書省就不要去了，那邊的事交給胡惟庸，你應該放心了。楊憲他太過分了，不殺難平民憤。」
李善長明白，皇上準備以楊憲的死和胡惟庸為丞相來換自己的歸隱，心中很是不安，只怕自己影響太大，皇上終歸不會放過自己。他趕忙道：「皇上，微臣何德何能！請皇上恩准臣回老家過幾年太平日子。」
「你不是喜歡杭州嗎？咱在杭州給你修座府第，你到那享享清福吧。」皇上想了想說道。
「臣領旨謝恩。」李善長明白，皇上讓他去杭州並不是回老家，這是派人監視他呢。
洪武三年（1370年）七月，就在當上丞相的當月，楊憲被處死，成了派系以及君臣鬥爭的犧牲品。
楊憲死後不久，李善長告老隱退。朱元璋邁出了與淮西勛貴鬥爭關鍵的第一步。