朱元璋早就對李善長不滿。
證據，是他在洪武二年的十月秘密召見了劉基。
劉基就是劉伯溫，在正史和民間傳說中都是一肚子錦囊妙計的諸葛亮式人物。朱元璋跟他密談的內容，則是要改組帝國的中央政府。因此這事非同尋常，必須注意。
當然，先得簡單介紹當時的政治體制。
明代初年，帝國仍然延續元代的制度，也就是以中書省為最高行政機關，以左右丞相為國務總理。只不過將左右的地位由元人的尚右改為尚左，即左丞相排名第一，右丞相排名第二。地位次於左右丞相的平章政事在制度上也有，但是形同虛設。相當於副總理的，實為左丞和右丞。
朱元璋要討論的，便是這四個職位的安排。
這當然是大事，劉伯溫也嚇了一跳。因為右丞相徐達就職以後便在北方打仗，政府首腦其實只有李善長一人。中央政府調整人事，豈非就是要動李善長？
於是劉伯溫說：善長開國元勛，首相非他莫屬。
朱元璋卻呵呵一笑：這人多次要加害於你，你倒幫他說好話。如此高風亮節，這丞相你來當吧！
劉伯溫當然不能接受。他很清楚，疑神疑鬼的皇帝陛下連李善長都信不過，又豈能當真信任自己？共患難易，同富貴難，韓信可是前車之鑒。於是馬上跪下來磕頭說：丞相乃國之棟樑，非參天大樹不堪重任，劉基只是小樹枝。
朱元璋便問：楊憲如何？
楊憲是劉伯溫的好朋友，伯溫卻不肯趁機謀私。他實事求是地回答：楊憲有宰相的才能，沒有宰相的器量。當宰相要心平氣和寧靜如水，以公義公理為原則，楊憲做不到。
朱元璋又問：汪廣洋如何？
劉伯溫回答：比楊憲還要偏狹膚淺。
朱元璋再問：胡惟庸如何？
劉伯溫回答：初生牛犢罷了，會弄壞車轅和木犁的。
朱元璋笑了：看來朕的丞相，只能是先生。
劉伯溫再次磕頭：謝主隆恩！可惜臣身患重病，又不耐煩事務性工作，恐怕會辜負陛下的厚望。以天下之大，何愁沒有棟樑之才？只要聖上用心訪求就是。若是起用前面說的這幾個人，臣愚昧，真心以為萬萬不可！
朱元璋多少有些失望。
的確，劉伯溫是很聰明，可惜這次卻完全沒猜透朱元璋的心思。實際上進宮之後他首先就該想想，改組中央政府這麼大的事情，皇上為什麼不找別人，偏偏要跟他商量？難道僅僅因為他足智多謀又忠心耿耿嗎？
當然不是。
根本原因在於他是功臣，又不是大功臣。一年後朱元璋論功行賞，劉伯溫只封了伯爵，排名三等。但，如果把徐達和李善長看作特等，他就只能算四等了。
抓住了這個關鍵，一切便都豁然開朗。此前我們一直弄不明白，朱元璋對李善長究竟有什麼不滿。居功自傲？恃寵弄權？專橫跋扈？恐怕似是而非。《明史·李善長傳》也只是說他容不得屬下侵權，以及對劉伯溫出言不遜，逼得劉伯溫申請退休，等等。但劉伯溫退休是在李善長下台兩個多月後的洪武四年三月，陛下怎麼在洪武二年十月就不滿？整治侵權的屬下則在朱元璋稱帝之前，又豈能算是冒犯皇帝？
看來原因只有一個，那就是權力欲和控制欲都極強的朱元璋，完全無法容忍功勞大、威望高、能力強的宰相，這才選擇楊憲、汪廣洋、胡惟庸那樣沒有政治資本的。當然皇帝陛下十分清楚，這些人難以服眾，因此希望劉伯溫能夠幫忙過渡一下。說實話，他恐怕也沒打算讓這位才思敏捷聰明絕頂的功臣干多久。宰相的位置，遲早要交給便於控制的人。
但，劉伯溫堅辭不就，朱元璋只好另做打算。
李善長當然繼續留任，還在第二年得到加封。汪廣洋和楊憲也進入了中央政府，只不過楊憲雖然先後擔任了第二副總理右丞和第一副總理左丞，卻在任命為左丞的當月，也就是李善長加封韓國公的四個月前被殺。這個可憐的傢伙甚至連在《明史》立傳的資格都沒有，只在《太祖本紀二》留下冷冰冰的一句話：中書左丞楊憲有罪誅。
劉伯溫不幸言中。
李善長也好景不長。洪武三年十一月大封功臣，四年正月他就退休。這就說明，朱元璋早就想讓他離開相位，否則不會只有兩個月的時間差。當然，皇帝也不想把事情弄得太難看，這才特意安排在功臣們的授勛儀式之後。
過了一年，徐達也不再掛名右丞相。
接替李善長主持中書省工作的是汪廣洋，不過職位是右丞相，也就是第二總理，第一總理左丞相職位空缺，胡惟庸則被任命為左丞，即第一副總理。兩個人都是朱元璋看中而劉伯溫反對的，卻並不精誠團結。而且很奇怪，竟是級別低的胡惟庸，不斷欺負職位高的汪廣洋。
說起來汪廣洋也是老牌的受氣包。洪武三年，汪廣洋與楊憲在中書省同事，就受盡楊憲擠對。因為楊憲雖然是職位低半級的右丞，卻是洪武二年九月任命的。汪廣洋從地方上調進中央，還後來居上，楊憲的忌恨便有如山洪暴發，唆使監察官員告了汪廣洋的刁狀。汪廣洋被趕出了中書省，直到楊憲被殺之後才重返中樞，還被封為伯爵。
照理說，鹹魚翻身的汪廣洋應該大有作為。因為到洪武四年正月，他不但升級成為右丞相，而且此時中書省的丞相還只有他一個人。朱元璋恩寵之重，可見一斑。
然而怎麼樣呢？
兩年以後就被貶到廣東去了。
罪名，是無所建樹。
據說，這是胡惟庸搞的鬼，幕後黑手則是李善長。因為汪廣洋在洪武三年六月被免職以後，胡惟庸就接替了他左丞的職位。沒想到楊憲被殺，汪廣洋捲土重來，還變成了他的頂頭上司，這讓胡惟庸情何以堪，自然處處為難。汪廣洋則是連楊憲都對付不了的，又豈能鎮得住李善長的同鄉和親戚胡惟庸？只好事事忍讓，當然無所建樹了。
朱元璋也很生氣。他這樣安排，原本就是要讓汪廣洋和胡惟庸相互牽制，建立一個既能取代李善長處理政務，又能讓他放心的班子。汪廣洋如此不中用，又要他做什麼？
那就滾吧！滾得遠遠的。
汪廣洋下台以後，中書省半年沒有首腦。七月，朱元璋任命胡惟庸為右丞相，接替了汪廣洋。劉伯溫聞訊，不由得喟然長嘆：但願我預言有誤，蒼生免禍得福。
可惜劉伯溫沒錯，胡惟庸果然不是善類。他先是想陷害徐達，後來又誣告劉伯溫有謀反嫌疑，只是均未得逞。不過劉伯溫還是被奪去了俸祿，並接到朱元璋的嚴重警告：明哲保身，覬覦作孽，今念卿功，僅奪卿祿，伯爵如故。
劉伯溫只好從歸隱之地回到京城，向皇帝請罪。朱元璋沒有再說什麼，劉伯溫卻不敢離開。洪武八年四月，憂鬱成疾的劉伯溫與世長辭，享年六十五歲。後來有人說，他是因為吃了胡惟庸送的葯，才病情加重不治身亡的。
奇怪！以劉伯溫的聰明睿智和憂患在心，怎麼會傻乎乎地吃那葯？何況胡惟庸帶著醫生前往探望是在正月，劉伯溫去世卻在四月，難道慢性中毒不成？
因此也有人說，真兇其實是朱元璋。
這就更是查無實據了。事實上，由於明代史料已經多次被竄改，此案恐怕難有定論。唯一可以肯定的是，陷害徐達和劉伯溫的胡惟庸也不得善終。