南征北戰，東招西討，多少年來朱元璋已經習慣了這種生活。處理起有關問題來，早已得心應手。可定鼎金陵，當上皇帝以後，朱元璋不得不面對各種不同以前的新問題。從取得天下到治理天下，他能完成這種過渡嗎？通過李善長與劉基的明爭暗鬥，朱元璋順利實現了這一轉變。
洪武三年（1370年），朱元璋大封功臣。授李善長中書左丞相，封韓國公，歲祿四千石，子孫世襲。朱元璋更是把他比做漢之蕭何。封劉伯溫誠意伯，歲祿兩百石。
受封當晚回到家中，劉伯溫長子劉璉問道：「父親，兒不明白為何父親僅被封為伯爵，而李善長竟然位居六公之首？這太不公平了。」
「璉兒呀，你還太年輕啊，許多道理你還不明白。皇上這是向著咱呢。」劉伯溫道。
「兒的確不明白。他李善長歲祿四千石，為何僅予父親兩百石。就算李善長居功至偉，但父親也不遑多讓呀。」劉璉實在是不解，他替父親覺得委屈。
「璉兒，自古以來飛鳥盡，良弓藏。此時，誰的地位越高，誰也就越危險啊。你可以這樣想，為父歲祿雖只有區區兩百石，僅為李善長的二十分之一，但為父的危險也只有他李善長的二十分之一。」劉伯溫解釋道。
劉伯溫明白，如今天下初定，皇上還不敢對這些有功之臣下狠手，但這一天遲早都會來臨。朱元璋這個皇上如此聰明，他不會留著這些功臣的。只要老百姓能過上太平日子，我劉伯溫還有何求！該是我回青田老家過幾天清靜日子的時候了，找個適當時機就回去吧。這官場污穢不堪，榮華富貴萬不可貪戀啊。
過了段時間，皇上召劉伯溫進宮議事。君臣禮畢，朱元璋問道：「伯溫啊，有沒有什麼話想對咱說啊？」
劉伯溫明白，皇上這是在問自己對封爵一事有沒有意見呢。「啟稟皇上，臣沒有什麼要說的。」
「你不說咱也明白，這些年你跟隨咱沒少給咱出謀劃策，立下了不少功勞。和李善長比起來，封你為伯爵確實委屈你了。如今右丞相徐達征戰在外，咱準備增設一個丞相，讓你來做，你看如何啊？」
「皇上這萬萬不可啊，臣擔當不起！」劉伯溫立即俯身下拜道。
「有什麼擔當不起的，我認為你做丞相比李善長更合適。」皇上扶起他道。
「皇上過獎了，李相國是柱國大臣，功勛顯赫。而臣只不過是那山野小樹，能支起只檐片瓦以得安身已是不錯，怎可和李相國相提並論。」劉伯溫趁機道出自己的歸隱之心。
朱元璋明白，李善長沒少說劉伯溫的壞話。劉伯溫在此時拒絕丞相一職，其原因只是為求自保。「呵呵，你的才幹我太清楚了，這丞相一職咱以為你最合適。你不願意只怕是另有原因。最近有些摺子都在說你的是非，當然也有說李相國的。你怎麼還說李相國的好呢？」
「皇上，臣性子直，只怕是得罪不少人。但平心而論，目前丞相一職還是李相國最為合適。現在文武百官的關係，怕只有李相國一人能夠理順。」劉伯溫明白，現在諸文武多是淮西子弟，他們統攬朝廷大權。在這種情況下，他根本無法立足，所以丞相一職自己絕不能擔任。
「既然你不願意做這個丞相，咱也不勉強你了。我有幾個人選你幫我參謀一下。」朱元璋心裡明白劉伯溫在擔心什麼，便不再勉強。
「楊憲如何呀？」朱元璋問道。
「臣以為楊憲不行。」劉伯溫很感激皇上能與他共同探討丞相人選。
「為什麼啊？當初可是你把他推薦給咱的啊。」朱元璋很是不解。
「楊憲的確具有相才，也很得皇上賞識。但他辦事好勇鬥狠，處理不好與群僚的關係。只怕日後一旦為相，會使百官人人自危，引起變亂啊。」楊憲是劉伯溫的好友，劉伯溫太了解他了。
「那汪廣洋怎麼樣？」朱元璋繼續問道。
「此人比楊憲還不如，他的才氣不能統領群臣。做個中書省參政已足矣。」
「那胡惟庸呢？」
「此人有相才，但氣量不足為相。遇事睚眥必報，一旦為相，必打壓異己。」
「難道他們都不行嗎？」朱元璋憤憤道。
「皇上，臣以為現如今有李相國坐鎮中書省已經足夠了。皇上大可不必為此心煩。」劉伯溫明白，李善長如今已統攬朝政，誰出任另一個丞相也不可能從根本上改變這一現狀。皇上想靠增加一個丞相職位來牽制李善長，只怕是徒勞無益。
朱元璋也明白這個道理，他早有廢李善長之心，只是時機還未成熟。李善長位居六公之首，一旦動了他，只怕那些開國功勛會人人自危。
「伯溫啊，過幾日咱將要去汴梁犒賞諸將士，你和李相國一起主政。這個你就不要再推辭了。」朱元璋還是不想放過劉伯溫。劉伯溫只好答應。
在李善長、劉伯溫主事期間，有一日，劉伯溫查出中書省都事李彬貪污公款。其實李善長早知道此事，只是李彬是勛舊，李善長一直幫其掩蓋，沒有說出。
李善長向劉伯溫道：「此事就請先放一放，等皇上回來再說。」李善長相信，皇上不會因為李彬貪污些銀子就把他怎麼樣。
可沒想到劉伯溫堅決不同意，他問李善長：「相國大人，您還記得宋朝是怎麼滅亡的嗎？皆因其法紀鬆弛，以致丟了天下。難道您想讓我們重蹈覆轍嗎？」李善長啞口無言。
劉伯溫認為應斬了李彬，以肅紀綱。他奏請皇上後得到許可，便立即斬了李彬，一時朝臣無不震驚。
劉伯溫明白，這次他算徹底得罪了李善長，恐怕朝中再無自己安身之地。果然，此後李善長多次進言中傷劉伯溫。
不久，劉伯溫青田老家的妻子病逝，劉伯溫想，自己告歸的機會終於來了，於是去見皇上。
「伯溫啊，你的事我都知道了，需要多少時間來處理家事呀？」還沒等劉伯溫說話，朱元璋先道。
「皇上，連日來臣的身體也越來越差，想請皇上恩准臣告老還鄉過幾天太平日子，也好陪陪那死去的老伴。」劉伯溫懇求道。
朱元璋不覺一陣心酸，自己的確對不住劉伯溫，天子腳下竟然不能給他太平的日子。「也好，回去歇歇也好，咱知道這段時間你日子不太平靜。但伯溫呀，咱大明江山還需要你這種人才，希望咱有需要的時候，你還能出山相助。相信那時咱能讓你好好施展你的才能。」
劉伯溫叩頭謝恩。他自己也不能肯定這一走還會不會再回來。他是不想回來，大明朝雖然打下了江山，卻仍留下一大堆問題沒解決。希望皇上經過這幾年的歷練，能去除作戰時的勇猛而多些馭臣之策。
「皇上，臣要走了，但還有幾句話要說。你如今已得了天下，需知這天下是天下人的天下，而不是你的，也不是淮西子弟的。你可以靠淮西子弟打天下，但你不可以只憑淮西子弟治天下啊。」
「咱早等你這番話了，咱懂。那些驍勇悍將，他們戰時功勞有多大，他們如今威脅就有多大。看看今天的滿朝文武，儘是些淮西人。他們還說你是什麼浙東黨，真是無中生有！」朱元璋說到此處，氣得瞪大了雙眼。
「多謝皇上聖斷！」劉伯溫感激地說道。
「其實咱真的不想放你走，咱還準備好好用你這個浙東人呢。」朱元璋依依不捨道。
回來後，劉伯溫與長子劉璉說道：「趕快收拾東西，明天一早就悄悄地走。」
「父親，皇上不是已經同意我們回青田老家了嗎？為什麼還要悄悄地走呢？」劉璉問道。
「皇上答應放我們回去，但卻不是心甘情願。我擔心皇上又聽信讒言改變主意啊。」劉伯溫解釋道。
果然如劉伯溫所料，胡惟庸得到劉伯溫遭遣的消息後，向皇上進言，說青田地處原張士誠部，擔心劉伯溫回去後聚眾造反。
朱元璋很是猶豫，胡惟庸的話也不是沒有道理。同時，朱元璋也擔心劉伯溫回到青田後，以李善長為首的淮西人仍不會放過他，思來想去，決定還是把劉伯溫留在京城更為合適。
可憐劉伯溫雖遭遣，仍不得回青田老家。
如果說李善長是他朱元璋的蕭何，那劉伯溫就是他的張良。朱元璋明白，要想整治吏政，還得從他們這些股肱之臣下手。李善長、劉伯溫兩人鬥爭的表面結果是劉伯溫遭遣，但朱元璋經過此事也看清了時局。以李善長為首的淮西集團勢力日益膨脹，直接威脅到皇權。連自己器重的劉伯溫他們都可以隨意對付，更何況其他官員呢？李善長也感受到了這種壓力，出於自保，於洪武三年（1370年）稱病歸鄉。朱元璋遂在洪武四年（1371年），以李善長年高有病為名，讓李善長告老還鄉。