朱元璋攻下定遠的時候，積蓄了初步的軍事力量，算是有了自己的小部隊。正在要離開定遠進攻滁州的時候，一日傍晚，朱元璋帶著幾個兵士從城外要入城，在城門口遇到一個騎驢的讀書人。兵士都是騎馬，見到騎驢的布衣，不禁失笑，向來是秀才遇到兵有理說不清，那騎驢的讀書人敏銳地看了看朱元璋，遂鞭驢繞道。
朱元璋就在這極短的時間，迅速觀察了一下那個讀書人，覺得此人目光敏銳，相貌儒雅，頗有好感，遂問道：「先生且慢，可否請問先生尊姓大名？」
那讀書人也不作答，哼了一聲說：「請問你又是誰？」
身旁的小兵嚷道：「放肆，定遠城中誰不知朱公子？！」
朱元璋喝道：「不得無禮，在下朱元璋，請問……」
不待朱元璋問完，那人就有些驚訝地說：「你是朱元璋？鄙人定遠李善長。」
說完策驢而走。
朱元璋聽說是李善長，忙派兵士跟隨去請。
朱元璋在淮西一帶當游僧的時候，就已耳聞李善長的才氣，知道此人有智謀，懂得兵法，又有料事如神的美名。如今是他事業起步的時候，他多麼渴望能得到這樣的人才相助。
不料，過了許久，士兵回來稟報，說李善長拒絕來見朱元璋，跟隨一路，軟話硬話說了不少，他就是不來。原來李善長這些日子也聽聞義軍領隊朱元璋的一些事迹，對這個人有些興趣，今日一見，果然氣宇不凡，眉宇間透露著英勇之氣，又能對讀書人以禮相待。但李善長想知道這個朱元璋到底以什麼樣的心態、什麼樣的目的來找自己，故意不來相見。他知道若朱元璋懂得吸納人才，必會再來請求。
過了兩日，朱元璋抽空親自去李善長的住所求見。
李善長見朱元璋親自來，依然沒做聲，他還想再觀察觀察朱元璋。
只見朱元璋誠懇地說：「前日兵士無禮，驚擾先生，朱元璋特來賠罪。」
李善長道：「賠罪且不用，若是為賠罪，公子可回了。」
朱元璋慌忙道：「當然不是，元璋是個粗人，讀書不多，如有得罪，請先生寬恕。早就知道先生的才學，元璋很欽佩，今日特來請教。」
李善長原本冰冷的臉色稍稍有了緩和，示意朱元璋在院中的石凳就座。
朱元璋則先請李善長入座，自己方才坐下。見李善長面色稍緩，說道：「元璋參軍不久，定遠是咱攻下的第一座城，可是咱心裡很擔憂。」
李善長眉頭一皺問道：「公子擔心何事？」
朱元璋抬頭望望天空，長嘆一聲，遂面帶憂色問李善長：「如今四方兵起，天下大亂，敢問先生何時才能太平？」
李善長說：「公子應該知道漢高祖劉邦吧？」
朱元璋歉意地笑笑說：「知道是知道，但咱讀書少，讀史更少，還請先生明說。」
李善長高聲說道：「漢高祖也是平民出身，卻能平定天下，原因在於高祖心中有大志，看得長遠，知人善用。而軍隊紀律嚴明，得地克城，從不亂殺無辜，愛戴百姓，也受到百姓的擁護。高祖起兵不過五年，天下大勢即見分明，成就帝業。」
朱元璋聽此一番話，不禁點頭稱讚，彷彿受益不少。見朱元璋是明理之將，李善長心中喜悅，接著說：「如今元朝已如朽木，朝政不綱，民不聊生，已經到了土崩瓦解的時候。高祖沛縣人，距濠州不遠，可算是公子同鄉，你若能學習漢高祖劉邦的優點，想要天下太平不會久遠。」
朱元璋聽了這一番話，覺得很有道理，受用不少，感慨他的軍隊甚至濠州，所缺少的就是這樣能博古通今、出謀獻策的文才。
朱元璋即行拜禮道：「多謝先生指點，元璋懇請先生和咱一起為天下百姓共謀太平之日。」
李善長大笑道：「公子勿言謝，善長一介布衣，不敢受禮。如公子能答應一事，善長可以考慮跟隨之事。」
朱元璋忙說：「先生請講。」
李善長說：「公子攻克定遠的時候，得到官糧數千石，善長懇請公子用糧倉中的一半糧食救濟地方百姓。」
朱元璋一時不知如何回答，神色猶豫，吞吞吐吐道：「先生要咱拿出一半官糧給百姓，這是不是太多了點？這些糧食是咱招兵買馬，發展實力的基礎啊。散了糧食，沒了物質保障，如何能平定天下呢？」
李善長聽此，笑道：「就憑你這樣的想法如何能平定天下，看你也和其他義軍首領無甚差別，公子請回。」說完，李善長徑自走向房內。
朱元璋只好回去。一宿無眠，輾轉思索。
次日清晨，天剛剛蒙蒙亮，朱元璋即到李善長家求見。
李善長正在院中讀書，朱元璋聽到朗朗書聲，不禁止步，停在門口，李善長高聲誦讀的正是漢高祖劉邦的傳記。直到李善長讀畢一頁，望見久等的朱元璋，招呼一聲，朱元璋才邁入門內，行禮拜見。
李善長知道有事，故意說：「公子一大清早，趕來聽善長讀書嗎？」
朱元璋道：「能聽先生讀書講史，也是一種智趣。咱想了很久，想通了，今日即貼出布告，開倉放糧，歸還百姓，全部散去，一石不留。」
李善長聽此心中喜悅，笑道：「公子果然是聰明人，善長願意為公子效綿薄之力。」
「好，太好了，有先生相助，元璋不勝感激！」朱元璋激動地對李善長再次行禮道。
李善長通過這幾次觀察，知道朱元璋是一個懂得用人、有禮節、能納言的將領，見他又能愛護百姓，為大局著想，有遠見，當下決定跟隨朱元璋。
朱元璋又親切地對李善長說：「先生年長，禮當位尊。今後相處，不必公子來公子去的，稱咱元璋就好。元璋自先生處受益頗多，敬為師長，日後，就稱先生吧。」
李善長說：「萬萬不可直呼公子之名啊。這軍中有軍中的規矩，善長以為如今公子謀劃從濠州獨立出來是非常正確的。公子雖實為將領，但未受封，不如稱為『上位』。這樣一來，既無僭越之意，又符合實情。」
「好，先生明智，『上位』這個稱呼很有特色，聽起來還蠻親切的。」朱元璋接著說，「咱求先生，還真像當年劉備三求諸葛亮呢。咱現在還不能自比劉備，實力不足，但先生您確有諸葛亮的才能啊。」
李善長笑道：「上位過獎了，只恐怕今後的歷史中，上位要比過劉備，而李善長不能相比諸葛先生啊。」
朱元璋遂說：「多謝先生。元璋雖從軍不久，但也知道好的軍隊還要有好的參謀，如今群雄四起，成就事業並非易事。咱朱元璋一定會盡心儘力保護先生，尊重先生。在濠州的時候，咱見到的文書幕僚，都是左右逢源，多對武將不滿，弄得文人和武將之間關係很差，難以配合，所以曾經輝煌的五元帥如今困在濠州城，毫無發展之力。好的將帥還要有得力的幕府和勇猛的將士，懇請先生替咱做個橋樑，溝通將士，出謀劃策。」
朱元璋的誠意和對讀書人的敬重，打動了這位年長朱元璋十九歲的賢士。李善長自此跟隨朱元璋，受到朱元璋的禮遇，被朱元璋留做掌書記。
而在不久後，郭子興得知朱元璋求到文才李善長的時候，用盡手段想讓李善長輔佐自己，甚至強請。李善長甚是苦惱，怕因自己夾在中間，反而弄得朱元璋和郭子興之間出現僵局，也擔心朱元璋對自己有疑心，從此不再信任。
而朱元璋得知李善長被郭子興強請進郭府以後，並未有任何疑心和不滿，而是推心置腹地跟李善長談心：「郭元帥對咱的恩情，咱永世不忘。如今，郭元帥已經對咱心存疑慮，他們父子二人留在濠州城不求發展，又懼怕咱勢力增強，分裂也是早晚的事。先生對咱的指點和輔助，咱心中有數，先生的為人咱也心中有數，無論是先生跟誰，咱都敬重先生的選擇。如今，咱位階低，先生若跟隨郭元帥，咱絕無怨言，如若先生信任元璋，咱感激不盡。」
聽朱元璋如此申明大義之言，李善長堅決地拒絕了郭子興，忠心耿耿地跟隨朱元璋，一心一意做好朱元璋的幕府，無論是溝通將士、主帥、各方勢力，還是出謀劃策，都傾心儘力，使得朱元璋的軍隊人盡其才，內部和諧，外部周全。自此，朱元璋的心中有了漢高祖劉邦作為自己的榜樣，為人處事、打仗領兵、對待百姓，處處向他學習，而朱元璋的軍隊也受到民眾的擁戴。
李善長在朱元璋的軍事和政治生涯中扮演了重要的角色。而這個角色的才華能得以施展，是因朱元璋對人才的重用和善用。