除了教育百姓外，朱元璋還要抓官員隊伍的思想建設。
朱元璋做事的特點是考慮極為長遠。在與元朝作戰之時，他已經想到了未來王朝的鞏固問題。所以，遇到那些寧死不屈的元朝官員，他權衡利弊後，挑出幾個，大加表彰，藉此在自己的大臣中樹立「忠」的觀念。
元太平路總管靳義在太平城破時投水自殺，朱元璋稱之為「義士」，下令「具棺斂葬之」。元將領福壽死於集慶，石抹宜孫死於處州，余闕死於安慶，他也一一加以禮葬和祠祀，以彰其「忠」。他誇獎福壽說：「疾風知勁草，板蕩識忠臣，其福壽之謂乎？為人臣者當如是也。」
蔡子英為元至正中進士，累官至行省參政。元亡被明兵捕獲，押至京師。朱元璋久聞其名，以禮遇之，但蔡子英不為所動，在羈所大哭不止。
「人問其故，曰：『無他，思舊君耳！』」朱元璋聞聽，十分感動，「洪武九年十二月命有司送出塞，令從故主於和林。」命人給了車馬路費，送他到北方草原去找北元皇帝去了。這一出人意料的舉動，有力地向天下人宣示了他對「忠誠」這一品質的推崇。
朱元璋善於招攬人才，許多故元的將領文臣投奔到他的麾下，為他的事業作出巨大貢獻。在奔向帝位的途中，他對這些人畢恭畢敬，遵禮有加，比如劉基因為做過元朝臣子，不想出山，朱元璋絞盡腦汁，想盡了各種辦法勸他出來，又對劉基非常尊重，每次都「稱老先生而不名」。
然而，開國之後，當這些人的重要性降低之後，朱元璋的態度出現了微妙的變化。
劉基為朱元璋的事業，可以說盡了肱股之力。沒有劉基，也許就沒有朱元璋的天下。因此，當元順帝北逃、皇子買的里八剌被送到南京時，他和其他開國元勛一樣，歡欣鼓舞，文思泉湧，寫了一封祝捷文章，正要給朱元璋送上時，朱元璋卻下了這樣一道詔書：
「因命禮部榜示：凡北方捷至，嘗仕元者不許稱賀。」做過元朝官員的人，不要參與慶賀。
這對以劉基為首的在元朝當過官的人的精神打擊可想而知。朱元璋的意思表達得很清楚，以「忠臣不事二主」的標準，劉基易主求名，是「大節有虧」，犯了原則性錯誤，是不可饒恕的。因此在大封功臣之時，只封他一個伯爵，不久就把他趕回家裡，最後還聽任其政敵將他害死。
元翰林學士危素在元亡之際曾投井自殺，卻被救出。朱元璋聽說此事，認為其人忠義可用，把他招來安排在自己身邊做侍從文官，十分信任。危素也賣命盡職，為朱元璋做了許多工作。可是天下大定之後，朱元璋看他就有些不順眼了。有一天，朱元璋坐在東閣側室的屏風後面，危素從屏風外慢步走來，履聲橐橐（tuó）。
朱元璋問：「誰？」
危素答道：「老臣危素。」
朱元璋嫌他自稱老臣，就嘲笑說：「我只道是文天祥來！」
元順帝有頭大象，能在宴會上起舞助興。明軍攻入大都後，把它運到南京。有一次朱元璋宴請群臣，叫人把大象牽來，要它起舞，這頭大象卻趴在地上不動。朱元璋一氣之下，下令把大象宰了。第二天，便借這件事，叫人製作兩塊木牌，一塊寫著「危不如象」，一塊寫著「素不如象」，掛在危素的左右肩，把他羞辱一通。
後來，御史王著等人上書，彈劾危素是亡國之臣，「不宜列侍從」，朱元璋下詔把他貶到和州去看守余闕廟。不到一年，危素便鬱悶而死。
這樣的例子不止危素一個。許多元朝降臣都是「始雖榮遇，終必摒辱」。