廢除宰相制，是明太祖朱元璋久經籌划過的。他的設想是，一切政事由六部分管，由皇帝直接統馭著六部，除去夾在皇帝和六部之間的中書省這一層。洪武十三年中書省被撤銷後，便開始試著照他的設想來做。但一切都集中於皇帝的一身，卻又是絕難照管得了的，尤其是定製、擬旨、批示等類的文書工作，更非一人所能盡理。解決這個難題，他是利用一些在內廷工作的學士、講官，以翰林院中修史、修書的編撰人員來做這些文字工作。這些人們有如一些辦稿人員，或是秘書，初時並無定員，也無定稱，從洪武十三年到繼他為帝的皇孫朱允炆（wén）的建文四年（1402）的二十多年裡，便是這樣辦理國事的。到朱元璋的四子燕王朱棣以「清君側」為名，攻入南京，奪取了帝位，便把這種辦法確定下來，使這些人員有了定員，並也有了定稱，直至明亡，都是如此。
這些代皇帝辦理機務的學士們，在有了定員以後便都被稱為「閣臣」，這是由於在他們的學士職稱之上，都冠有他們辦事處所的殿、閣名稱，如中極殿大學士、文淵閣大學士、東閣大學士等，所以人們便都以「閣臣」呼之，後來則便習為定名了。閣臣或也稱「輔臣」，那是皇帝常用來稱呼他們的，在行文中也以稱輔臣時為多。在民間，閣臣還常被稱為「閣老」，那可是口頭上的尊稱了。
明代最初被任為閣臣的一共有七人，他們是黃淮、胡廣、楊榮、解縉、楊士奇、金幼孜和胡儼。他們都是在朱棣打入南京，即位為帝，還未改元永樂時便已被任命了的。
自從有了閣臣，可以說在政治機構中便真正沒有了宰相。但由於閣臣的權力雖比宰相小得多，其職務還是承上啟下，發布政令，還帶有宰相職權的一部分，所以人們還是習慣地把他們目之為宰相，被任為閣臣，習稱為「入閣」，而「入閣」和「拜相」也竟成了同義語，甚至還常聯合併用，某人一經入閣，人們便說某人已經「入閣拜相」了。賀人入閣的詩文，也常是徑以「入相」為賀。所以在明代，宰相可以說是「實亡而名存」。
但是話雖如此，宰相和閣臣仍有很大的不同。兩者最大的不同處，便是宰相有他的辦事處所和發揮政令的機構。以往歷代的宰相都有他自己的相府，府中上上下下有很多府屬。明代的相府稱為中書省，省中也有左丞、右丞、參知政事等屬官。閣臣可全沒有這些，他只是在殿、閣中辦事，手下的人員也只有些管理卷宗和抄寫文書的屬吏而已。在品級上，二者也很不同。宰相是個位極人臣的職位，總得身居百官之上的人才得身登相位；而閣臣則並無這些限制，各類學士官級才只五品，甚至品秩更低的，也可被任為閣臣。即以最初得任閣臣的七人而言，其中品秩最高的應推名列第四的解縉，他在入閣前的職任是侍讀，秩不過六品，入閣後升為侍讀學士，也只有從五品。位居第七的胡儼，入閣前的官職是檢討，僅是從七品，官位就更低了。當然，這是就初期而言，後來閣臣的體制日尊，入閣的常先被任為禮部侍郎或尚書，然後才以兼任××大學士而入預機務，職位上要比初期高多了。不過入閣的人品秩不拘這一特點卻是直到明代瀕臨滅亡還在保持著，如以崇禎十六年（1643）入閣的魏藻德而言，他是被擢升為少詹事才入閣的，官也才只有四品。宰相和閣臣，在職任上也還有很大的不同，宰相具有執行權，遇事都可奏而行之，甚至辦完了再奏明也是常有的事；閣臣則只有聽皇帝吩咐，照他的意見擬具出辦法，等被批准後，才能據以擬旨來頒行。這二者在職任上的不同，就正是明太祖亟欲廢除宰相制關鍵之所在。他想要的正是想有一些既能辦事，又少實權的人。以在職的人數而言，宰相與閣臣也有些不同，宰相人數總不會很多，通常都是左相、右相各一人，最多也不過再加上一兩個；而閣臣卻不然，常是少則四五人，多時則至七八人，最多時竟有多至十幾人的時候。然而也有些例外，如在萬曆年間，明神宗倦勤，閣臣有缺總不肯補上，竟常出現閣中只有一人、成為一人獨相的局面。
閣臣成為定製後，很快便形成了為其所特有的一些制度，這些制度並未成文，但有時卻比定有專條的制度還更死硬。在最初得任閣臣的七人中，便有了一定的名次上的排列，列名最先的人被稱為「首輔」，第二人則稱為次輔。首輔自始便有個像領班一樣的意味。但在最初，名次雖經排定，卻並不是不能變動的，居先者可以降下來，在後者可以躍到前面去。譬如最初的七人，原是以黃淮為首，解縉則名列第四，但不到一年，解縉卻一躍而為首輔，原來的首輔黃淮卻降了下來。再如楊士奇，他是名列第五，排名在第三位的楊榮之後的，到永樂二十二年（1424），楊榮和他都在閣中，他卻躍居楊榮之前成了首輔，楊榮則只得任次輔。但是這種可上可下的做法並沒有持續了多久，很快便形成了另外一種絕對排資論輩、前後永遠分明的死硬制度。這一制度的要點是，在閣中的名次既經排定，便成不可更易的順序，首輔永遠是首輔，次輔在首輔未離職時永遠是次輔，首輔如果離職，繼為首輔的又必然是這個次輔。次輔而下，三、四、五、六各位也是同樣，都得等著名列在前的人離去，或者死了，才可以依次遞升。不但此也，首輔如果罷離，不管去職久暫，只要又行入閣，排資在他之後，已然位居首輔的人也該退下，由這位舊時的首輔重居首位。這種死規矩，在以前的宰相制中一直並沒有過，如果有，那麼汪廣洋再入中書省，升任左相的就該是他，而不是胡惟庸了。
閣臣後來還形成了另一個規例，便是入閣者必須是甲科出身，也就是說，必須是個進士出身的人。這種規例最初也沒有，仍是稍後才形成的。仍以最初的七人為例，那七人中的楊士奇和胡儼便不是進士出身。不過他們雖非進士，入閣之時卻都在翰林院任職，楊士奇是個編修，胡儼則是檢討，所以嚴格說來，最初七人雖非都是進士，實卻一律都是詞臣，這與後來的非甲科出身不得入閣，看來倒也有些關係。其實這也難怪，因為選來入閣的人首先便須以筆墨見長，並且又只從詹事府、翰林院等修撰文史，或者職為講官的那些處所來選擇。而這些地方又都是甲科人員匯聚之處，後來竟自形成非甲科不得入閣，中了進士，又被選為庶吉士，人們便都以未來的相臣目之，實在也是由來有自，無怪其然了。
由於閣臣同時在閣者每有多人，首輔又有個類似領班的作用，遇事總是由他當先，和皇帝的接觸也以首輔為多，所以彼此之間相互競爭自始便很激烈，以首屆的七人而言，便發生過黃淮和解縉之間的激烈鬥爭，結果則是解縉被害，死得很慘；黃淮後來也以時常加害大臣被投入獄中，結果也並不好。
這個解縉在首批的七位閣臣中最初雖然名列第四，但入閣時的官級卻是七人中最高的一個；他這人又極有才華，文筆既佳，又多策略，所以入閣不久，便脫穎而出，入閣不足一年，便壓倒了黃淮，躍居首輔。黃淮原是個熱衷權位的人，被解縉搶到了前面，豈肯甘心？於是他便一心羅織解縉的過處，遇有機會便暗中向永樂反映，終於在永樂五年（1407）把解縉從首輔的位置上搞了下來，自己重又得居首位。他雖把解縉趕出閣外，遠謫到廣西去為布政司右參議，卻仍不甘心，到永樂八年（1410）更以「結黨營私」的罪名興起大獄，把解縉和中書李貫、贊善王汝玉、編修朱紘、蕭引高等人都逮入詔獄。李、王、朱、蕭等人由於久被關押，都已死在獄中，只有解縉，雖被關了五年，卻還沒死。這時已是永樂十二年（1414）了。那年冬季，天子錄囚 ，永樂在獄囚名冊中見到解縉的名字時，隨便問了一句：「這解縉還活著么？」他問這話，並沒要人回答，可能是隨口一問，並無別意；也可能是詫於解縉的生命力之強，關了這麼久，竟還活著；也可能是想起了解縉的才幹，又有赦出起用之意；當然，也並不排除這話竟是「怎麼，解縉還沒整死么」的同義語。當時呈上囚名冊的是錦衣衛的帥臣紀綱，他是個出了名的佞臣，是以善窺人意、手段毒辣殘酷受到永樂的寵信的。他聽到了永樂的問話，並沒有作聲，卻在心裡早已拿定了主意。下來之後，他便把解縉請到他的房裡，用酒款待，並說些開心的話，使之痛飲。一待把解縉灌到大醉，便命人把他拖出，埋進外面的積雪裡。由於寒冷和窒息，解縉很快便死去了，獄囚的名冊上，也就勾去了他的名字。紀綱的這個做法，可說是狠毒乖巧兼而有之。他這樣做，無論永樂的問話用意何在，他都可以應付自如。如果永樂意在除去解縉，他這麼做自然是先意承旨，會顯出他的能幹和忠心；如果永樂並沒想到要解縉死，甚至還想再起用他，那也沒有什麼，他的死因可以查明，完全是醉卧受寒而死，實在也怪不到他紀綱的頭上來。解縉死時年才四十有七，當時有很多人都為他的懷才受屈、中年早逝而感到傷痛。就在解縉死前三兩個月，黃淮已因多次暗害大臣而入獄，由此看來，解縉如不酒醉被害，重複起用似非並不可能，而紀綱的忽下毒手，除為希圖迎合帝心以外，另外還有別的微妙原因，倒也很有可