在《史記·秦始皇本紀》中，司馬遷記載了如下一段場景：公元前221年，剛剛完成統一大業的秦王嬴政在都城咸陽（今陝西咸陽東北）召集群臣，舉行了一個具有重要意義的御前會議。在這次會議上主要討論了兩件大事：其一是商議帝號，其二是訂立制度。有關第一件事，司馬遷寫道：
秦王初並天下，令丞相、御史曰：「……寡人以眇眇之身，興兵誅暴亂，賴宗廟之靈，六王咸伏其辜，天下大定。今名號不更，無以稱成功，傳後世。其議帝號。」丞相（王）綰、御史大夫（馮）劫、廷尉（李）斯等皆曰：「昔者五帝地方千里，其外侯服夷服，諸侯或朝或否，天子不能制。今陛下興義兵，誅殘賊，平定天下，海內為郡縣，法令由一統，自上古以來未嘗有，五帝所不及。臣等謹與博士議曰：『古有天皇，有地皇，有泰皇，泰皇最貴。』臣等昧死上尊號，王為『泰皇』。命為『制』,令為『詔』,天子自稱曰『朕』。」王曰：「去『泰』,著『皇』,采上古『帝』位號，號曰『皇帝』。他如議。」制曰：「可。」追尊庄襄王為太上皇。制曰：「朕聞太古有號毋謚，中古有號，死而以行為謐。如此，則子議父，臣議君也，甚無謂，朕弗取焉。自今已來，除謚法。朕為始皇帝。後世以計數，二世三世至於萬世，傳之無窮。」
從上面這段文字中，我們可以知道，秦王嬴政在經過多年的征戰，如今將齊、楚、燕、韓、趙、魏等六國全部平定，四海歸為一統之後，覺得自己功高蓋世，認為如果再用與原六國國君一樣的名號來稱呼他，是不足以顯示他的豐功偉績，也無法使他流芳百世的。於是他在群臣建議的基礎上，自定為「始皇帝」。群臣對此也都表示同意，並無異議。
至於要討論的第二件事情，則沒有如此順利，非但如此，還引發了一場不小的爭論。以丞相王綰為代表的一批大臣，率先向秦始皇建議道：「諸侯初破，燕、齊、荊地遠，不為置王，毋以填之。請立諸子，唯上幸許。」他們的意思就是說：「現在秦剛剛統一了六國，原六國之地，如燕、齊、楚等，地處較遠，如果不分封新的諸侯王，恐怕無法鎮撫這些地區，所以請求立諸皇子為王，希望聖上能夠批准。」秦始皇於是將王綰等人有關分封的這一建議提交給與會的諸位大臣討論。結果幾乎所有的大臣都認為這個辦法非常好，應該實行。不過，唯有廷尉李斯對此不以為然，他辯論道：
周文武所封子弟同姓甚眾，然後屬疏遠，相攻擊如仇讎，諸侯更相誅伐，周天子弗能禁止。今海內賴陛下神靈一統，皆為郡縣，諸子功臣以公賦稅重賞賜之，甚足易制。天下無異意，則安寧之術也。置諸侯不便。
李斯這段話的意思是：「當初周文王與周武王分封了很多的同姓子弟為諸侯王，但是後來這些諸侯王彼此之間的關係漸漸疏遠，互相攻擊，視同仇人，周天子對此也不能禁止。現在四海之內，仰仗陛下的神靈而得以一統，成為了郡縣之地。用國家的賦稅重重賞賜給諸位王子與功臣，就已經足夠了。改行郡縣制，天下沒有不同的意見，就說明這一制度是有利於國家安定的措施，所以說分封諸侯是不適當的做法。」在聽了李斯這番話後，秦始皇最後說道：
天下共苦戰鬥不休，以有侯王。賴宗廟，天下初定，又復立國，是樹兵也，而求其寧息，豈不難哉。廷尉議是。
秦始皇認為，天下的人們之所以會苦於連年的戰爭，就是因為有諸侯王的存在。現在我們仰賴祖輩，使天下剛剛平定下來，卻又要分封諸侯國，這不就是在製造戰爭嗎？在這種情況下，卻還要尋求安寧，豈不是一件非常難的事情嗎？因此，他認為廷尉李斯實行郡縣制的建議很對，應該採納。
於是秦始皇不立尺土之封，將郡縣制推行天下，把全國分成三十六個郡，每郡設置郡守、郡尉、監御史等官職。這些郡的官員，都由中央朝廷直接任命，而且可以定期更換。郡守是一郡的行政長官，權力很大，除了所轄各縣的長官由中央任命外，一郡的屬吏都由郡守從本郡人士當中選拔。在治郡方略方面，郡守可以施展自己的才能，朝廷對此不加干預。郡尉典武職甲卒，不是郡守的屬官，而是直接領受朝廷的命令。監御史負責監察郡治，又叫郡監，隸屬於御史中丞，是中央監臨地方的官員。因此，監御史、郡守、郡尉雖然在職務上相互聯繫，卻不相隸屬。郡之下再轄縣，每個縣依據大小，設置不同名稱的長官，大縣稱令，小縣稱長。
此後，大約在秦始皇二十九年（公元前218年），秦軍向南越過南嶺，開始了對南越人的征服。幾年之後，秦軍再次從水路，沿史祿率人開鑿的溝通湘江與灕江的運河——靈渠，到達嶺南，佔領了五嶺以南的南越地（今廣東、廣西及越南東北部），然後設立了南海、桂林及象郡等三郡。
秦始皇三十二年（公元前215年），大將蒙恬又率領三十萬大軍北上，將活動在河套一帶的匈奴人趕走，收復了戰國時期趙國的地盤。次年，秦便在陰山以南、黃河以東的區域內設置了九原郡，統轄在這一區域內新建的三十四個縣（一說四十四個縣）。另外，為了加強秦朝北部的邊防，秦始皇又徵募勞力將戰國時期秦國、趙國和燕國各自築造的長城連接起來，加以補建修繕，最後建成了一條西起臨洮（今甘肅岷縣），沿黃河、陰山，東至遼東（今朝鮮平壤西北海濱）的萬里長城。
在西南地區，秦以成都平原為基地，向西、北兩個方向擴展，一直到了今天的大渡河以北與岷江的上游，佔領了邛（今四川滎經縣東一帶）、笮（今四川峨邊縣東一帶）、冉（今四川松潘縣一帶）、駹（今四川茂汶縣北一帶）等部族的地區。
這樣，秦朝便形成了北起河套、陰山山脈和遼河下游地區，南到今天的越南東北部與廣東大陸，西自隴山、川西高原和雲貴高原，東迄朝鮮半島北部的廣大疆域。
此後，秦又陸續從已設置的郡中分出一些新郡，這樣，到了秦代末年，依據已知的各類文獻記載的秦郡共有四十八個，統轄一千個左右的縣級政區。另外需要說明的是，在被征服的少數民族政權區域內，秦並未置縣，而是設立了與縣同級的道來進行管理。
當時秦郡的劃分，基本上是以山川為界，郡的轄區範圍與自然地理區域頗為吻合，這主要表現在以下幾個方面：首先，每個秦郡大體即是按照一個地理單元來劃分的，例如首都所在的內史，佔據了當時最為富庶的關中盆地，或者說是渭河沖積平原，而漢中郡的範圍與漢中盆地大體相當，南陽郡的轄區也即相當於南陽盆地；其次，如果自然區域的範圍比較大，就分設為兩郡，如雲中與九原兩郡共同管轄河套沖積平原，巴郡和蜀郡一起統轄四川盆地，都是很好的例證；再次，每郡大多以一個肥沃的盆地或平原為核心，然後推廣到四周的高原或山地，北地、上郡、上黨、太原、河東、代郡、雁門等郡都是屬於這種情況。
秦郡之所以會如此劃分，是與當時以農業為主的經濟密切相關的，每郡只有保證有相當的耕種土地，才能使農業生產具備一定的堅實基礎。在此基礎之上，行政管理也才能發揮效用。
秦朝郡縣制的全面實行，標誌著中央集權制國家的形成，中國從此成為皇權專制的中央集權制國家。後世對秦始皇的這一做法，大多盛讚不已，將「罷侯置守」、「廢封建立郡縣」列為中國歷史上發生的幾件最重要的大事。雖然秦代並未像秦始皇當初所想像的那樣建成萬世一統的大帝國，而在陳勝、吳廣為首掀起的農民起義中，結束了其十五年的統治，但秦代所形成的專制主義中央集權制度，及其所確立的以郡縣製為表現形式的行政區劃制度，卻並未就此夭折，而是為後世歷代所遵奉，持續了兩千餘年的時間。