公元577年北周滅齊，統一了北方。581年楊堅代周，建立隋王朝，稱隋文帝。586年渡江滅陳，終於使長期南北對峙的局面又歸於統一。
隋的都城仍在長安，不過隋在舊城南龍首山旁另築大興城作為京師，而以洛陽為東京，後改稱東都，隋煬帝時曾對洛陽大加營建，並置洛口、回洛等倉，儲備糧食。洛陽的地位較大興更為重要，所以在大業元年(公元605年)即遷都於此。
隋代統一以後，所面臨的一大問題即是政區的整頓與改革。那時南朝是「境土屢分，或一郡一縣割成四五，四五之中亟有離合，千回百改，巧曆不算」，甚至有的郡縣「散居無實土，官長無廨舍，寄止民村」(分別引自《宋書》與《南齊書》的州郡志)。北朝的情況正如前面提到的，「百戶之邑，便立州名，三戶之民，空張郡目」(《北齊書·文宣帝紀》)。這樣的爛攤子，如何推行政務？所以隋王朝不得不大刀闊斧，進行改革。文帝時，「存要去閑，並小為大」，罷天下諸郡(《隋書·楊尚希傳》)，計500餘個；改三級政區為二級政區，即州縣二級制。煬帝時又改州為郡，行郡縣二級制。以今北京市的市轄縣區而言，先屬北齊，周滅齊後，對齊時政區已作了一些調整，今全市範圍當時分屬於幽、雲、燕三州及所屬五郡。到隋煬帝時今市區除三縣別屬他郡外，全部皆屬當時的涿郡。涿郡的治所為薊，是舊燕郡的治所，燕郡合併范陽郡後，用范陽郡治所的涿作為新郡的郡名，很容易使人誤會涿郡中心在今涿州市。今涿州市時稱涿縣，只是涿郡的一個屬縣。
隋代新增的郡有西海、河源、鄯善、且末與伊吾五郡，是隋王朝消滅了今青海高原上的吐谷〔tuyu土玉〕渾(亦作吐渾)政權後，乘突厥中衰時建立的。過去「突厥、吐渾，分領羌胡之國，為其擁遏，朝貢不通」(《隋書·裴矩傳》)。現在掃除了西域和中原間的障礙，使邊疆和內地加強了聯繫，也為「絲綢之路」的暢通，掃清了障礙。這個西海郡在今青海湖西，和新莽與曹魏時的西海郡位置都不同，不能混淆。
還應一提的是，這時祖國寶島台灣也加強了與大陸的聯繫。隋唐時稱台灣為琉球，這裡自古就是中國領土的一部分，不少古籍都有記載。三國時孫吳即曾派人進駐，大陸人民移居這裡的日漸增多。《隋書·陳稜傳》記載朝廷曾派人前往「慰撫」，琉球人也「往往詣軍中貿易」。
唐人所編的《隋書·地理志》仍按《禹貢》的九州敘述隋時郡縣，事實上當時並無九州的政治區劃。隋代也無監察區的明確記載，僅知設有司隸台大夫一人，掌握巡察；別駕二人，分察畿內；另由刺史14人，巡察畿外各郡(見《隋書·百官志》)。這14人是否分區巡察，則缺乏記載。
隋代初行州縣制16年，後改行郡縣制19年，採用郡名時間較長，應為秦代以來郡縣制的延續。但到唐代，又改行州縣制，其中僅有天寶年間改行郡縣制15年，以後又改郡為州，並且郡在政區中以後即不再出現，可見隋的啟後作用大於承前。