公元577年，北周滅掉北齊，將北方統一。此後不久，北周的大權即為楊堅所篡奪。581年，楊堅逼周靜帝讓位，自己當上了皇帝，建立隋王朝，改元開皇，楊堅就是歷史上的隋文帝。到589年，隋又將偏踞江南一隅的陳滅掉，終於結束了自西晉末年以來近三百年的分裂動蕩局面，使天下重歸一統。
(1)「罷天下諸郡」
就在隋統一全國前夕的583年，隋文帝完成了一項重大的地方行政制度改革。我們在前面已經提到，在南北朝後期，州郡的濫置已到了無以復加的地步，特別是州的大量增設，已使得郡一級的區劃名存實亡。面對這種情況，北齊文宣帝在位時，曾有過一次大的整頓，省並了三十三州、一百五十三郡、一百八十九縣、三鎮、二十六戍，幾乎是當時所有郡縣的一半數目。但是這種簡單省并州郡的辦法，並不能抑制日益惡化的政區混亂狀態。對地方行政制度的徹底改革，已勢在必行。隋朝取代北周之後，大臣楊尚希向文帝上表，他講道：現在的郡縣比過去多了很多倍，有的地方不到百里方圓，居然設立了好幾個縣，有的地方戶數還不及一千，竟然要由兩個郡來管理。針對這種非常不正常的現象，他建議要對行政區划進行一番改革，「存要去閑，並小為大」。隋文帝對楊尚希的意見十分重視，但他經過認真考慮之後，並沒有採取將州郡省並的簡單辦法，而是把州郡縣三級中的中間一級郡去掉，即「罷天下諸郡」，以州直接領縣，簡化了政區的層級，使行政區劃又重新回到了二級制。隋滅陳後，又將這一舉措推行到了全國。實行郡縣二級制的最大好處，就是可以使中央的政令容易通達到地方，從而加強中央集權，避免出現地方割據。
隋文帝的這項改革，雖然是成功之舉，但是仍然不能徹底解決州縣數目過多的問題。經過魏晉南北朝，州、縣的數目已變得非常多，州、縣的區劃也已經變得不能再小了。隋朝初年，僅州的總數就有三百多個。如此龐大的規模，讓中央政府來直接管轄，其難度是可想而知的。因此，調整州、縣的數目與範圍，就成了隋朝中央政權的又一項重要任務。
這項任務最終是由隋文帝之子煬帝來完成的。大業三年（607年），煬帝下令省并州縣，隨後又把州改稱為郡，回到與秦漢相似的狀況。經過這次調整，到了大業五年，全國變為了一百九十個郡、一千二百五十五個縣，縣以上的機構與南北朝時期相比，大大精簡了。
隋代郡設太守，並且設置贊務（後改為丞）輔佐太守。之後又在太守之下、贊務之上，增加設立了通守一職，用來牽制太守。各郡在每年年底，都要由太守或上佐進京述職，這在當時稱為朝集使。另外，又別置領兵的都尉、副都尉，不屬郡管轄，在地方上形成了軍民分治的體制。
此外，隋煬帝還很仰慕漢代的制度，因此他又仿照漢武帝當時的做法，在郡之上設立司隸、刺史，分部巡察各地的情況。
（2）域外拓展
東晉以來，由於南北長期處於分裂之中，戰爭便大多發生在長江與淮河之間。南朝雖然信誓旦旦地聲稱要早日收復中原故土，但是最終還是沒有能夠實現。故土尚且不能光復，向域外的拓展就更談不上了。北朝到了北魏分裂之後，成為東西對峙，也同樣出現了南朝那種無暇外顧的情形。這一局面，在隋煬帝時終於被打破了。
煬帝是一個好大喜功的皇帝，當時雖然天下已經一統，但他並不滿足於現狀，一心想要開拓疆土，擴大帝國的領域。
先來看一下南方。在大業元年（605年），隋煬帝派大將軍劉方率兵平定了南方的林邑國，林邑王梵志棄城而逃到海上。林邑國在今越南中南部，本是漢朝最南端日南郡象林縣的領地。192年，當地人區逵建林邑國，脫離了漢朝。此後林邑國又不斷向北擴張，到南朝後期，已將日南郡境全部佔據。劉方平定林邑國後，隋在其地設置了盪、農、沖三州。不久，又改為比景、海陰、林邑三郡。在這三郡之中，比景、林邑設在故日南郡地，海陰郡的位置則更南，大致到達了今越南的南圻一帶。幾個月之後，劉方班師回朝，林邑王梵志恢複了他自己原來的領地，並派遣使節向隋朝謝罪。從此，林邑國朝貢不斷。
除此之外，隋煬帝還將海南島重新收入了中原王朝的版圖。在前文曾經提到過，海南島首次為中原王朝所據是在西漢武帝時，當時，漢武帝曾在島上設置了珠崖、儋耳二郡。昭帝、元帝時，由於當地人民的反抗，這兩個郡只得被先後放棄。三國時的孫吳與南朝的蕭梁雖然也曾分別設立過珠崖郡和梁州，但都不是在海南島上。隋煬帝時，海南島之所以能夠重歸中原王朝，與當地俚族首領冼氏的活動密切相關。
冼氏世代為南越的首領，「跨據山洞部落十餘萬家」，「海南儋耳歸附者千餘洞」，在當地聲望非常高。南朝梁大同初年，高涼（今廣東陽江西）太守馮寶娶冼氏女為妻，此人便是歷史上赫赫有名的冼夫人。隋朝初年，冼夫人迎隋將入廣州，隋文帝冊封她為譙國夫人，統轄六州兵馬。海南島就在這六個州中。譙國夫人去世後，隋煬帝便把冼氏所控制的地方收歸中央政府。大業六年（610年），隋朝在海南島上設置了珠崖、儋耳、臨振三郡。於是，海南島自西漢元帝放棄珠崖郡之後，歷經七百五十年的時間，重新又成為了中原王朝的疆土。
再看北部。當時，隋朝主要是與突厥人在爭鬥。突厥原是匈奴的別支，552年滅掉柔然，建立了突厥汗國。北周末年，沙缽略當上了突厥的可汗，並與北周大貴族宇文招的女兒千金公主結為夫妻。隋文帝奪取了北周政權以後，千金公主極為不滿，她勸說沙缽略出兵中原，為北周報仇。開皇三年（583年），突厥四十萬軍隊，大舉入侵隋朝的西北邊境，掠奪了大量的人口與牲畜。隋煬帝得知這一消息後，派楊弘、高熲和虞慶則等人率領軍隊，分路出塞進行反擊，在白道（今內蒙古呼和浩特）大敗沙缽略。之後，突厥內部發生爭鬥，分裂為東西兩個汗國。東突厥位於阿爾泰山以東的蒙古高原，西突厥居住在阿爾泰山以西到雷翥海（今裏海，一說鹹海），包括了今天的準噶爾盆地、伊犁河流域和楚河流域。
隋朝對突厥實行離間的政策，把宗女安義公主嫁給了東突厥的突利可汗，反將前來求婚的突利可汗的哥哥都蘭可汗拒絕掉，這就加深了他們兄弟二人之間的矛盾，爭鬥也就變得不可避免。開皇十九年（599年），突利可汗被都蘭可汗打敗後，只得轉而投降隋朝，被封為啟民可汗。沒過多久，都蘭可汗被他的部下殺死，啟民可汗便佔據了都蘭可汗的故地，這樣東突厥便全部歸服了隋朝。
其時，西突厥的達頭可汗一心想要統一東突厥，結果反被隋軍打敗。大業七年（611年）西突厥的處羅可汗被他的叔叔謝匱擊敗後，率領部眾投降了隋朝。
隋朝降服了東、西突厥之後，乘勢佔據了河套一帶，設置了五原、榆林等郡來進行管理。
下面，讓我們把目光從北疆再轉向西部邊陲。隋朝的西部邊境與吐谷渾為鄰。吐谷渾本來是鮮卑徙河涉歸的兒子，西晉末年，率部西遷，佔據了今天青海和新疆東部。後來他們征服了羌人，建立了吐谷渾國。
隋文帝初年，吐谷渾曾進擾邊境。後來吐谷渾又控制了西域的鄯善等地，使隋朝通向西域的道路受到嚴重阻礙。大業五年（609年），煬帝派楊雄、宇文述率兵擊敗吐谷渾，「自西平臨羌城（今青海湟源境）以西，且末以東，祁連山以南，雪山（今甘肅岷山）以北，東西四千里，南北二千里，皆為隋有」。隋朝於是在吐谷渾的故地設立了西海（治今青海湖西伏俟城）、河源（治今青海興海東南）、鄯善（治今新疆若羌）、且末（今新疆且末南）四郡。大業六年，又在脫離突厥控制並已內附的伊吾吐屯設之地建立了伊吾郡（治今新疆哈密）。
上述五郡之地，包括了今天的新疆東部與青海大部地區，中原王朝在如此遙遠的地區設立郡縣，這還是第一次。
隋朝雖然對政區進行了調整，完善了行政區劃的體系，又加上開拓疆域，經過文帝與煬帝兩代的發展，國家也呈現出了富庶強盛的景象，但是歷史常常演出驚人相似的一幕，隋朝又重蹈了秦代二世而亡的覆轍。
隋朝速亡的原因是多方面的，但煬帝好大喜功、殘暴無道、濫用民力，無疑是其中很重要的原因。大業七年（611年），在今天的山東鄒平境內，王薄率先起義。幾年之間，大大小小的起義如雨後春筍一般在各地興起，形成了全國規模的起義高潮。隋王朝的統治終於在這場起義大潮中土崩瓦解了。大業十四年，煬帝被禁軍將領宇文化及殺死。隋朝存在了三十八年後，宣告滅亡。
就在隋煬帝死的這一年，本為隋朝太原留守的唐國公李淵在長安（今陝西西安）稱帝，建立了唐朝。