隋朝的建立
隋朝皇室據說出於漢代以後的士族高門弘農華陰楊氏，但早自北魏初期就世居武川鎮（今內蒙古武川西）。楊堅父忠是西魏、北周的軍事貴族，西魏時為十二大將軍之一，賜姓普六茹氏，北周時官至柱國大將軍，封隋國公。楊堅襲爵，堅女為周宣帝皇后。
大成元年（579）二月，周宣帝宇文贇傳位於其子衍（後改名闡），改元大象，是為周靜帝，宇文贇自己以天元皇帝名義掌握政權。次年五月宇文贇死，靜帝時方八歲，內史上大夫鄭譯、御正下大夫劉昉假傳遺詔，召楊堅入宮，以左大丞相、都督內外諸軍事名義掌握軍政大權。
楊堅並無煊赫大功，也沒有超越諸大臣的實權與重望，僅憑藉軍事貴族的家世與後父的地位得掌大權。但由於周宣帝誅戮大臣，當時朝中已無有力的反對派；楊堅掌握府兵集中的關中，軍事上對地方居於優勢。他在元老宿將李穆、韋孝寬的支持下，憑仗關中軍事力量，僅用不到半年的時間，就迅速平定了反抗他的相州（今河南安陽南）總管尉遲迥、鄖州（今湖北安陸）總管司馬消難、益州（今四川成都）總管王謙。三方叛軍在不同程度上都和北齊舊臣有關。特別是尉遲迥，所用多齊人，如親信謀士崔達挐就是第一流高門博陵崔氏。他起兵時，據說「趙魏之士，從者若流」，不久就至數十萬眾，尉遲迥起兵實際上代表了關東士族豪強的割據願望。司馬消難自己就是北齊舊臣，王謙所用之人也有北齊後主的寵臣高阿那肱。所以，楊堅平定三方是在北方統一的基礎上進一步削弱割據力量。
平定地方叛亂的同時，楊堅還屠戮了宇文氏諸王。在消滅內外政敵以後，他自左大丞相遷大丞相，並於周大定元年（581）二月代周稱帝，國號隋，改元開皇，是為隋文帝。
統一南北
自從西晉末年以來，南北分裂將近三百年，歷史發展傾向是統一，隋朝完成了這個歷史任務。
隋朝初年，北方突厥的勢力強盛，與隋朝相對抗。開皇二年（582），隋軍挫敗入掠河西以至弘化、上郡、延安（今陝西北部）的突厥軍。突厥汗國的內部矛盾隨之激化，三年，突厥分裂為東、西兩汗國。五年，東突厥沙缽略可汗歸附隋朝，經隋朝同意，率部內遷白道川（今內蒙古呼和浩特西北），北方獲得安定。隋朝的力量於是轉向江南。
八年二月，隋文帝下詔伐陳。十一月，合九十總管之兵五十一萬八千人，以晉王楊廣為統帥，沿長江中、下游分兵八路，大舉南進。次年正月，隋大將賀若弼自廣陵渡江，韓擒虎自採石渡江，東西兩路直指建康。賀若弼激戰於鐘山，打敗了前來迎戰的陳軍；韓擒虎因陳將領任忠投降，得以先入宮城，俘後主陳叔寶。長江中下游的陳軍隨即或降或破；嶺南方面，在高涼（今廣東陽江西）太守馮寶妻冼夫人（少數族人）的協助下也迅即安定。這場統一戰爭從發兵到戰事結束，不過四個月。
隋朝平陳之後，得州三十，郡一百，縣四百，籍上戶數共五十萬，人口兩百萬。以後，隋又遷陳朝皇室和百官家屬入關中。江南士族高門從此更加衰落。
陳亡之後，江南士族高門雖大都北遷，但梁陳時正在擴大勢力的地方豪強以及所謂「溪洞豪帥」卻仍然保有實力。隋朝派到江南的官吏都是北方人，不尊重地方豪強的特權。豪強們認為統一損害了他們的利益。開皇十年冬，遍及陳朝舊境的反隋暴動爆發。當時謠傳隋朝要把所有江南人全部遷入關中，豪強們因此得以糾集民眾，大股數萬人，小股數千人。隋朝派遣楊素為行軍總管，領兵鎮壓。統一是大勢所趨，分裂割據不可能真正獲得江南人民的支持；豪強們各踞一方，力量也分散。隋軍將其各個擊破，大約次年即告平定。士族高門的北遷和這次鎮壓，沉重打擊了江南的割據勢力。
西晉末年以來，南北長期分裂的主要原因是尖銳的民族矛盾。北朝後期，鮮卑貴族的門閥化，尤其是各族人民共同的生產鬥爭和階級鬥爭，促進了民族大融合；漢族楊氏代周以後，象徵民族矛盾的鮮卑政權亦告消亡，南北統一的條件已經成熟。當時，隋的經濟、政治、軍事力量都比陳強。於是，結束近三百年分裂狀態的歷史任務便由隋來完成了。
完成和鞏固統一的改革
在文帝統治時期和煬帝統治的前期，隋朝先後進行了一系列有利於完成和鞏固統一、強化中央集權的改革。
改革行政制度
開皇元年，文帝初即位就廢除了西魏、北周時期仿照「周禮」制定的中央官制，即所謂「六官制」。又綜合參酌魏晉以來的變化，基本形成以尚書、內史（即中書，避楊忠諱改）、門下三省為行政中樞的制度。這一制度後來為唐代繼承和發展。魏晉以來處於發展中的封建官僚機構，在隋代形成了完整嚴密的體系。
南北朝時期由於僑立州郡和其他原因，州郡設置多而且亂：或地不滿百里設置數縣，或兩郡共管一縣，有的郡則沒有屬縣。州、郡、縣名重複出現，混淆不清。開皇三年，文帝下詔廢罷境內五百餘郡，改州、郡、縣三級為州、縣兩級。州置刺史，廢除過去例加的將軍號以及軍府、州府兩套僚佐的制度，將州府和軍府合一。隋還沿用舊制，凡軍事上較重要的州設置總管，兼任刺史，一個總管統轄鄰近幾個州的軍事。隋初曾設置尚書行台節制一方，後雖廢罷，但並（今山西太原西南）、揚（今屬江蘇）、荊（今湖北江陵）、益（今四川成都）四大總管，所轄多至數十州，實即尚書行台的後身。大業元年（605），鑒於漢王楊諒以并州總管起兵，煬帝下詔廢除諸州總管府，進一步加強中央集權。
尚書省
魏晉至宋的中央最高政府機構之一。始名尚書台，後稱尚書省。它是由漢代皇帝的秘書機關尚書發展起來的。秦及漢初，尚書是少府的屬官，是在皇帝身邊任事的小臣，因其在殿中主管收發（或啟發）文書並保管圖籍，故稱尚書。漢武帝劉徹時，尚書地位逐漸重要。尚書在西漢已成為政府機要部門。漢光武帝時，尚書成為政府的中樞，號稱中台，但仍然算是少府的下屬機構。三國時，尚書台已正式脫離少府，成為全國政務的總匯。但在尚書台之外復有中書省。孫吳略仿曹魏，也是尚書、中書並置。蜀漢則沿襲東漢，尚書之權甚重。西晉沿襲曹魏，以尚書台總攬政務，而別置中書、門下二省以分其權。北魏在太和改制以後，正式建立尚書制度。東魏、北齊承襲北魏，而尚書之權較重。隋文帝楊堅於開皇元年（581）恢複了尚書省，並使之成為名副其實的全國最高行政機構。唐沿隋制，也是三省（尚書、門下、中書）並置，尚書省是全國行政的總匯機構。北宋初，形式上還保留尚書省的組織系統，但名存實亡。遼、金有尚書省，與宋制略同。元代以後，尚書省遂廢除。
改革選舉制度
漢代以來，中央的三公府（包括與三公地位相等的最高級官僚）和地方州、郡、縣府的屬官照例由長官自行委任，即所謂「辟舉」。地方機構屬官也規定必須由本地人充當。隨著士族豪門勢力的強大，辟舉道路被他們壟斷，成為門閥制度的一個重要環節。後來經過長期演變，公府辟舉權實際上不再存在，地方軍府的幕僚已不限於本地人，地方州府的辟舉權也日益削弱，但仍然是士族豪門的入仕途徑。同隋代的地方制度改革相適應，開皇末年實行六品以下官吏全部由尚書省吏部銓舉之制，地方各級機構的屬官從此由朝廷委任，也不局限於本地人，徹底廢除了傳統的辟舉制。
保證門閥世襲的九品中正制也在隋代廢除。隋初，雖仍沿襲北朝設置州都（即州中正）、郡正、縣正（避楊忠諱去「中」字），廢郡後，郡正當然不存在，州都和縣正實際上已不再品定人士。州郡辟舉制和九品中正制的廢除表明門閥世襲制的衰落和中央集權制的加強。
儘管如此，由於隋朝門閥貴族，特別是關隴軍事貴族是統治階級的核心，他們的子弟仍可以門蔭出身，即按照父祖官位取得的入仕資格，升任高官，所以門閥世襲制在隋代選舉中仍居優勢。一般地主的入仕道路主要是通過吏職和軍功。長期由士族壟斷的州郡歲舉（秀才和孝廉）在南北朝後期也已向一般地主開放。舊制規定州舉秀才，郡察孝廉，隋代廢郡，似乎已不再察孝廉。秀才除試策以外往往加試各體文章，錄取非常嚴格，隋朝一代不過十餘人。值得注意的是出現了兩種新的科目進士與明經。明經之名早見於漢朝，但不是經常科目。進士科是煬帝所創。進士只試策，明經除試策外可能還試經。這兩種新科目的產生適應了一般地主的要求，雖名額很少，錄取的人在政治上並不佔有重要地位，但對後世有很大的影響。
改革府兵制
隋代沿襲西魏、北周的府兵制。府兵創立時的兵士只限於鮮卑與鮮卑化的各族人，基本上沿襲北魏以來鮮卑人當兵、漢人務農的政策。軍民異籍在當時帶有種族隔離的性質。北周后期，大量漢人也被募充府兵，但一旦入軍就全家由民籍轉入軍籍。這種制度是和民族融合的歷史傾向不相適