中央官制理順了，隋文帝做的第二件大事是改革地方制度。這次改革主要體現在兩個方向。
第一，改革原來的州、郡、縣三級行政體制，實行州、縣兩級制。
第二，改變高門大姓把持地方的局面，地方佐官由中央任命。
先看第一項措施。為什麼改三級製為兩級制？因為當時的地方行政區實在是太多了。舉一個數字。西漢的時候，全國一共一百零三個郡，一千五百八十七個縣。可是到了隋朝建立之時，別看領土少了江南一大塊，行政區倒多起來了。州有二百一十一個，郡有五百零八個，縣則有一千一百二十四個。平均一個州才管兩個半郡，一個郡管兩個多一點縣。這也太不合理了！
為什麼隋初的行政區這麼多？很簡單，因為隋朝繼承的是北周和北齊的行政設置，北周和北齊的行政區本來就多。當年北齊和北周分裂的時候，爭相用官職籠絡人才。現有官職不夠，就增加地方行政設置。原來一個郡的地方，分成三個郡，就可以多安排幾個官員。
你這樣籠絡人才，我也這樣籠絡人才，這樣一來，無論是北齊還是北周，行政區都越劃越小，官也越來越多。後來，北周吞併北齊，地方基本沒做變動，就照單全收了，而隋朝又篡了北周的天下，這個問題依然沒有解決。
問題是，這麼多的行政區，這麼多的官，不僅僅意味著人浮於事，行政效率低下，還涉及一個行政成本的問題。要知道，所有官員都得老百姓來養，官員多了，老百姓就苦了。在這種情況下，改革地方行政體制就提到議事日程上來了。
開皇三年（583），有一個叫楊尚希的官員，給隋文帝上了一個奏章，說：「竊見當今郡縣，倍多於古。或地無百里，數縣並置；或戶不滿千，二郡分領。具僚已眾，資費日多；吏卒增培，租調歲減；民少官多，十羊九牧。今存要去閑，並小為大，國家則不虧粟帛，選舉則易得賢良。」
這份奏章把問題說得非常清楚，但是，解決辦法並不理想。什麼叫存要去閑，並小為大？閑和要到底怎麼區分，小和大的界限在哪裡？還有，如果這樣搞的話，是不是三個層級都要大動干戈？隋文帝覺得這太不好操作，乾脆，直接省掉一個行政層級算了！省掉哪一級？只能省中間層。
開皇三年（583），隨著隋文帝一聲令下，馬上，全國五百零八個郡全部撤銷，這樣一來，實行了好幾百年的州、郡、縣三級制變成了州、縣兩級制，行政層級減少，十羊九牧的局面大大緩解，地方行政開支也大幅度下降，對老百姓而言，可真是一件大好事。
再看第二項措施。地方佐官由中央任命，這可是一項大改革。要知道，從秦漢以來，中央只任命州刺史、郡太守、縣令這樣的主要長官，而長官下屬的官吏，也就是佐官，都由長官自行辟召。地方長官都辟召什麼樣的人？當然首選當地的高門大族。因為他們對地方的情況比較清楚，而且關係網發達，有能力擺平各種局面，那些中央空投過來的地方官還得依靠他們站穩腳跟。這就跟《紅樓夢》中賈雨村當官，先要抄一張當地的護官符一樣。這樣一來，雖然地方的主要長官是中央任命，但是，地方的實際行政往往把握在當地豪門手裡。
東漢的時候就有這樣的歌謠：「南陽太守岑公孝，弘農成瑨但坐嘯。」什麼意思？當時的南陽太守是弘農人，叫成瑨，他到南陽做官後，就辟召了當地的名士岑公孝，讓他當功曹。結果，岑公孝把政事打理得清清楚楚，根本不用成瑨操心。成瑨每天只需要找個清靜地方吹口哨玩就可以了。所以，人們說，真正的南陽太守是岑公孝，弘農來的成瑨不過是坐在那裡吹口哨罷了。問題是，這樣的地方設置大大加大了世家大族把持地方的能力，並不利於中央集權。中國從東漢末年到隋朝近三百年分裂，貴族把持地方也是主要原因之一。
還是在開皇三年（583），隋文帝規定，原來由長官辟召的佐官統統下崗，擔任鄉官，只管教化風俗，不管行政事務。那空出來的行政職務由誰擔當？文帝下令，從今以後，地方佐官一律由中央任命，而且一年一小考，四年一大考，依據考核情況決定去留。
這樣一來，地方官吏的任免權就被中央牢牢地抓在了手裡，中央和地方的步調高度一致，世家大族再想橫行鄉里、左右地方政治、鬧分裂、搞割據就難了，這樣就加強了中央集權。