楊堅是東漢太尉楊震的後代。「弘農楊氏」世任高官，是漢、魏、北朝至隋唐時期最著名的門閥世族之一。西魏大統三年（公元537年），楊堅的父親楊忠追隨獨孤信投靠在西魏專權的宇文泰。因在宇文泰執政和宇文覺建立北周過程中功勛卓著，楊忠被賜姓普六茹氏，位至柱國、大司空，封隨國公。
西魏大統七年（公元541年）六月，楊堅出生在馮翊（縣治今陝西大荔）般若寺。據說當時寺院內紫氣繚繞，祥雲籠罩。天明，從外地來一尼姑，聲稱此兒生來異常，不可以俗兒視之，便把他帶到另外的地方撫養。又傳說楊堅的相貌像龍，前額有五根柱子直通頭頂，眼光外射，手上有像「文」字的紋理，身材上長下短，面部表情威嚴莊重，不苟言笑。雖然古史書多載楊堅生來就有天子氣象，卻不見其青少年時期過人的聰明。依靠家庭背景，楊堅曾在王公貴族子弟的專門學校里念過書。至於學習成績，從後世多譏諷他不學無術，他也自稱「不曉書語」，大概當時不是好學生。
楊堅從14歲就開始了做官生涯。15歲，依靠父親的功勛被授予散騎常侍、車騎大將軍、儀同三司的榮譽職銜。楊堅很受當時執政者宇文泰的賞識，北周取代西魏後，楊忠為開國功臣，楊堅又升驃騎大將軍、加開府。同年，周明帝繼位，又封楊堅為大興郡公。560年，周武帝繼位，19歲的楊堅被任命為隨州刺史。566年，鮮卑大貴族、柱國大將軍獨孤信認識到楊堅前途無量，便把自己14歲的七女兒嫁給了楊堅，這更提高了楊堅的地位。568年，楊忠死，楊堅繼承了隨國公的爵號。577年，北周滅北齊，楊堅立下戰功，又進封柱國。第二年，出任定州總管，不久轉亳州總管。
楊堅並無突出的功績，地位卻扶搖直上，逐漸引起一些朝臣和貴族的忌恨。北周初年，宇文護專權，多次想除掉楊堅，都因別人的阻攔而沒有得逞。周武帝親政後，宇文憲曾勸他儘早把楊堅除掉，內史王軌也認為楊堅有反相，但都沒引起周武帝的重視，且又以楊堅的長女作為皇太子王妃，進一步鞏固了楊堅的地位。
同時，楊堅也積極利用已有的社會影響，廣泛拉攏群臣，以擴大自己的勢力。楊堅在做隨州刺史時已與驃騎將軍龐晃結為莫逆之交。後來，楊堅做定州總管，龐晃任常山太守，二人交往更密。楊堅將轉亳州總管時，龐晃勸他就此起兵，建立帝王之業，楊堅握著龐晃的手說：「時機還不成熟啊。」至此，楊堅取周自代的願望溢於言表。
宣政元年（公元578年）六月，武帝死，宣帝繼位，以楊堅女為皇后，任楊堅為上柱國、大司馬。第二年初，楊堅又轉大後丞、右司武，旋升大前疑（相當於丞相）。在宣帝外出時，由楊堅主持日常政務。
周宣帝雖年少，但昏庸荒淫，又修建洛陽宮耗盡民財，致使上下怨憤。楊堅便開始做取代周室的準備工作。有一次，楊堅與好友宇文慶談論當時形勢，表示預感到北周的統治即將結束，對可能出現的動亂局面進行了充分的估計，並已經做好收拾北周局面的思想準備。
楊堅積極為代周做準備，也曾引起周宣帝的警覺，甚至曾想殺掉楊堅。但楊堅始終不動聲色，周宣帝既找不到借口，也不願隨便殺死自己的岳父。楊堅儘管表面不露聲色，內心對周宣帝的猜疑也感到不安，為逃避周宣帝的猜疑，也為了將來在北周動亂時握有實力，楊堅想暫時離開朝廷，到地方上去掌實權。他把這種想法告訴了自己的同學內史上大夫鄭譯。大象二年（公元580年）五月，周宣帝決定南伐，鄭譯乘機推薦楊堅。周宣帝對鄭譯言無不從，遂任命楊堅為揚州總管。
大軍未出，周宣帝病重，召見小御正劉昉、御正中大夫顏之儀，準備托以後事。二人到時，周宣帝已不會說話。這時，宣帝的長子宇文衍年方8歲，根本不能真正做皇帝。劉昉為以後飛黃騰達，便與鄭譯商議，共同擬定一個假詔書，聲稱周宣帝遺囑，讓楊堅以皇太后父親的身份總攬朝政，輔佐幼主。宣帝死，劉、鄭等人暫不公開，首先宣布由楊堅總管中外軍事大權。楊堅又以詔書的名義控制了京師衛戍軍隊，基本控制了朝廷。
3天後，楊堅等人才正式宣布宣帝已死的消息，8歲的周靜帝即位，以楊堅為假黃鋮、左大丞相，掌握軍事、政治全權。但楊堅深知自己的地位還不鞏固，於是採取一系列措施增加自己的權威。
首先是建立自己的統治核心。楊堅是在劉昉、鄭譯等人的擁戴下才得以上台的。劉鄭二人都想藉助楊堅撈到好處，他們建議由楊堅出任大冢宰，鄭譯要做大司馬，劉昉想任小冢宰，實際上就是要三人共掌朝政。楊堅不願讓他們分割自己的權力。在親信李德林的支持下，楊堅拒絕了他們的要求，自任丞相，設丞相府，以鄭譯為相府長史兼內史上大夫，劉昉為相府司馬，李德林為府屬兼儀同大將軍，把他們置於自己的控制之下。楊堅又拉攏真正具備政治才能的高熲等一幫人作為自己的親信。相府實際上已代替朝廷成為真正的決策機構。同時楊堅利用掌握軍權的司武上士盧賁，用軍隊的力量暫時壓服了尚未完全清醒過來的朝廷百官。
接著除掉宗室宇文氏的勢力。楊堅初執政時，周宣帝的弟弟宇文贊仍以皇叔身份居上柱國、右大丞相職，在朝廷中與楊堅平起平坐。楊堅支使劉昉把他勸回家中，不要過問朝政，答應以後由他做皇帝，只須在家裡等待。宇文贊年輕無才，信以為真，便高高興興回家去了。楊堅排除了近在身邊的干擾，但這時真正的威脅是已經成年並各居藩國的宇文泰的5個兒子：趙王宇文招、陳王宇文純、越王宇文盛、代王宇文達、滕王宇文遒。他們既有實力，又有影響，一旦起兵，楊堅根本無法控制。因此，在還沒有公開宣帝的死訊時，楊堅便借口召他們回到長安，收繳了他們的兵權印符。五王與雍州牧畢王宇文賢聯繫，請他起兵。但宇文賢很快就被楊堅擊敗。楊堅明知是五王從中搗鬼，卻假裝不知，並允許他們劍履上殿，入朝不趨，以此安定他們。五王看到外面指望不上，便尋找直接刺殺楊堅的機會。有一天，趙王宇文招借口請楊堅吃飯，安排親信衛士手持兵器守護左右，並暗伏兵士於後。楊堅到後，所帶隨從均被擋在外面，只有楊弘與元胄跟進去，並且只准坐在門口。元胄看出勢頭不對，便說：「相府有事，丞相不宜久留。」催楊堅趕快脫身，並強行拉楊堅離開座位，趕快出門，護送楊堅回到相府。楊堅賞賜給元胄大筆財富，並以謀反罪殺死宇文招、宇文遒，其他三王也很快被除掉。至此宇文氏的勢力基本被消滅。
然後，楊堅宣布廢除周宣帝時的嚴刑峻法，停止洛陽宮的營建，以此取得廣泛支持。這樣，楊堅在京師的統治已基本穩固。
楊堅以外戚專權，引起北周一些地方勢力的不滿。楊堅本想尋找種種借口，逐步用自己的親信去控制地方，把原來的將領召回京師，或殺或用，就可兵不血刃地控制全國局勢，但都沒有成功。楊堅執政剛一個月，尉遲迥便在相州（今河南安陽）發難，王謙在益州起兵，司馬消難在鄖州（今湖北安陸）起兵，局勢異常嚴峻。楊堅一方面利用自己已經取得的政治優勢拉攏地方將領，對反對者進行分化瓦解；另一方面，投入自己所能控制的全部軍隊，經過半年的戰爭，三方武裝反抗被全部平定，楊堅控制了北周政局。
從輔政之日起，楊堅要做皇帝已是公開的秘密。在平定三方武裝反抗的過程中，楊堅又為鋪平做皇帝的道路採取了下列措施：宣布自己由左丞相改任大丞相，廢左、右丞相設置，不久改稱相國；讓自己的長子楊勇出任洛陽總管、東京小冢宰，監督東部地方勢力；楊堅由隨國公改稱隨王，以20州為隨國，隨王位在諸侯王之上；為進一步宣揚自己的家世，追封曾祖楊烈、祖父楊禎、父親楊忠；為進一步削弱宇文氏的影響，廢除所有對漢人的賜姓，令其各複本姓，這一措施得到漢人的普遍擁護。
至580年底，楊堅做皇帝的準備工作已基本完成。581年正月，楊堅派人為周靜帝寫退位詔書，內容極稱楊堅功德，希望楊堅按照舜代堯、曹丕代漢獻帝的故事，接受皇帝稱號，代周自立。詔書由朝廷大臣捧著到隨王府送給楊堅。楊堅假意推辭，經過朝廷百官的再三懇求，楊堅才接受。儀式結束，楊堅穿戴上早已準備好的皇帝服裝，在百官簇擁下坐上皇帝的寶座。
楊堅由繼承父親的隨國公起家，進稱隨王，故把自己新王朝的國號定為隨。他又感到隨字有「辶」，與走同義，似乎不太吉利，便改隨為隋，改元開皇，仍以長安為首都。
楊堅做皇帝，就要建立楊氏天下。他首先追謚其父楊忠為武元皇帝，廟號太祖，母親呂氏為元明皇后；以正妻獨孤氏為皇后，長子楊勇為皇太子。為吸取宇文氏沒有強根固本的教訓，楊堅封楊氏諸弟和眾子為王，並各掌一州，兼管周圍各州軍事，又都配備親信重臣輔佐，以此加強對地方的控制。
楊堅是在劉昉、鄭譯等人擁戴下控制朝政、並取周自代的，但這些人並不具備治理國家的才能，況且在楊堅稱帝後，劉鄭等多