河清四年（565年），年僅10歲的高緯作了北齊的皇帝，是為北齊後主。
新皇帝登基了，但舊皇帝齊武成帝高湛，也就是高緯的爸爸，此時卻還沒死，不但沒死，他此時只有27歲，還活得健旺得很呢，不過他現在是「太上皇」。那他為何放著好好的皇帝不當，把皇位傳給還是個小孩的兒子？原來，這位太上皇遇上了彗星，據說這是除舊布新之象，得換個皇帝才能行。於是他便傳位給了兒子，自己做上了太上皇，也就算是上應天象吧。
這聽起來頗為荒唐。但對於北齊皇室高家來說，這點小事實在算不了什麼。當年齊孝昭帝高演的時候，這「除舊布新」的彗星就來過一回，於是，高演就把親侄子高殷殺掉來「應天象」。這回高湛之所以沒殺人，並不是因為他仁慈，而是他早已把親侄子高百年殺了，此時無人可殺，只好自己退位了事。或許這一連串殺戮已經使人頭暈目眩，但是，這對於高家來說就是太尋常不過的事了。北齊共傳了六個皇帝，每一次帝位的交替，都伴隨著刀劍和血腥，小皇帝高緯是由父親傳位給他，倒算是難得的例外了。
這就要從北齊的建立說起。當年西晉滅亡，中原進入了五胡十六國的大混亂時期，幾經分分合合，最後由鮮卑族所建立的北魏統一了北方。而一代雄主魏孝文帝，更以他的漢化改革而名垂史冊。但是，有一利必有一弊。魏孝文帝的改革雖然促進了經濟的發展，文化的交流，卻使得原為北魏軍事基礎的六鎮軍人地位降低，再加之後來政治腐敗，貧富分化懸殊，終於導致六鎮軍人起事，引發了一場社會大動亂，北魏就在這場動亂中滅亡了。北魏滅亡後分為東西魏，但其實際統治者卻是在六鎮起事中成長起來的高歡和宇文泰。不久，這兩個人的兒子就各自篡位建立了新王朝。高洋建立了北齊，宇文覺建立了北周。
齊文宣帝高洋即位初期，尚能勵精圖治，對外征伐也大多取勝。可後來卻沉緬酒色，凶暴異常。他倚重的大臣楊愔，曾為北齊的強盛立下過很大功勞，還是他的內兄。他有一次卻用馬鞭抽楊愔背脊，抽得袍褂浸滿鮮血，接著又用小刀扎進楊愔肚子里，旁邊的宦官看不過，連哄帶騙地才把刀子拔出來。可高洋還不甘心，又叫人將楊愔活活裝進棺材，釘上鐵釘，用車運了出去，算作送喪遊戲。幸好楊愔命大，被人救起，才免於一死。高洋曾經寵幸過出身歌伎的薛氏姐妹。姐姐恃寵向他為父親求官，他當下大怒，用鋸子把她鋸死。而那個妹妹更是沒招他沒惹他，只因為原先作歌伎時陪清河王高岳喝了一回酒，就惹起這位皇帝的無名醋來，先把清河王毒死，接著砍下了這個妹妹的腦袋，還拿到酒席上向群臣展示，接著把她的屍體大卸八塊，用她的髀骨做成琵琶。有時皇帝又想起她來，就邊彈著這個琵琶邊流淚感嘆：「佳人難再得呀。」這樣的變態實在令人毛骨悚然。最後這個皇帝酒精中毒死掉了，他兒子高殷即位為帝。高殷本性善良懦弱，高洋怕他這個樣子將來不能繼位，就親自訓練他砍死囚的腦袋。可膽小的太子哆嗦了半天，砍了好幾刀也沒把腦袋砍下來。高洋大怒，狠狠鞭打兒子，結果把這孩子嚇成了間歇性精神病。不過也的確讓他父親猜中了，高殷即位沒多久，就被六叔高演廢掉。當年高洋曾預料到這樣的結果，對高演說，若是想奪高殷的帝位就儘管奪去，可千萬別殺了他。但高演一即位馬上就把這個侄兒殺了，他自己也只做了兩年皇帝就暴病身亡，死時傳位給自己的九弟高湛，囑咐他善待自己的妻兒。但善良報恩這種品質絕非高家傳統，高湛一即位，就立刻把高演的兒子高百年召來，讓左右的侍衛一起上前對這個十四歲的孩子拳打腳踢，打得他繞堂亂跑，遍地是血，奄奄一息。這個可憐的孩子向他求饒，說寧願作他的奴僕，高湛卻不為所動，親手殺了他，把他的屍體扔到池子里，池子里的水全都紅了。他還怕這孩子沒死，又到後園裡親自看著手下把他埋了。
高湛就是小皇帝高緯的父親，他已經十分完美地把這個家族的殺戮傳統展示給了這個十歲的孩子。而高緯的母親胡皇后，則向他展示了這個家族的另一種傳統——荒淫。
高湛作了皇帝，日日沉迷於酒色，胡皇后深宮寂寞，就看上了高湛的一個親信和士開。和士開擅長一種「握槊」遊戲，胡皇后說她也想學，高湛便命和士開教她。有了這樣的便利條件，胡皇后經常與和士開眉來眼去，兩人慢慢地就勾搭在一起。對此，高湛或有耳聞，但他此時正和文宣帝高洋的皇后李祖娥綢繆纏綿，反正他們高家的綠帽子也是互相戴，當年高洋就曾經逼奸過哥哥高澄的妻子，以報高澄生前調戲自己妻子之仇，所以他也不在乎多這麼一頂，便對胡皇后與和士開聽之任之，還把和士開擢升為黃門侍郎。後來高湛死了，胡太后與和士開就更加肆無忌憚。等到和士開被殺，胡太后傷心不已，百無聊賴，就又看上了一個叫曇獻的和尚，二人經常在禪房私會，國庫里的金銀珠寶盡情搬入，甚至連高湛的龍床都搬了進去。除了曇獻和尚，胡太后還勾搭了不少少年僧人，為了掩人耳目，就把他們都扮成尼姑。一次高緯入宮向母親請安，看到有兩個年輕貌美的女尼，不覺垂涎萬分，便逼她們侍寢。可是兩名女尼抵死不從，高緯大怒，命宮人強行脫下兩人的衣服，一看，原來是兩名男扮女裝的少年僧人。他又驚又怒，一下子明白了母親的穢行。便殺掉那些和尚，把胡太后遷居北宮，幽閉起來。後來北齊滅亡，胡太后流落到北周的都城長安，無以為生，竟操起皮肉生涯，做起妓女來。還不以為苦，樂在其中，聲稱做皇后不如做妓女來得有樂趣。如此淫蕩，也真是嘆為觀止了。
現在高緯作了皇帝，自然有義務把他家族的種種「光榮傳統」繼續發揚光大。不過他這時還只是十歲的孩子，上頭還有一個荒淫殘暴的老爸「太上皇」，所以他倒是一直老老實實的。天統四年（568年），太上皇高湛死了，臨死前握著老婆情夫和士開的手說：「不要辜負我的期望，好好扶助幼主。」和士開既然做了「託孤之臣」，自然權勢日盛，大臣紛紛巴結他，甚至不知羞恥地拜他為「乾爹」。有一次和士開病了，醫生給他開了「黃龍湯」，其實就是存放了多年的人糞。這麼噁心的東西，和士開當然不想喝。而一位來探望「乾爹」的大臣為了討好他，就說這東西並不難喝，還親自示範給他，端起一大碗「黃龍湯」就灌下肚去。和士開大為感動，立即提拔了這位大臣。
和士開這般權勢，引起了琅玡王高儼的不滿。高儼是高湛的第三個兒子，從小得到父親的寵愛，器服玩飾都和皇帝高緯一樣。有一次他在高緯處見到有進貢的新冰早李，還大怒說：「我哥哥有這東西，我怎麼沒有。」他生性威猛，老成大度，才十二三歲就使得王公大臣都跪拜畏懼。和士開很害怕他，曾對人說琅邪王眼光凌厲逼人，自己在皇帝面前都不感到緊張，而在他面前站一會就能嚇出一身大汗。高儼也特別討厭他，看到他在修建宅第，便諷刺說：恐怕不等宅子修好，宅子的主人就要完了。他知道胡太后的妹夫馮子琮與和士開不合，便與其謀劃，在深夜埋伏士兵於神獸門外，次日和士開上朝時將其抓獲，並派心腹殺死了他。本來高儼原意只為殺和士開，可一開了頭就收拾不住，其手下徒眾擁逼他去殺後主高緯，高儼就帶著禁衛軍三千多人直向宮殿闖來。高緯嚇得要命，叫四百兵士慌亂披甲操刀，出門抵擋。大臣斛律光趕來勸他，說他是皇帝，只要一露面，那些作亂之人就死心了。高緯依計而行，果然平息了叛亂，把高儼抓到宮中關了起來，後來又暗暗把他殺死。他又親自用弓箭射殺高儼的徒黨，肢解暴屍，以泄怒氣。又把高儼的四個遺腹子也殺死了。斛律光本來為他立了大功，可由於得罪了高緯的寵臣，被誣陷為謀反，也被害死。小皇帝開始親政，已經逐漸表現出他作為暴君和昏君的素質了。