小皇帝親政，首要的事情就是排除異己，鞏固皇位，因此他殺了弟弟琅玡王高儼，又殺了功臣斛律光。敵國北周聽說斛律光被殺，高興地大赦境內。不過按照他們高家的傳統，不會就殺這麼幾個人就算完的。接著，他又猜忌上了戰功卓著的蘭陵王高長恭。高長恭是高澄的第四子。此人驍勇善戰，但因為相貌柔美纖麗如同女子，上陣就常帶一個鐵面具來威嚇敵人。他曾在邙山之戰輔助高湛取得大勝，武士們吟唱歌謠，名為《蘭陵王入陣曲》，國人傳唱，聲名顯著。他還謙卑下人，得到好東西，哪怕是瓜果之類的，都要和將士們分享，因此大得將士之心。於是高緯就對他猜忌起來。一次，高緯問他：「你打仗時深入敵陣，如果失利的話後悔也來不及呵。」蘭陵王快人快語：「家事親切，不知不覺就沖了進去。」這本來是效忠皇帝的話，但「家事」一詞卻犯了高緯的忌諱，於是派人送毒藥給他。蘭陵王喝葯前對妻子長嘆：「我忠以事上，為什麼要被毒死呢。」妻子哭著勸他親自面見皇帝訴說無罪。他卻說：「天顏何由可見！」於是飲葯而死。小皇帝殺戮一番，覺得異己已盡，也就漸漸安生下來。
雖然安生了，但他並沒有管理國事的心思，而是要想方設法大玩特玩。皇帝要想荒唐，自然是要視錢財如糞土，看官爵比瓦礫。於是那些阿諛奉承的佞臣都被封了高官，侍奉他的宮婢都獲封為郡君。他喜歡養馬，親自給馬配制飼料，有十幾種之多，還給公母馬交配特地建造「青廬」，甚至給這些馬郡守一樣的名號，還得食祿。他還大肆揮霍，動輒賞賜巨萬。宮女錦衣玉食者五百多人，一件裙子的花費價值萬匹布，而且只穿一天就扔掉了；一個鏡台也能用上千兩黃金。他為寵愛的穆皇后造七寶車，載滿金銀到北周買珍珠。北周恰逢太后喪禮，不肯賣給他，他就更花費巨億從別的地方買來製造寶車和裙袴。他大興土木，而且好惡反覆無常，儘管各處宮苑修得富麗堂皇，卻屢毀屢修，從事建築的工匠沒有一時的休息，夜裡點起火把照明施工，天冷時得用熱湯和泥。又在晉陽做十二院，開鑿晉陽西山塑造巨大佛像，一夜間要點燃萬盆油燈，燈光可以照到宮中，勞費數億計。如此胡鬧，不久就府庫積蓄匱乏，民不聊生，於是皇帝也覺得自己窮了，要做乞丐。就專門在華林園旁，設立一個貧兒村，自己穿上破衣爛衫，向人行乞，還覺得好玩得不行。他又仿照民間開設市場，自己一會兒裝賣主一會兒裝買主，忙得不亦樂乎。他還喜歡玩打仗遊戲，畫下西境一些城池的圖樣，依樣仿造，讓衛士身穿黑衣模仿北周兵攻城，他卻用真正的弓箭在城上射殺這些「敵兵」。皇帝玩得高興，真不知道天下還會有什麼讓人憂愁的事，便親自創作了一支曲子，名曰《無愁》，還親自彈奏琵琶演唱，讓左右數百人唱歌跳舞來應和。於是，民間就把這皇帝叫做「無愁天子」。
不過比起他們高家前幾代皇帝那些匪夷所思的暴行來，高緯這些胡鬧真是太小兒科了。於是他就向自己的親戚們「努力學習」。有人向他告發南陽王高綽的種種暴行：這個王爺在定州刺史任上荒淫殘暴，無所不為。他喜歡養波斯狗，經常縱狗咬人。一次，在路上看到一個女子抱小孩，就上前從她懷中奪走孩子，丟在地上喂他的波斯狗。女子號哭，高綽大怒，又縱狗去咬她，那狗剛吃飽小孩，不去咬，他就把小孩身上的血塗抹於女子身上，眾狗便一撲而上，把女子撕裂食盡。高緯聽說此事，不禁對這個同父異母兄弟如此有「創意」大感佩服。於是立刻召他進京。兩人一見面，高緯就迫不及待地問他在定州什麼事情最好玩。高綽說把人和蠍子放在一起，看他們鬥來鬥去，是最有意思的事情了。高緯就派人連夜搜尋蠍子。第二天早晨，忙碌了一個晚上的侍從們好不容易捉到了兩三斗蠍子，高緯把蠍子放在一個大浴盆里，然後綁了個人扔了進去，蠍子蜂擁而上，那個人被蜇得號叫翻轉，哀聲動天。高緯和高綽卻在一旁看得津津有味，歡喜得又叫又跳。高緯還埋怨高綽：「這麼好玩的事情怎麼不早一點告訴我。」自此之後，他對這個兄弟喜歡得不得了，封他為大將軍，讓他日夜陪自己在宮中尋歡取樂。
皇帝大玩特玩，朝政就落到了一班奸佞小人的手上。高緯的寵臣有穆提婆、韓長鸞、高阿那肱等人，這三個人當時號稱「三貴」。這幫人後來都上了《北齊書》的「恩幸列傳」，可以想見他們大概都起了什麼作用。他們陪著高緯日以繼夜地酣飲歌舞，可一見朝臣就瞋目張拳，大有吃人之勢。韓長鸞是鮮卑貴族，特別憎恨讀書人，常常大罵朝臣為「漢狗」，說應該把他們統統殺掉。後來北齊重鎮壽陽被北周軍隊攻陷，高緯感到十分憂懼。穆提婆就勸他，說就算盡失黃河南岸，我們還能做個龜茲國呢。人生如寄，應該及時行樂，何必白白髮愁呢。這裡倒和北齊的一種風俗有關係。原來當年高歡和宇文泰都是從北魏六鎮兵變起家。這高歡本來是漢族人，卻喜好鮮卑風俗，所重用之人也是多是鮮卑人。那些漢族士人為了進身，竟有投其所好去學鮮卑語和彈琵琶的。而出身鮮卑族的北周宇文氏，卻在那裡學著漢族用《周禮》定官名，仿《尚書》作制誥。這般顛倒卻也好笑。所以，北齊皇室也盛行鮮卑風尚，朝野上下，一致尊崇，高緯的這幫寵臣也多是鮮卑人。不過他們之所以這麼得寵，除了陪著小皇帝玩得高興之外，還和宮中小皇帝的乳母陸令萱很有關係。
陸令萱也是鮮卑族人，因為丈夫謀反被殺而沒入皇宮為婢。她巧黠多智，善於奉迎，很快就得到了齊武成帝高湛和胡皇后的信任，特意命令她做太子高緯的乳母。陸令萱自然盡心儘力，高緯也和她十分親近，叫她「干阿媽」，對她言聽計從，親政之後，更是把宮中的事情都交給她掌管。後來高緯的母親胡太后因為與和尚的姦情敗露，讓高緯關了起來，陸令萱就成為了後宮的主人。她的兒子穆提婆，也因此而由一個宮奴變成了深受皇帝寵信的朝廷大臣。於是陸令萱開始干預朝政，勾結高緯的那些寵臣大肆弄權。一時間哪怕是奴婢倡優之人，只要附和他們，都可以被封官晉爵。於是弄得吏治腐敗，賄賂公行。天下開府一職的官員竟然達到一千多人，儀同官職不可勝數，僅領軍就增加到二十多人。官雖多了，卻因為職權不明，反而沒人辦事。朝廷下達的詔令和文書，二十個領軍都互相推諉，最後都只在文書上照葫蘆畫瓢地寫了個「依」字扔在一邊，沒人執行。陸令萱在朝廷大事上獨斷專行，在後宮自然就更加說一不二，就連高緯后妃的廢立，都掌握在她手中。高緯的皇后斛律氏，是功臣斛律光的女兒。斛律光被誣謀反而被處死，斛律氏也就被廢掉。高緯又立了胡太后的侄女為皇后，但他喜歡的卻是前皇后斛律氏的侍女穆黃花。穆黃花也是個聰明的女子，知道自己出身卑賤，就拜陸令萱為母，在宮中找到了一個堅實的靠山。於是陸令萱為了提高她的地位不遺餘力。讓她的兒子高恆成了太子，接著又在胡太后面前進讒，讓太后大怒，把胡皇后廢掉。這樣，穆黃花就被立為皇后，陸令萱也因為是皇后之母，被封為「太姬」，相當於一品官，班列在長公主之上。然而，在她們志得意滿之際，卻沒有想到喜新厭舊的高緯又一次轉移了目標，愛上了另外一個女子。