北齊建都鄴城（今河北臨漳西南），以晉陽（今山西太原）為別都。但晉陽對於北齊很重要。晉陽地勢險要，處於汾河谷地，四周都有群山做為屏障，在軍事上佔盡地理優勢。進可南下直取中原，退可憑藉城池堅守待援，即便大勢已去，也可以北逃塞外以待捲土重來。所以從高歡開始，一代代的北齊皇帝都很重視對晉陽城的經營。高歡最後就是在晉陽去世的。而自高洋之後的北齊皇帝，每年都有很長時間在晉陽宮處理政事。北齊很多次皇帝的更迭也是在晉陽進行的，高緯就是在晉陽北宮即位的。晉陽成為北齊實際的政治和軍事中心，地位重要無比。
因此，當高緯一路奔逃來到晉陽的時候，這座重鎮是否能堅守得住，就關係著北齊的生死存亡。
高緯來到了晉陽已經被嚇破了膽子，略事休整就留下安德王高延宗等人留守晉陽，自己逃往突厥去了。大臣和將士們苦苦勸諫他留下來安定人心，他都不肯聽從。他手下的人不願拋棄家鄉到突厥去寄人籬下，一路上紛紛逃亡，連他的寵臣如穆提婆都投降了北周。最後高緯周圍只有十餘騎隨從，他只得回到首都鄴城。
晉陽城中的軍民一看皇帝不負責任地扔下他們跑了，就擁立奉命留守的安德王高延宗為帝，改元德昌。高緯得知此事，氣哼哼地說：「我寧願讓晉陽城送到周軍手裡，也不願意安德王在那裡當皇帝。」安德王高延宗將王府中的積藏與後宮美女賞賜給將士們，率領軍民堅守晉陽。在北周軍隊包圍晉陽之後，他又親冒矢雨、身先士卒，率領四萬軍隊出城迎戰。一時北周軍隊被殺的大敗，連周武帝都差點被捉。但大勝之後北齊將士們欣喜若狂，湧入街坊之中暢飲歡慶，不少人醉卧長街，致使高延宗無法重新集結軍隊。於是，在第二天清晨，北周軍隊趁北齊守軍猝不及防之時，一舉從東門攻破晉陽。
此時高緯正在鄴都苟延殘喘。他事先曾把家小送到北朔州（今山西朔縣）。現在他的母親胡太后回來，他理也不理。可淑妃馮小伶駕到，高緯就鑿開鄴城北邊的城牆，出外十里迎接。大臣勸他親自向守城將士發表講話，還替他撰寫了意氣奮發，拚死守城的講話稿，讓他演講的時候要感激流淚，以激勵士兵。可這個玩鬧皇帝面對十數萬莊嚴肅穆、抱有哀兵必勝之心的將士時，忽然把演講稿上的詞兒忘了，竟大笑起來。將士們大怒，都說「皇帝都這樣，我們急什麼。」全無戰心。而高緯雖然把軍心不當一回事，卻十分迷信，對老天爺的指示看得很重。宮內占卜官說天文有變，當有改朝換代的跡象。他就學自己父親，禪位給八歲的太子高恆，改元承光，自己當上了「太上皇」。
然而老天並不能保佑他，高緯剛剛當了二十五天太上皇，北周軍隊就攻破了北齊的首都鄴城。於是高緯就帶著妻兒老小往濟洲跑去，這時只有一百多個隨從跟著他。接著他又匆匆逃往青州，如果北周還緊追不捨，就準備從青州向南投奔敵國陳國避難。而他的寵臣高阿那肱看到高緯已經亡國，跟著他也沒有什麼前途，就打算把他們父子二人作為自己的進身之階。他偷偷派人捎信給周武帝，計畫裡應外合，生擒高緯父子。而高緯對此還一無所知，反而叫高阿那肱密切關注北周的動靜，高阿那肱就騙他：「一路上的橋樑都已拆毀，北周一時還來不了，皇上還是安心吧。」高緯信以為真，放心的呆在青州，居然還有閑情和馮小伶溫存一番。可沒想到剛過了三天，北周軍隊就如神兵天降般忽然到了青州，高阿那肱打開城門，北周軍隊一擁而入。高緯嚇得肝膽俱裂，裝了一大袋金子系在馬鞍上，帶著后妃等十幾個人狂跑，終於在南鄧村被周軍追及，高緯父子等十多人被俘。自高歡創業以來的北齊政權，就這樣結束了。
建德六年（577年），周武帝在太廟前舉行了盛大的獻俘儀式，高緯和北齊的宗室及大臣等幾百人作作為被俘的降臣，伏跪在周國太廟前。周武帝封高緯做了溫國公，又在他的要求下把馮小伶還給了他。接著，周武帝舉行了規模浩大的歡慶宴會，讓高緯等一干降人也列席參加。酒酣耳熱之時，周武帝命令高緯起舞助興。
這其實是很侮辱人的要求。當年西晉滅亡，後漢的劉聰把晉懷帝和晉愍帝擄到長安，在盛大的酒宴上就讓這兩個皇帝身著奴僕的青衣，給在座的各位大臣勸酒。那些大臣們很多都是原來西晉的臣子，看到故主受到這樣地侮辱，都忍不住嗚咽流涕，淚下沾襟。不少人失聲痛哭了出來，結果讓劉聰當即拖出去斬首。而懷愍二帝忍受了這種屈辱也沒能保得善終，最後還是讓劉聰殺死了。
此時周武帝下令讓高緯在席間起舞，不知道他會是什麼心情。或許他會覺得屈辱，但為了苟活不得不從命；或許他根本不在乎，國家都讓他玩丟了，在這裡跳個舞算什麼，再說周武帝肯把馮小伶還給他，他還應該感謝呢。不管怎樣，他精妙的舞技得到了北周君臣的一致讚賞，看起來他的命運應該比西晉的懷愍二帝要好一點吧。
但是他不可能總是這麼幸運，畢竟是亡國之君，命懸人手，就算他沒有什麼想法，但作為北齊曾經的皇帝，北周人對他的猜忌永遠不可能消失。半年之後，北周已經完全控制了北齊故地，為斬草除根，北周人誣稱高緯謀反，把他和兒子高恆，包括三十多個直系王爺以及宗室百口全部賜死，只有高緯兩個有殘疾的弟弟高仁英、高仁雅活了下來，被遷到西蜀偏僻之地，任其自生自滅。高緯的母親胡太后和他的妻子穆皇后，流落長安，成為了妓女。高氏的其餘親屬都被流放到西部沙漠一帶，沒有一個人回來。