就在曹操回師鄴縣的時候，并州刺史高幹果然叛亂了。
壺關是太行山裡的一個山口，也稱壺關口或壺口關，位於如今山西省壺關縣，屬長治市，其北有百穀山，南有雙龍山，兩山夾峙，中間空斷，山形像一把壺，所以稱為壺關。
也許是兔死狐悲，高幹決定鋌而走險，但他選的時機很奇怪，他是建安十年（205年）十月起兵的，這時曹操剛由幽州回師鄴縣。
北上太行山，艱哉何巍巍！
羊腸坂詰屈，車輪為之摧。
樹木何蕭瑟，北風聲正悲！
熊羆對我蹲，虎豹夾路啼。
溪谷少人民，雪落何霏霏！
延頸長嘆息，遠行多所懷。
我心何怫鬱？思欲一東歸。
水深橋樑絕，中路正徘徊。
迷惑失故路，薄暮無宿棲。
行行日已遠，人馬同時飢。
擔囊行取薪，斧冰持作糜。
悲彼《東山》詩，悠悠令我哀。
并州刺史部相當於如今的山西省大部、陝北地區以及內蒙古的河套一帶，現在的太原、大同、呼和浩特、包頭、榆林、延安都在其內，治所是太原郡的晉陽縣（今山西太原）。由太原郡向東是上黨郡，上黨郡與鄴縣所在的冀州刺史部魏郡之間只隔著一座太行山。
上黨郡太守是曹操的人，高幹把他抓了起來，之後進軍太行山中的軍事要塞壺關，妄圖以太行山為依託抵擋曹軍的進攻。
曹操提到的《東山》這首詩，是《詩經》中的一篇，相傳為周公東征時，三年沒有回過家的戰士們吟出的思念家鄉的詩。
曹操派樂進和李典為前鋒，進擊壺關。隨後，他親率大軍趕到。建安十一年（206年）正月，曹軍將壺關圍住，高幹留下部將夏昭、鄧升守城，自己前往南匈奴單于那裡求救。
南匈奴長期以來都是袁氏集團的盟友，南匈奴單于於扶羅跟袁紹關係密切，官渡之戰時，南匈奴曾派兵為袁紹助戰。此時於扶羅已死，他的兄弟呼廚泉繼位，呼廚泉看到曹操勢力日益強大，不敢與他為敵，對於高幹的請求，呼廚泉不予理睬。
高幹無奈，只得帶著幾名隨從前往荊州劉表處搬救兵，但路上被一支地方武裝截住，高幹就這樣被殺了。這支類似於民兵或民團的武裝組織其首領叫王琰，是上洛都尉。
上洛是哪裡不詳，或許與洛陽有關，因為高幹由并州南下荊州有可能路過河洛一帶，而都尉類似於縣級行政區的公安局長。王琰把高幹的首級呈送給曹操，立即被封了侯，受到大家的羨慕。
但據《典略》說，王琰被封侯後，有一個人非但高興不起來，還整天待在屋裡哭，她就是王琰的妻。因為她擔心王琰從此將要富貴，就會娶更多的小妾，從而會奪走王琰對自己的愛（其妻哭於室，以為琰富貴將更娶妾媵而奪己愛故也）。
壺關城很堅固，久攻不下，曹操有點氣惱，他下令：「城池攻破後，把他們全部活埋！」但是前後攻打了三個月，還是沒有攻下。
曹仁看出了問題，他建議道：「圍城的時候，最好讓城裡的人看到他們還有活路。現在要是讓他們感覺只有死路一條，他們必然會奮力抵抗，加上敵軍城固而糧多，我們硬攻必然會有很大傷亡。位於堅固的城池下，去攻打必死的敵人，不是上策（今頓兵堅城之下，以攻必死之虜，非良計也）。」
據《三國志曹仁傳》記載，曹操接受了曹仁的建議，城內的敵兵很快投降了，根據曹仁前後所立的戰功，他被封為都亭侯。曹仁應該還提出了具體的攻城方案，不然城裡的敵兵也不會輕易投降，不過具體方案不見記載，應該是更改之前的命令，給城裡的人留出一條活路，誘使敵兵投降吧。
此次西征是曹軍主力在連續一年作戰後，沒有得到充分休整情況下進行的，加之此次多為山地作戰，對擅長平原突襲的曹軍來說又是一個新的挑戰。這次西征并州勝負方面雖然沒有大的懸念，卻也打得異常艱苦。
在越過太行山區時，曹操寫了一首《苦寒行》的詩，記錄了行軍的艱辛和自己不得已用兵的感慨，是一首軍旅詩的佳作。詩中寫道：
曹操在詩中描述到：太行山上山高路險，車輪都能被顛壞。樹林蕭瑟，北風呼嘯，熊和虎豹時常出沒，山谷里人煙稀少。大雪紛飛，抬頭仰望怎能不長長嘆息。此情此景，令我心感惆悵，甚至想到了回師，為此在路上不斷徘徊。已經迷失了道路，到了晚上還沒有找到露營之處，人和馬都饑寒交迫了，背負行囊砍柴燒火，鑿開冰凌煮粥做飯，想起了那首叫《東山》的詩，又勾起了我深深的哀傷。
他把叛亂的時間定在這個時候，註定不會有什麼奇蹟發生。
從這首《苦寒行》里，我們依稀可以體會到古代作戰的艱辛。那不是地圖上的幾個點，也不是史書上的幾行字，甚至不是血和淚就能說完道盡的，那種艱苦卓絕，那種百轉千回，讓人忽然明白，所謂戰爭其實不是簡單地拼武力，也不僅僅是拼智謀，拼經濟基礎和上層建築，拼的是人性和毅力，是人對自己極限的挑戰。