在王忠嗣達到人生巔峰的同時，他引起了兩個人的注意，一個是宰相李林甫，一個是平盧、范陽節度使安祿山。
李林甫是猜忌，擔心王忠嗣水漲船高，出任宰相。
安祿山是垂涎，王忠嗣手中的精兵重鎮都比他多。
兩個人都開始惦記王忠嗣。
中國有句老話，不怕賊偷，就怕賊惦記。
不久，安祿山率先出招，他上疏李隆基說，為了防範蠻夷南侵，準備修建雄武城（今河北興隆縣）用於儲存大量兵器，因為工程量大，懇請王忠嗣派兵支援。
安祿山想幹什麼呢？
他想以築城為由吞併王忠嗣的士兵。
王忠嗣看穿了安祿山的意圖，他給安祿山來了一個將計就計。
王忠嗣不跟安祿山打招呼，提前到達指定地點，到了一看，根本沒有築城的跡象，王忠嗣知道，安祿山是想空手套白狼。
王忠嗣也不含糊，不等安祿山來會面，帶領部隊轉身就走，回來就給李隆基上了一道奏疏：安祿山居心不良，日後必反！
如果從張九齡開始算，這已經是第二個人說安祿山日後必反了，可惜李隆基的耳朵選擇性失聰，他愣是沒有聽進去。
上完奏疏，王忠嗣開始反思自己，為什麼安祿山要處心積慮吞併自己的士兵？
還是因為自己勢頭太盛，一不小心成了眾矢之的。
不行，不能再當四鎮節度使了，鋒芒太盛。
王忠嗣給李隆基上了一道奏疏：
懇請辭去河東、朔方節度使職務。
為什麼辭去這兩鎮？
這裡面有玄機。
玄機一，河西、隴右是兩個大鎮，河西兵力七萬三千人，隴右兵力七萬五千人，而朔方和河東呢？朔方兵力六萬四千七百人，河東兵力五萬五千人。兩相對比，自然選河西和隴右。
玄機二，河東節度使總部設在太原府，轄區範圍與范陽節度使交界，而王忠嗣不想與安祿山有瓜葛，索性躲得遠遠的。
李隆基最終批准了王忠嗣的辭呈。
辭掉兩個節度使之後，王忠嗣安心做自己的河西、隴右節度使，這時的他一身輕鬆，一是因為他早就駕輕就熟，二是因為他的手下已經有兩名將領走向成熟。
這兩名將領在後來都成為名將，一個叫哥舒翰，一個叫李光弼，兩個人都不是漢人。
哥舒翰的祖上世代擔任突騎施部落的分支酋長，是突厥人，李光弼則是契丹酋長李楷洛的兒子，家族世代都是契丹人，李姓是唐朝皇帝賜的姓。
正是這兩個非漢族將領，深得王忠嗣信任。
相比而言，風頭更盛的是哥舒翰。
哥舒翰聲名鵲起的基礎是敢殺。
有一次，王忠嗣命令哥舒翰出擊吐蕃，哥舒翰為主將，另外一位與哥舒翰同等級別的將領擔任副將。
哥舒翰很快找到了主將的感覺，擔任副將的將領卻遲遲找不到副將的感覺，依仗自己過去與哥舒翰同等級別，便跟哥舒翰擺起了譜。遺憾的是，副將擺譜擺錯了時機，如果平時擺譜還有救，戰時跟主將擺譜，那就是不想活了。
主將哥舒翰不跟副將廢話，抬手就將副將撾殺。
撾殺，不同於一般的用刀殺，而是用鐵器重物生砸，比斬首威懾力更大。
殺完副將，所有官兵都怕了哥舒翰，從此哥舒翰說一不二，再也沒有人敢挑戰他的權威。
有說一不二的權威打底，哥舒翰令旗一揮，眾將用命，很快就憑藉戰功升任隴右節度副使。
在隴右節度副使任上，哥舒翰又幹了一件讓吐蕃人心驚膽寒的事情。
以往每年秋天，小麥成熟時，積石軍（今青海省貴德縣）的百姓都會做一場噩夢：吐蕃人入侵，武裝收割小麥。
積石軍的百姓多年來苦不堪言，勸又勸不走，打又打不過，於是只能自嘲積石軍是「吐蕃人的麥庄」。
百姓的自嘲傳到了哥舒翰的耳朵里，哥舒翰決定讓吐蕃人做一場噩夢。
又到了小麥成熟的季節，哥舒翰將士兵埋伏在麥田兩側，只等吐蕃人上門。
吐蕃人大搖大擺地進了麥田，像往年一樣開始收割小麥，這時伏兵四起，哥舒翰的士兵拿著刀向吐蕃人衝來。
不一會兒的工夫，吐蕃人全倒下了，再也不能起來收割麥子了。
這就是哥舒翰發出的宣言：誰割我們的麥子，我割誰的人頭。
自此以後，積石軍不再是吐蕃人的麥庄，哥舒翰的聲名也不脛而走。
時間走到天寶六載，王忠嗣所在的河西、隴右戰區遇到了一個難題：李隆基下令，要求奪回石堡城。
原本信安王李禕率軍奪下了石堡城，後來吐蕃與唐關係惡化，又在開元二十九年重新佔領，這一占就是六年。
王忠嗣不是不想奪回石堡城，但他知道石堡城易守難攻，三面無路，只有一面有路，硬行攻打，必定代價慘重，而且此時不同於李禕那次，那次吐蕃人沒有防備，這次則是防備森嚴。
王忠嗣對李隆基說：「石堡城險固，吐蕃傾舉國之兵鎮守。現在我們如果想攻取，不付出數萬人的代價恐怕很難攻克。臣擔心得不償失，不如暫且厲兵秣馬，伺機而動。」
這一次王忠嗣的話不對李隆基的胃口，李隆基十分不快。
王忠嗣以為石堡城一戰就這麼按下了，沒想到還是沒按下，居然有人自告奮勇地接過這塊燙手的山芋。
不怕燙手的人叫董延光，他主動向李隆基請命，願意帶兵拿下石堡城。
李隆基頓時大喜，任命董延光為主將，同時命令王忠嗣分出一部分兵馬配合董延光，爭取早日拿下石堡城。
王忠嗣心中苦笑，真有不怕燙手的人。
從內心講，王忠嗣不希望此時攻打石堡城，因為那樣必定代價慘重。久在邊塞，他已經與邊塞的士兵融為一體，他不怕打仗犧牲，但是他不願意士兵去做無謂的犧牲。表面看起來，戰後統計的陣亡人數只是一個個數字，但那數字背後，是一個個曾經活蹦亂跳有血有肉的人。
王忠嗣不僅僅把士兵看成兵，更把他們看成人。
他在心中暗下決心，決不讓士兵做無謂犧牲。
於是王忠嗣下令，對董延光虛與委蛇，能不配合就不配合。
誇下海口的董延光頓時對王忠嗣產生怨恨，他的怨恨為王忠嗣後來的命運埋下伏筆。
王忠嗣的消極被董延光看在眼裡，同時也被部將李光弼看在眼裡。
李光弼對王忠嗣說：「大人因為愛護士卒的緣故，不想讓董延光成功，雖然您迫於壓力接受詔命，但還是虛以應付。如今數萬士兵即將出征您卻不設立重賞，那麼士兵怎麼可能盡心儘力。然而這次是天子的意思，一旦董延光無法成功，他一定會把責任推到大人身上。如今我們的倉庫充裕，大人不妨拿出幾萬匹綢緞作為懸賞，這樣也能堵住別人對大人的指責。」
王忠嗣回應說：「如今用數萬士兵去爭一個石堡城，即便佔領也不足以制敵，不佔領也對國家沒有多大損害，所以我不想去打這個石堡城。就算日後我受天子責備，大不了去當一個金吾衛將軍或者羽林將軍，最次也能當個黔中地區的小官。我王忠嗣怎能用幾萬人的生命去換取我自己的晉陞。我知道李將軍是為我著想，但我意已決，將軍不必多言！」
李光弼看著王忠嗣，說：「之前我恐怕大人因此事受連累，所以不敢不言。如今大人能行古人之事，末將自嘆不如。」
正如王忠嗣預料，董延光果然沒能攻克石堡城；
正如李光弼預料，董延光果然將責任推到了王忠嗣身上。
王忠嗣麻煩了。
如果僅僅是董延光彈劾還不足為慮，要命的是，李林甫聞風而動。
李林甫找來了一個人，他跟這個人做了一筆交易：只要按李林甫的意思彈劾王忠嗣，李林甫保證升他的官。
重賞之下必有勇夫，重賞之下必有小人。
李林甫找來這人叫魏林，時任濟陽別駕，此人曾經擔任過朔州刺史，因事被貶為濟陽別駕。現在李林甫拿出交換條件，魏林頓時紅了眼，只一個彈劾就能官復原職甚至高升，這筆買賣划算。
王忠嗣就栽在這筆買賣上。
魏林很快上了一道奏疏：
王忠嗣曾經說過，早年跟太子李亨一起養在宮中，願意尊奉太子。
魏林的話一半可能是真的，一半必定是假的。
「與太子李亨一起養在宮中」，王忠嗣可能說過，這是給自己臉上貼金；
「願意尊奉太子」，王忠嗣但凡神志清醒決不會說，這是給自己找墳地。
然而就是這真假參半的話讓李隆基大為惱火，再加上石堡城不克，李隆基的惱火達到極點，一紙詔書便把王忠嗣打入大獄，同時著大理寺、刑部、御史台進行聯合審問。
一度，王忠嗣岌岌可危，因為魏林和董延光的話