雖然把臣術練得如此爐火純青，進入乾隆時代，張廷玉還是感到了一絲絲涼意。他的第一感覺是，這個年輕皇帝太精明了，比他的父親實在是有過之而無不及。
如前所述，掌握了駕馭清帝國這艘航船的高難技巧的乾隆，開始越來越注意打擊朋黨。而打擊朋黨的要訣是最大限度地防止大臣之間的組織性和聯繫性，千方百計地造成他們的孤立化、分散化、「原子化」，使每一位官僚，都以孤立無援的姿態面對強大的君權。
而所謂「擒賊先擒王」，打擊朋黨就必須從打擊朋黨的核心人物入手。就如同要阻止珍珠的形成，就必須從貝殼中取出那粒沙子一樣。只有讓大臣們認識到他們所依靠攀附的人物靠不住，朋黨才能不攻自散。
乾隆五年開始，皇帝就不斷地打擊性格傲慢、行事張揚的鄂爾泰。同時，皇帝一刻也沒有放鬆對張廷玉的觀察和挑剔。幸虧張廷玉平時對於朋黨嫌疑懍如臨淵。作為官場中人，人際往來誰也無法避免，特別是作為相國，他的家是京城人際交往的中心。「薄暮還寓，則賓客門生，車駕雜沓，守候於外舍者如鯽矣。」（《清稗類鈔》）但張廷玉絕不輕易幫人說話，也絕不輕易介入人事糾紛，而是聽從花開花落。他的名言是：「予在仕途久，每見升遷罷斥，眾必驚相告曰：此中必有緣故。余笑曰：天下事，安得有許多緣故。」（《郎潛紀聞》）他從政原則是事不關己，則謹守本分絕不發言。有人因此指責他說：「如張文和（張廷玉）之察弊，亦中人之才所易及。乃畫喏坐嘯，目擊狐鼠之橫行，而噤不一語。」（《郎潛紀聞》）連乾隆皇帝都說他過於謙抑，說「張廷玉則善自謹而近於懦者」。在與鄂爾泰的鬥爭中，他始終處於下風，也始終不爭不怒，打太極拳。正因為如此謹慎，所以在鄂爾泰連連受到指責和處理時，他卻安然無恙。
然而，鄂爾泰死後，皇帝的注意力必然完全集中到他身上。樹欲靜而風不止，雖然他不想成為朋黨領袖，但是身處如此高位，想不被攀附是不可能的。主動要投靠他的人如蠅之附，驅而不走。同時，身處官僚政治的利益場中，他再擺出一副正大至公的神態，也無法完全掩飾自己手中巨大權力的偏向。幾十年間，他私下辦的事，偷偷送出的好處也車載斗量，雖然手腕高明，畢竟不是完全沒有形跡。所以，雖然皇帝的大棒一直沒有落下，張廷玉心中卻無時不處於緊張之中。他知道，統治者是從來不講什麼恩義的。雖然自己給乾隆的父祖賣了幾十年的命，但如果政治需要，皇帝打擊起自己來並不會手軟。
張廷玉感覺，自己退出政治舞台的時間到了。
在乾隆即位之初，張廷玉確實是大清帝國不可或缺的政治元老。他頭腦中裝著大清帝國官僚體系中每一個零件的說明書和使用記錄。那個時候的乾隆一天也離不開他。不過，乾隆七年（1742年）以後，皇帝對他的倚重卻越來越少了，不再事事向他諮詢。皇帝已經不再那麼需要這樣一個活檔案。雄心熾烈的皇帝急於進取，而張氏「穩重和平」「八面玲瓏」的個性已經不太適合一個大刀闊斧、除舊布新的時代。
乾隆十年（1745年），鄂爾泰去世，皇帝起用三十多歲的訥親為軍機大臣。訥親是青年權貴，初獲任用，就位列於張廷玉之前，成為首席軍機大臣，這讓張廷玉心中有些不舒服。乾隆十一年（1746年）十月，皇帝說「大學士張廷玉服官數十年。今年逾古稀，每日晨興赴闕，未免過勞，朕心軫念。嗣後可仿此意，不必向早入朝」。這實際上是宣布，張廷玉不再參與核心機密，訥親將獨自面承聖旨。很顯然，張廷玉在大清朝廷中的實際地位大大降低了。
皇帝的這個決定不是沒有理由。自然規律是不能抗拒的，雖然一直以精力充沛著稱，但從乾隆三年（1738年）起，張廷玉已明顯感覺自己有些老了。乾隆三年他在給乾隆請辭兼攝吏部的奏摺中說：「今犬馬之齒六十有七，自覺精神思慮迥不如前，事多遺亡，食漸減少。」不但眼睛花得看文件越來越吃力，寫字時手也開始打戰。年齡的增長使他在政治鋼絲上走得越來越費力了。乾隆十一年，他的長子內閣學士張若靄病故，這對他又是一個意外的打擊。白髮人送黑髮人，他備覺傷悼，身體一下子大不如前。各種老年性疾病，慢慢都找上身來。這種身體狀況顯然已經不適於承擔帝國政治中樞的繁重工作了。
在這種情形下，皇帝對朋黨政治的大力打擊，就如同在張廷玉頭上懸起了一把沉重的達摩克利斯劍，隨時有可能落下來，讓一輩子沒有犯過錯誤的他陷於大戾。一是自己門下任何一個官員出了事，都有可能把自己牽扯進去；二是人一老，就容易糊塗，「錯誤耽延，在所不免」，讓皇帝抓到自己的辮子。
凡事過猶不及。張廷玉的官已經做到了極致了：身仕三朝，功名利祿達到極致，張家一門也都安排得妥妥噹噹。兩個弟弟張廷璐、張廷緣分別官至禮部侍郎和內閣學士，兩個兒子張若靄和張若澄也都入值南書房和軍機處，參與機要。「一門之內，朝紳命服，輝映閭里，天下榮之。」為官如此，夫復何求？
臣術中最重要的一條，是平安降落。沒有這一條，那麼其他方面再成功，也不過是一場春秋大夢而已。因此，退休的念頭越來越強烈地出現在張廷玉心中。
乾隆十三年正月，張廷玉進宮出席皇帝為近臣舉行的一次新年宴會，宴會後他得到與皇帝私下談話的機會。乾隆十一年以後，這樣的機會越來越少了。機不可失，他趁皇帝情緒不錯，提出自己「年近八旬，請得榮歸故里」。
張廷玉有充分的理由認為，皇帝會痛快地批准他的這個請求。
沒想到，皇帝拒絕了他。乾隆從來沒有想到一貫勤勤懇懇的張廷玉會提出退休的要求。雖然張廷玉已經不能承擔繁巨的工作，但畢竟他的政治經驗還是十分豐富的，在朝中作為顧問，對大清政治不無裨益。因此，皇帝回答說：「卿受兩朝厚恩，並且奉了皇考的遺命，將來要配享太廟，豈有從祀元臣，歸田終老之理？」就是說，你死後享受配享太廟，和皇帝一起吃冷豬肉的最高榮譽，生前怎麼能貪圖逸樂？
只有功高蓋世、純無瑕疵的名臣，才能「配享」太廟。一旦得到「配享」之榮，必然永載史冊。因此，獲得這項殊榮的人就應該死而後已，為國家貢獻出全部力量。
素來縝密的張廷玉對皇帝的這個問題已有所準備。他叩了一個頭，引經據典回答說，七十懸車，古今通義。老子曰，知足不辱，知止不殆。只有及時退步，才能保此身榮。況且宋明兩朝也有享受配享榮譽的大臣退休回家的，比如明太祖就允許劉基回了老家。
這句話，讓皇帝一下子不高興了。
乾隆是中國歷史上對「臣節」要求最嚴的皇帝。作為一個完美主義者，乾隆希望自己成為歷史上最偉大的君主。同時，他也認為每個大臣都應該以最高標準來要求自己。
乾隆皇帝與雍正皇帝的性格頗為不同，對張廷玉的觀感也大為不同。
雍正皇帝為人雖然陰鷙多謀，但是性格中卻有天真淋漓的一面，經常有衝動急躁之舉，與周密細緻、耐心極好的張廷玉性格互補，因此君臣相得之感極強。雍正對張廷玉，不僅有才華上的利用，還有性格及人格上的欣賞，在他看來，張廷玉算得上是歷史上少有的忠心赤膽的純臣。所以，他才在遺囑中給了張廷玉以有清一代漢族大臣從來沒有得到過的殊榮：
大學士張廷玉，器量純全，抒誠供職……其功甚巨。大學士鄂爾泰，志秉忠貞，才優經濟……洵為不世出之名臣。此二人者，朕可保其始終不渝。將來二臣，著配享太廟，以昭恩禮。
這是雍正對張廷玉情誼深厚的最好證明。
然而乾隆皇帝對張廷玉的印象與雍正相當不同。俗話說惺惺相惜，但精明人有時最排斥的就是和自己差不多精明的人。乾隆和張廷玉一樣，都是極為世故的玲瓏多竅之人。所以對於張廷玉，乾隆一眼就看出了他身上的「巧」和「滑」。
在清代帝王中，乾隆是對滿漢之分看得很重的一個。在他看來，滿族大臣雖然身上會有種種缺點，但是畢竟「淳樸正直」，與皇帝一心一德，對主子死心塌地。而漢族人則心眼太多，居心巧偽，「習尚澆漓」，他們太會做官，太會做人。凡事都從自己出發考慮問題，總是把個人利益置於君主和國家利益之前，因此讓人不能完全放心。張廷玉就是一個典型代表。
張廷玉的應對進退，表面上淡泊大公，背後卻心機極深。他雖然勤勉盡責，功勞不小，但一舉一動，一言一行，畢竟是出於自身利益最大化的考慮，只不過這種動機被極高的手腕消弭得無形無色而已，因此算不上「純臣」。主動向皇帝請求退休這件事，就再分明不過地說明了這一點。
就像對父親的許多做法都不以為然一樣，對於父親給張廷玉如此高的政治榮譽，乾隆一直有些不舒服。乾隆表面上對父親的每一項遺命都奉之必謹，因此對鄂張二人刻意加以尊重。但是兒子和父親常存在著一種莫名其妙的競爭心