雍正十三年八月，弥留之际的雍正帝，没有忘记安排他的老臣，在他的遗诏中嘱咐了让鄂尔泰和张廷玉配享太庙，这让嗜名如命的张廷玉视为了光宗耀祖的殊荣，因为大清朝能享受此待遇的汉臣就他一人，连清初那位被皇太极宠幸的范文程也没有此等荣誉。

　　但是，遭逢也要看时运，张廷玉虽然被雍正所宠，却不为乾隆所爱。在乾隆的眼里，张廷玉就是先皇雍正的秘书，仅仅是代为书写谕旨，无非就是文墨好一点。他把张廷玉鄙视成了一件供人观赏的玩物。

　　乾隆即位之初，张廷玉已经是接近七十岁的老人了，看在三朝老臣的份上，乾隆准许他在紫禁城骑马，又允许不上早朝。乾隆这么做一方面是出自对老臣的关照，但另一方面，却不无排斥之意，从而在军机处形成了讷亲独自面承圣旨的局面。

　　张廷玉历经宦海沉浮，见惯了官场的倾轧，对于君臣之间关系出现的变化，不会没有感受。只是他一向立身严谨，信奉“万言万当，不如一默”的原则，绝不会因此而面露一丝不满，更不会去追究其中的缘由。

　　乾隆十三年，张廷玉上疏乞求告老还乡，按常理张廷玉此时已是八旬老臣，请求荣归故里，这本是人之常情，但是在乾隆的眼里，却认为有不肯尽忠之嫌，他认为作为臣子，应鞠躬尽瘁死而后已。他对张廷玉说：“卿受两朝厚恩，且奉皇考遗命，将来配享太庙。岂有从祀元臣，归田终老之理?”