张廷玉在康熙六十一年（1722年）十一月，随着康熙帝的驾崩，迎来了他职业生涯中的一个转折点。新帝胤禛即位，也就是后来的雍正帝。雍正帝深知皇位来之不易，因此格外重视人才的选择与培养。张廷玉因其卓越的才能和深厚的背景成为了雍正帝倚重的对象。
张廷玉在《澄怀主人自订年谱》中提到，雍正帝之所以选择他作为辅佐自己筹划军国大政的主要助手，一方面是因为他学问深厚、气度端凝、应对明晰，显示出非凡的才干；另一方面则是考虑到他是恩师张英之子，这对于雍正帝来说是一个难得的亲近与信任的人选。在康熙帝驾崩后，雍正帝立即命张廷玉兼任学士衔，与翰林院掌院学士阿克敦等人一起处理国家大事的文书工作，包括供奉祭告文字等。
康雍之交，政务繁重，每天需要处理的谕旨多达数十份。张廷玉承担起了这些繁重的工作，常常需要日夜不停地工作。在处理紧急奏事时，雍正帝甚至会让他直接进入大内，口授大意，或者在御前伏地而书，或者隔着帘幕传递文书。张廷玉每次提交的文稿都能够准确无误地反映雍正帝的意思，深得其心。
同年十二月，雍正帝特旨授予张廷玉礼部尚书之职，并特别强调：“朕 再 四 思 维，非 汝 不 克 胜 任”。这意味着张廷玉正式成为朝廷的核心大臣之一。接下来的几年里，张廷玉继续受到重用，雍正元年（1723年）复值南书房，并与朱轼等人一同担任诸皇子的师傅。他还被任命为顺天府乡试的主考官，并被加封太子太保。
雍正六年（1728年），张廷玉被晋升为保和殿大学士，并很快又兼任了吏部尚书的职务。此时，清廷面临着西北边疆蒙古准噶尔部的威胁。由于前线将领的失误，叛军屡屡侵扰边境。面对这样的局面，雍正帝心情焦虑，频繁地指示策略。张廷玉日以继夜地侍奉在内廷，不敢稍有懈怠，有时甚至要等到深夜才能离开。
雍正七年（1729年），军机处正式设立。雍正帝命令张廷玉与怡亲王胤祥、蒋廷锡共同领导这一新的机构。军机处的设立，是为了更好地处理军需事务，避免信息泄露。张廷玉在军机处的设立过程中发挥了重要作用，他规划了军机处的基本运作模式：一般事项使用疏奏的方式，通过通政司上报内阁拟旨；重要事项则使用折奏的方式，直接通过奏事处上报军机处拟旨，最后由皇帝亲自批阅。这种模式保证了信息的保密性和决策的效率。