然而，好景不长。雍正四年（1726年），杨名时在一次题本中不慎将皇帝的密旨泄露，这一失误导致他遭到弹劾。尽管皇帝对其仍有信任，仅革去了他的总督之职，但仍保留了他的巡抚职位。然而，这次事件无疑给他的政治生涯蒙上了一层阴影。
紧接着，在雍正五年（1727年），新任布政使李卫上书指控杨名时在任期间存在纵容下属、职务失职等严重问题。李卫的指控得到了朝廷的认可，杨名时因此被彻底罢免了所有官职，并被迫留在云南接受进一步调查。这次打击对杨名时来说无疑是沉重的，不仅使他失去了所有的政治权力，还使他面临着名誉受损的风险。
尽管如此，杨名时并没有因此消沉。相反，他选择将这段时间视为一个全新的开始，专注于学术研究和个人修养。在昆明居住期间，他远离了政治纷争，全身心地投入到理学的研究之中。杨名时深研《周易》，撰写了《易义随记》，对《周易》进行了独到的解读；同时，他还完成了《诗义记讲》，对《诗经》进行了细致的注释。
四、晚年的荣耀与逝世
乾隆即位后，鉴于杨名时的忠诚与学识，特别召他入京，并授予礼部尚书兼国子监祭酒的重要职位。在生命的最后阶段，他依然关心国家事务，直至乾隆二年（1737年）病逝于北京。
杨名时一生致力于改革与发展，尽管经历了政治上的起伏，但他始终坚守自己的信念，为清朝的发展作出了不可磨灭的贡献。