宪宗命李秉以左都御史衔提督军务，与武靖伯赵辅率军兵征讨建州女真部。明军分左右哨五道各万骑从抚顺关出塞，明军攻至建州，大获全胜，共擒九十九人，斩五百三十六人。朝鲜也遣中枢府知事康纯率万人协助明军作战，擒二十余人，斩三百余人，战后，宪宗赐以麒麟服，加衔太子太保。
吏部尚书出缺，宪宗亲自提名李秉继任，李秉早就痛感天下变乱，实出于仕途不清，贪官横行，因此锐意澄清吏治。慈懿太后钱氏去世，宪宗生母周太后不愿钱太后与英宗合葬裕陵，阁臣彭时、商辂等力劝宪宗允许合葬一事。随后，李秉与礼部尚书姚夔等九十九位廷臣也表示同意，宪宗仍担心违背周太后的意志，此后更发出为钱太后另择葬地的谕旨，姚夔等两百余名朝臣一起伏在文华门哭请，宪宗下令群臣止哭退去，群臣叩头拒命，声言：“不得钱太后合葬旨意，绝不敢退下。”自巳时跪至申时，宪宗与周太后无可奈何，这才同意合葬一事。
朝廷原有八千余名监生等候选任，李秉分别对他们进行了严格考核，罢黜庸劣不肖者数百人，适逢朝觐考察官吏时，李秉又打破情面，降罢多人。这些人中多有执政要员的乡党门生。李秉因此得罪了不少人，朝中出现一股倒李的暗潮，吏部侍郎崔恭年资较深，升任吏部尚书的呼声很高，李秉越过他做了尚书，他因此对李秉心怀不满。吏部右侍郎尹旻原来很受李秉信任，后来李秉发现此人心术不正，逐渐疏远了他，尹旻对李秉也有怨恨。他们二人与反李势力结合起来，上疏弹劾李秉，说他专擅不法，揽权结党，列了十二大罪状，宪宗召集廷臣会议，崔、尹等人皆攻击李秉徇私变法，宪宗于是削去李秉太子太保之衔，令他以吏部尚书之职致仕。
当李秉被劾时，朝内风言风语，说李秉要下狱了，李秉深知此次凶险莫测，但他并不为自己辩解，只是听候宪宗发落。当时，天下举人正于京师会试，听说李秉被奸人弹劾，都十分气愤，他们说：“李公天下正人，谁人不知？如果朝廷逮捕李公，我们愿罢试以赎李公之罪！”宪宗在这种情况下，只是薄责了李秉，李秉乘柴车出都门，朝士相率往送，十余里不绝。
李秉为官三十余年，廉洁自持，风节自励，秉忠为国，赤胆忠心，与当时名臣王竑并孚天下重望，罢官家居二十年，朝野连疏累荐，皆不被起用。李秉逝世，享年八十二岁，朝廷闻讯后，追赠太子太保，按例赐祭葬，并录其孙李邦彦为中书舍人、习字出身，后追赐谥号为“襄敏”。