张嘉贞随唐玄宗巡幸洛阳，洛阳主簿王钧为求取御史之职，在洛阳给张嘉贞修建住宅，结果事情败露。唐玄宗大怒，命人杖毙王钧，张嘉贞为求灭口，私下催促行刑者加速行刑，又将罪责推给御史大夫韦抗、中丞韦虚心，使得韦抗二人遭到贬黜。
后来，秘书监姜皎获罪，张嘉贞怂恿唐玄宗施以廷杖，致使姜皎伤重而死。不久，广州都督裴伷先因罪下狱，张嘉贞请求施以廷杖，张说反对道：“士可杀不可辱。此前姜皎犯罪，如果该杀，那就公开处死，不应让他当庭受辱。姜皎之事，已无可挽回。现在对待裴伷先，不能再犯错误。”唐玄宗采纳了张说的意见，张嘉贞很不高兴，私下指责张说道：“你话说的太重了。”张说道：“谁也不能当一辈子宰相，我们开了贵臣受杖的先例，难保将来也有受辱之时。”
张嘉贞与张说的矛盾由来已久。起初，张说担任兵部侍郎，位居员外郎张嘉贞之上，张嘉贞拜相后，超越张说，并对他毫不谦让，张说对此心中不满。张嘉佑贪赃事发，张说趁机劝说张嘉贞，让他素服待罪，唐玄宗贬张嘉贞为豳州刺史，命张说接任中书令，张嘉贞这才知道上了张说的当，为此非常后悔。
张嘉贞升任检校户部尚书、益州长史，并代理都督之职。不久，唐玄宗在中书省设宴，命张嘉贞与宰相一同预宴，张嘉贞对张说痛恨不已，在席间谩骂不止，源乾曜与王晙极力排解，这才将张嘉贞劝走。唐玄宗赐死宠臣王守一，张嘉贞因与王守一交情深厚，也被贬为台州刺史。不久，张嘉贞又担任检校工部尚书、定州刺史，掌管北平军事，封河东侯。张嘉贞赴任时，唐玄宗亲自赋诗勉励，并命百官到上东门外饯行。
张嘉贞患病，返回洛阳就医，回到洛阳后，他已双目失明，病情加重，唐玄宗特派御医前往诊治，病逝时终年六十四岁，追赠益州大都督，赐谥恭肃。