在魏忠贤专权期间，张瑞图虽然参与其中，但也有维护正义之举。例如，在懿安皇后病重时，魏忠贤试图陷害她的父亲张国纪等戚臣，张瑞图却站出来阻止，使得这些皇亲国戚得以幸免于难。此外，当魏忠贤欲在京师文庙旁建立生祠，并在祠中塑造自己雕像时，张瑞图虽不敢公开反对，却以巧妙的方式劝阻，避免了这一荒谬行径的实施。更有甚者，当方震孺、李承恩、惠世扬等大臣被囚禁于诏狱，面临处决的危险时，张瑞图竭力请求缓刑，最终促使熹宗下令停止执行死刑，挽救了他们的生命。
然而，张瑞图的这些善行并未能完全洗刷他与阉党之间的关联。崇祯帝即位后，开始清算魏忠贤及其党羽，张瑞图虽试图告老还乡，但仍被卷入这场政治风暴中。起初，他并未被列入阉党逆案之中，但随后发生的二月会试事件，彻底改变了局面。张瑞图与施凤来作为考试官，录取了大量与宦官和勋贵有关联的考生，此举激怒了崇祯帝，最终导致二人被定为逆党，张瑞图也因此受到惩罚，被判处赎徒为民。
三、逆案罢归
崇祯二年（1629年）的春天，对于张瑞图来说，是一个命运转折的季节。随着朝廷内部对魏忠贤阉党逆案的清算，张瑞图的名字赫然出现在“钦定逆案”名单之上。三月十九日，崇祯皇帝朱由检以一道谕旨，将张瑞图定为“交结近侍又次等论徒三年输赎为民者”。这意味着，曾经权倾一时的建极殿大学士，如今面临着贬谪与社会地位的急剧下降。
在经历了政治生涯的高潮与低谷之后，张瑞图于崇祯三年（1630年）被正式遣返回故乡晋江青阳 下 行。这一次的罢官 ，不仅仅是官职的丧失，更标志着一段辉煌岁月的终结。然而，对于张瑞图而言，这或许也是一次心灵的回归与自我救赎的开始。
归乡后的张瑞图，没有沉浸在失落与愤懑之中，反而展现出了超脱尘世的淡泊情怀。他携同如夫人贺氏，选择了隐居的生活方式，回到了那片熟悉的土地，享受着田园生活的宁静与自在。在青阳下行的故里，张瑞图仿佛找回了久违的自我，他不再为朝堂上的权谋所累，而是将身心投入到自然的怀抱之中，与山水为伴，与诗文为伍。