一年后，陈有年把刚刚坐上的尚书职位给辞了，他的辞官仅是为了给后来成为“东林八君子”之首的顾宪成打抱不平。首辅王锡爵年老引退，神宗命吏部根据官员品望推选阁臣，陈有年与侍郎赵参鲁、文选司郎中顾宪成合拟了七人名单上报给神宗亲裁。不料，吏部所提名的人，大多是神宗所讨厌的，尤其是曾因“争国本”去职的王家屏及致仕吏部尚书孙鑨、左都御史孙丕扬三人，神宗认为孙鑨、孙丕扬不是翰林出身，入阁不合先例。遂训斥吏部有“徇私”做法，并在吏部的奏疏上朱批了“司官降杂职”五字，就把文选司郎中顾宪成的职务革掉了。
朝中有不少官员上疏恳请皇帝恢复顾宪成的职务，不料神宗却一意孤行，将这些官员分别外放、降调、削职，顾宪成则以“忤旨罪”削职为民。陈有年认为顾宪成孜于国事，不应获罪，即使吏部有所不当，责任也应当由他来承担，他上疏道：内阁大臣由朝廷推举，源于旧制，臣的家乡以前就有二位阁臣，弘治时的谢迁与嘉靖时的吕本，都是朝廷推举的，入阁前官衔也止于四品，此事并不是吏部今日所创，再说不拘资格品级，是出于皇上的圣谕，吏部怎敢不遵奉呢？随后陈有年称疾乞归，请求皇帝在自己卸职后，能起用顾宪成一类忠贤的官员。万历帝看到奏疏后，下谕旨再三挽留，并赐给食物、羊酒等，但陈有年归心已决，他在吏部杜门不出，数月中上请辞疏十四道，万历帝只好准予他告老还乡。《明史》“陈有年传”记载了陈有年辞官时仅随带“书一箧、衣一笥”，回乡后“身栖僧舍”等事，不禁令人称奇，整天敝冠汗衣，若不了解他的人，断然不会知道这就是曾经名振京城的尚书爷。
在云楼乡大江口坝上运河十八里，老弱的陈有年亲自督工，这里正在营建的是姚江运河大闸，这是由陈有年与同里周思宸等人出资创建的，当时仅运河坝基的椿石就打了半年，共耗铜钱百二十千缗，数年后，坝闸俱成。坝以过船，闸以蓄水，上保运河，下卫潮路。《光绪余姚县志》还记载：在云楼新坝之南，曾有“姚江西界第一桥”，为陈克宅初建，陈有年出资重修。从这些资料来看，我们就不难明白陈有年官俸的去处了，他毕竟是个官界的奇人。
陈有年卒，赠太子太保，谥恭介，留有《陈恭介公文集》。据《乾隆余姚县志》引《万历县志丛谈》记载：万历二十六年正月既望，在陈有年寝屋旁居住的一位堂倌，在半夜三更时，听到车马杂沓声，他起身从门缝向外偷窥，只见笼火隐隐，不下数十人马从骢马桥而来，上下桥址间呼声甚澈，到了鸡鸣前，又有车马声往返杂沓如初，堂倌不知是何路官人深夜过访，第二天早上走问乡邻，乡邻都说没有此事，后再打听，才知老尚书陈有年去世了。