在抗清战斗中，吕留良也曾身负重伤，左腿中箭，留下了终身的伤痕。据《厉耦耕诗》记载，“箭瘢入骨阴辄痛，舌血溅衣洗更新”，反映了他身体上和心灵上的双重痛苦。
顺治八年（1651年）冬，吕留良的兄长吕愿良在贫病交加中去世。吕留良再次承受了失去亲人的痛苦，并亲自操办了兄长的后事。这一系列的打击使得吕留良对清廷的统治愈发不满，同时也坚定了他不与清朝合作的决心。
顺治十一年（1655年），吕留良与陆文霦合作评选八股文。他们在吴门集市租了一间房子，专门从事评点工作。这次评选的对象是从顺治三年（1646年）开始的五科文章，因此命名为《五科程墨》。通过这一工作，吕留良不仅在学术上有所贡献，更重要的是，他借此机会宣传“华夷之分大于君臣之伦”的观念，强调民族气节的重要性。这一行为对当时的士人学子产生了深远的影响。
三、清接儒士
顺治十六年以后，吕留良的人生轨迹发生了一系列重要的变化。他开始广泛结交当时的知名学者和隐士，其中包括浙东着名的黄宗羲、黄宗炎兄弟以及宁波的隐士高斗魁。吕留良对砚台有着特殊的爱好，曾自述收藏了不下二三十枚砚台。黄宗羲得知此爱好后，特意赠送给他一方八角砚，两人因此建立了深厚的友谊。
吕留良的儿子吕葆中也在这段时间跟随黄宗羲学习。为了专心学问，吕留良的二哥吕茂良认为留良对外事务过多，影响了学业，便将他留在崇德西门内的祖居友芳园之梅花阁，教授子侄辈读书。康熙二年（1663年），黄宗羲受邀来到梅花阁授课，与吕留良等人在园内的水生草堂相聚，进行诗文唱和。此外，吕留良还与吴之振、吴自牧等人共同编选了《宋诗钞》九十四卷，并为其中八十余位宋代诗人撰写了小传。
然而，到了康熙五年（1665年），吕留良在面对浙江学使对生员的考核时，选择了拒绝应试，结果被革除了诸生的身份。这一举动虽然震惊了当时的社会，但吕留良本人对此却感到十分坦然。随后，他退隐到崇德城郊的南阳村东庄（今属桐乡县留良乡），开设了自己的刻书局“天盖楼”，继续选刻时文出售，并且提囊行医，以此来隐匿自己的真实身份。
在隐居期间，吕留良并没有放弃学术追求。他与张履祥、何商隐、张佩葱等人一同研究程朱理学，并创立了南阳讲学堂，设馆授徒。尽管他的身影逐渐远离公众视野，但名声反而越来越高。在康熙八年（1668年），他还邀请了理学大儒张履祥前来东庄讲学，共同致力于发扬洛闽之学。