同时，凌逸尘凭借自己在商界和之前改革中积累的威望，以及那颗诚挚的求贤之心，四处奔波，拜访各位学者名士。终于，他成功邀请到了朱熹学派的几位德高望重的学者，这些学者听闻他的改革志向和诚意后，深受感动，欣然应允出山讲学。此外，还有一些在野但学识渊博、才华横溢的贤能之士，也被凌逸尘的执着所打动，纷纷加入到书院的师资队伍中来。
为了让更多有志于学却家境贫寒的子弟有机会接受教育，凌逸尘还设立了一项丰厚的奖学金制度。这个消息一经传出，便在民间引起了轰动，许多贫苦人家的孩子看到了希望的曙光，纷纷报名参加书院的入学选拔。
然而，凌逸尘的这一番大刀阔斧的举动，却如同在平静的湖面投下了一块巨石，激起了千层浪，触动了以贾似道的亲信林德裕为首的保守文人的利益。林德裕此人，心胸狭隘，阴险狡诈，一心依附贾似道，妄图通过讨好权贵来谋取个人私利。眼见凌逸尘在文化教育领域干得风生水起，他心中嫉妒之火熊熊燃烧，怨恨之意如毒蛇般缠绕心间。
在贾似道的暗中支持与授意下，林德裕迅速联合了部分迂腐顽固、因循守旧的文人。他们狼狈为奸，在临安城的大街小巷散布各种恶意谣言，污蔑凌逸尘道：“此人不过是一个满身铜臭的商贾，怎懂得我等文人的学术规矩？他如今这般大张旗鼓地涉足教育领域，无非是想借此机会抬高自己的名声，满足他那贪婪的虚荣心，其心可诛！他这般行径，定会扰乱我大宋的学术正统，使我朝文化陷入万劫不复之地！”他们还四处煽动一些不明真相、容易被人蛊惑的文人墨客，对凌逸尘进行言辞激烈的攻击，一时间，临安城的舆论一片哗然，对凌逸尘极为不利。
凌逸尘听闻这些谣言后，只是微微皱了皱眉头，随后便淡然一笑，并未过多地在意这些无端的诋毁和污蔑。他心中明白，改革之路从来都不会一帆风顺，必然会遭遇各种艰难险阻和流言蜚语。若要真正改变南宋文化教育的落后现状，就必须坚定不移地朝着既定目标走下去，绝不能被这些小人的行径所干扰。