徐阶奉行的也是食不言寝不语的准则，张居正食不甘味的吃完了这顿饭，和徐阶来到书房，下人送上茶后，就只剩下徐阶和张居正师徒两人，徐阶这才说道：“叔大，每逢大事有静气，今日为何如此惊慌？”
张居正说道：“老师不知道吗？今日北镇抚司已经对仲芳用刑了，北镇抚司的刑罚老师也是知道的，仲芳一介书生，怎么抵挡的住这些鹰犬爪牙的酷刑啊！况且老师不知道吗？”
徐阶笑着问道：“老夫不知道什么？”
张居正斟酌了一下词句，才小心的说道：“老师不知道外间怎么说吗？”
徐阶说道：“外间之说，老夫从不在意，他们若是说些什么，老夫就动摇，怎么能成事？”
看着张居正焦急的神情，徐阶不由得想到自己当年，嘉靖九年（1530年），在讨论文庙祀典时，内阁首辅张璁主张文庙中将孔子像改为木制神主、将“大成至圣文宣王”封号改为先贤先儒等。嘉靖将其疏下发群臣讨论，徐阶读后颇为不满，于十月二十九日上疏力陈孔子之号不必去者三，不可去者五，反对张璁之说，主张沿用旧制。十一月一日上朝，张璁召徐阶于朝房斥责，徐阶乃正色力辩。
据说当时嘉靖还亲笔写下徐阶小人，永不叙用，将徐阶贬到福建南平府做推官。后来徐阶还是依靠自己的政绩和朝中大员的提携，一步步从吏部右侍郎、吏部左侍郎、翰林院掌院学士、礼部尚书而入阁。
一路上徐阶遭受了多少白眼和旁人的风言风语，光是嘉靖多次对徐阶表达的不信任，就足以终结徐阶的仕途了。
嘉靖二十八年（1549年）二月，徐阶被擢为礼部尚书，仍兼掌翰林院。徐阶刚上任，就赶上太子朱载壡行冠礼及夭折。四月，徐阶请求建储，世宗对此不满，将其疏留中不发。九月，吏部尚书之职空缺，廷推徐阶出任，遭到世宗呵斥。
要是旁人，被皇帝这样明确表达不信任，恐怕早就心灰意冷，辞官归故里了。但是徐阶并没有放弃，凭借自己办事勤快，而且徐阶所撰青词（斋词）让嘉靖满意，不仅成功在礼部尚书任上入阁，甚至重新赢得嘉靖的信任，命徐阶入直西苑无逸殿，赐饭食及飞鱼服，侍奉自己左右。