他与从侄桓伯温同在扬子座下求学。
桓荣在同窗中极少言语。
桓伯温却聪明颖悟，扬子讲学，同窗有什么没能领悟的，多是桓伯温来解答，而且从无错讹。
就连扬子也赞扬桓伯温聪颖练达，可谓“闻一知十”。
于是当时的同窗们暗地里把桓荣、桓伯温叔侄两个称为“二桓”，还有一个顺口溜——老桓无言，小桓来还。
桓荣寡言少语，但只要扬子开讲，他必然去到最近的地方坐下，如果扬子有什么事情需要学生帮忙处理，也必然是桓荣第一个站起来去做。
大家只以为桓荣尊师重道，但不及桓伯温聪明，不如后者更能将扬子学问发扬光大。
直到有一日，扬子应邀访友而去，不在檀德台。
却有元州道名士王充，恰巧前来，要寻扬子辩论道理。
王充上山之后言辞很不客气，直言《太玄》融合五行，导致“乖谬甚多”。
檀德台上的众多蓬莱学子当然不服气，于是纷纷下场，与王充辩论。
结果几句话功夫，大部分人就都无法再回答王充的诘难。
不得已，学子中公认的太玄十五子，纷纷应战。
奈何结果没有任何区别。
到了最后，太玄十五子中仅剩寡言少语的桓荣不曾开口。
檀德台上众学子都已经认为己方输定了。
却不想，桓荣从那距离扬子最近的位置上，转回了身来。
他原本一直是面朝古檀树，扬子讲学的位置。
转过身，面朝登山小径，乃是第一次。
桓荣对自认为除了扬子，蓬莱道洲再无“真学士”的王充说道：“子博学缜思，经论绝伦，然吾得子矣。今以师道尊严，卫道之辩，不得不耳，固有不敬，非子之理有所屈，唯吾学于吾师，又学于子。”
意思就是先生你学问很厉害，语言逻辑很严密，但是我已经学会了你的学问和优点，现在我为了保卫我的老师和大道，必须与你辩论，你失败了的话，不是你的道理不对，而是我既学了我的老师的学问，也学了你的。
桓荣宣称，他只是旁听王充与自己同窗的辩论，就把王充的学问给学到了，而且还要凭之战胜王充。
当时没有任何人敢相信。
这是那个“全靠勤奋，但不够聪明”的桓荣能做到的事情吗？
结果，桓荣与王充辩论，一直从中午到日落。