黄庄的人把门前这条溪称为黄溪。当年，柳宗元被贬永州，做《永州八记》后，唐宪宗元和八年（813年），时逢大旱，作者随同永州刺史韦中丞前往黄神祠求雨。见黄溪两岩怪石林立，溪水积潭，潭中有鱼，溪中大石杂列，水鸣皆铿然。于是作《游黄溪记》，后人也把《游黄溪记》与《永州八记》合称为《永州九记》。
关于黄神祠的历史，柳宗元《游黄溪记》中原文翻译后大致是：黄神姓王，是汉末王莽的同宗。”王莽死后，王神改姓黄，逃到这里，选择这个险峻的山沟隐居下来。
起初王莽曾经说过：“我本是黄帝与虞舜的后裔啊！”所以把曾是汉平帝皇后的自己的女儿封作黄皇室主。黄与王语音相近，而且又有（王莽自谓黄帝后裔的事实作为）根据，所以传言的人愈发相信其真实性。黄神定居这里以后，百姓认为他能给黄溪居民以太平，都安心地居庄下来。黄神死后，百姓不仅祭祀他，还为他修建祠堂。
据《永州府志》载：“黄溪东屯之上，两山对峙，怪石林立，为黄神山。山中泉壑为异，林木幽茜，猿鹤吟啸之声，时出空谷；山上有祠祀黄神。”
黄伦家就住在这个具有传奇色彩且风景秀丽的村庄里。
正如柳宗元《游黄溪记》里所讲：“环永之治百里，北至于浯溪，西至于湘之源，南至于泷泉，东至于东屯，其间名山水而村者，以百数，黄溪最善。”
在这个几乎与世隔绝，大山脚下的小山村，不但景色最善，其人心也是最为善良和淳朴。