据潜江旧志载，黎淳状元公这么一带头，四方的文人学士们便相继赓和，以致辑成了花封堤诗歌一集，可惜未能流传下来。
黎淳来到潜江，在一年后他为泽口的观音阁，改名为新洲寺，但黎淳不仅仅只是为观音阁更了个新洲寺名，而且还给新改的新洲寺题了诗：“邱阜俄生百丈渊，果曾沧海变桑田。沙填鳌极中藏寺，地琐龙宫下有天。琴剑万千余里客，帆樯七十二湾船。江灵识我题诗意，岸草汀花散满前。”自从有了黎状元的题诗后，新洲寺便知名于江汉平原，知名于汉江中下游，甚至使得清光绪年间编纂的潜江县志，把它列为全县66座寺庙之首，加以记载并阐释它的演变。此三首诗之外，黎淳状元还为潜江的莲华寺、大佛寺也写了诗，和封建时代的许许多多文人雅士一样，黎淳也是一个对道观佛寺极怀感情的人。
黎淳任吏部左侍郎时，量才选官，不徇私情，受请托，虽至爱亲朋，从不假以辞色，对于卖官鬻、徇私用人事件，他深恶痛绝，吏部一时弊绝风清。在南京任工部尚书时，有华容人任江苏华亭县令，将当地特产云布一裹送黎淳，黎淳并不开拆包裹，即挥笔在封裹上写道：“昔之县令，栽桑种麻，今之县令，锦上添花。”原封退回。华容人谢文献任江苏宜兴县令，犯受贿罪，被拘捕追脏甚急，托黎淳出面求情，黎义正辞严道：“县令受贿，正该追赃问罪，我岂可为贪官求免？”决然予以拒绝。
在左庶子任内，曾一度担任顺天甲午科主考，考完第一场，他看一份优秀试卷，拟选为第一，后看到这位应考试者的二场、三场试卷，竟与第一场大不相称，经严格追查，原来是誊卷人舞弊换了他人的试卷。黎淳当即严办当事人，杜绝考场弊端，榜出，原来那份优秀试卷是名士马中锡的，幸得黎淳刚正，才未被他人侵没。
黎淳治家严谨，作大官30余年，从不为子孙谋求地位和产业，儿子民安在外塾读书时，某县吏送一把福建产的珍贵扇子，黎淳查知，竟叫该县吏自来领走扇子。明朝着名宰相杨廷和、杨一清都是其学生，并深受其影响。