但韦世康实在是想退休了，先和儿子们商量：“吾闻功遂身退，古人常道。耳顺之年，志在悬车，汝辈以为云何？”儿子韦福嗣支持他辞官的想法：“大人澡身浴德，名立官成，盈满之诚，先哲所重。欲追踪二疏，伏奉尊命。”一次，在皇帝的酒宴上，韦世康正式提出了辞官的请求：“臣无尺寸之功，位亚台铉。今犬马齿濆，不益明时，恐先朝露，无以塞责。愿乞骸骨，退避贤能。”隋文帝回答道：“朕夙夜庶几，求贤若渴，冀与公共治天下，以致太平。今之所请，深乖本望，纵令筋骨衰谢，犹屈公卧治一隅。”
当时天下共设四处总管，并州总管是汉王杨谅，益州总管是蜀王杨秀，扬州总管是晋王杨广，全是隋文帝杨坚的亲儿子，只有荆州总管，任命了异姓的韦世康。当时人觉的，这是韦世康最大的荣耀。史称韦世康“为政简静，百姓爱悦，合境无讼”，在荆州也干出了成绩。
韦世康在任所病故，隋文帝杨坚非常痛惜，赏赐了很多钱财，并赠官为大将军，谥为文，给了他很高的荣誉。韦世康品德很好，天性孝友，他弟兄几人都做了大官，只有小弟弟韦世约官运不通，他就把父亲留下来的田产宅院，全部给了韦世约，受到世人的称赞。
韦世康在隋朝多次辞官，一方面是性格原因，另一方面是因为他是宇文氏的女婿，与前朝关系密切，担心受到诛杀。他有德有才有政绩，又谦恭求退，低调做人，反而成就了他与隋文帝杨坚完好的君臣关系，世人都爱做官，更爱升官，一有权位就牢牢抓住，宁死不放，韦世康不爱官位的作风，实在是特别难得了。