韦贯之被授同中书门下平章事，为实质宰相，迁中书侍郎。当朝廷军队正和控制彰义的军阀吴元济交锋时，负责战事的韦贯之同僚宰相武元衡被暗杀。当时，杀害武元衡的刺客被认为是吴元济盟友成德节度使王承宗所派。宪宗同时对王承宗宣战，韦贯之反对，认为同时进行两场战事会带来另一波类似，导致德宗被迫逃离京城的朱泚之乱的叛乱，不如先平定吴元济再对付王承宗，但宪宗不听。
后来，宪宗虽然很认可韦贯之的说法，但诏书已下，朝廷以宣武节度使韩弘为都统，又命河阳节度使乌重胤、忠武节度使李光颜合兵而进。韦贯之认为不应该设置统督，这会让将领持重，但未被听取，四年后吴元济才依韦贯之之策被平定，王承宗果然如韦贯之所料臣服。不久，迁中书侍郎，同僚推荐张仲素、段文昌为学士，韦贯之认为他们行止不正，不宜在内庭，拒绝了。
当时，左补阙张宿有口辩，得宠于宪宗，宪宗命他出使平卢节度使李师道，宰相裴度想为他请求越级的银绯章服，韦贯之拒绝，认为张宿奸佞，因此被张宿怨恨。韦贯之性格高傲，不和他认为出身低的人交往，和裴度在御前论兵时，他也惹怒了宪宗。张宿弹劾他结党，被罢相为吏部侍郎。翰林学士、左拾遗郭求为他申辩，结果被罢免学士，韦贯之又被贬出京城为湖南观察使。弟弟虢州刺史韦??也被贬，韦顗、李正辞、薛公干、李宣、韦处厚、崔韶都因和韦贯之相善被贬出京城为州刺史。韦顗、李正辞、韦处厚都是清正之人，却因此被贬，朝内外开始大恨张宿。
韦贯之任湖南观察使后，一次因作战，国库不足，宪宗命盐铁副使程异出使诸道督课财赋，程异每到一个方镇，都说服当地官员额外收税并上缴。韦贯之却说不忍给百姓加赋，上缴的数额不满足程异的要求，便上缴镇里所有的收入，因而被罢为太子詹事，在东都洛阳就职。唐宪宗崩，李恒继位，即唐穆宗，穆宗任韦贯之为河南尹，召拜工部尚书。韦贯之还未及离开洛阳就去世了，诏赠尚书右仆射，谥号为贞，后改谥为文。