李希烈被部将陈仙奇毒死，朝廷论功，授刘玄佐的一个儿子为正员官。刘玄佐与陈许节度使曲环、鄂岳观察使卢玄卿一同入朝觐见，被加封为泾原四镇北庭等道兵马副元帅、检校司徒，增实封食邑八百户。
大将李晟与左仆射张延赏交恶，张延赏中伤李晟意图不轨，李晟受诬后请求辞位，德宗于是命刘玄佐与镇海军节度使韩滉从中劝和，使二人暂时和好。韩滉举荐让刘玄佐领兵收复河湟地区，德宗以此征求刘玄佐的意见，刘玄佐也表示赞成。韩滉去世后，刘玄佐因已经升任宰相的张延赏，免除了李晟的兵权，而愤怨不平、心灰意冷，不愿为朝廷效力，便推辞收复河湟事宜。
刘玄佐起于市井，深知人情世故，性情豪侈，轻财重义，经常厚赏军士，他加重税赋，使百姓益加困苦。宣武军的士兵从李忠臣开始就逐渐骄纵，有割据之心，至刘玄佐在位后期，士卒愈加骄横，为日后的多次兵变埋下祸根。
刘玄佐在任上逝世，时年五十八岁，手下将佐密不发丧，数日后朝廷方知，德宗为其辍朝三日，追赠太傅，谥号“壮武”，其子刘士宁继任。