后来，元载贪财冒犯的行为愈加严重，天下人都对杨绾评论称赞，代宗非常清楚这些，考虑到元载在枢衡任职已久，没有马上将其罢免，仍将杨绾升为太常卿、礼仪使，借助他来振兴废弃已久的郊庙之礼，也借此机会观察其办事成效。代宗定计逮捕元载，将其诛杀，任命杨绾为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。杨绾多次表示恳请让位，代宗坚决不许，他于是不敢再辞。
杨绾，德高望重，且质朴忠贞、车服俭朴，素以品德举止着称，任命他为相的诏令公布后，朝野之人相互祝贺，朝中权贵移风易俗的例子有许多：御史中丞崔宽是剑南西川节度使崔宁的弟弟，家境富有，在长安之南建有别墅，其中的池馆台榭，在当时被称为第一，崔宽得知杨绾拜相后，在当天就暗中派人将其拆毁；中书令郭子仪驻守邠州，他正在宴请宾客时听说杨绾为相，便将在座助兴的声乐队减去五分之四；京兆尹黎干受代宗宠信，每次出入车马有一百多辆，但也在杨绾拜相当日减少车马，只留十匹而已。除此之外，其余闻风而动、将奢变俭的人不可胜数。
杨绾又与常衮向代宗举荐被贬的湖州刺史颜真卿，代宗当即颜真卿入京担任刑部尚书，二人还向代宗举荐淮南判官关播，使其被召为都官员外郎。杨绾在相位不到数月，便为人心所归，拜相不久后便中风，代宗优诏令他在中书省休养，代宗每次在延英殿引见杨绾时，都特许由人扶入。代宗内心看重杨绾，一心任用他，对他非常礼遇宠爱。
当时改革朝政的弊病，全都由杨绾决断，他多次上奏请求辞位，代宗多次下诏回绝，等到杨绾病重时，代宗每天派遣宦官前往询问病情，并命御医在其身旁时刻守候，每次听说他的病有起色，代宗便喜形于色。
杨绾病逝，享年六十岁，前来探望的宦官急驰回宫奏报，代宗闻讯后，惊愕悲悼许久，为他辍朝三日，并下诏追赠杨绾司徒。代宗又命文武百官前往杨绾的宅第，与朝廷特派的内常侍吴承倩会同吊唁他，并赐其家绢千匹、布八百端。代宗对杨绾的猝逝非常惋惜，对朝臣们说：“上天不让朕致力于太平，为什么将朕的杨绾夺走这样快。装殓之时，朕与众卿悲痛哀悼之情正同啊。”宰相死后受到如此恩遇，长久以来少有人能与杨绾相比。
太常最初为杨绾拟定的谥号为“文贞”，但宰相常衮平素便忌恨杨绾得到代宗宠任，至此时更唆使比部郎中苏端上疏大肆诋毁杨绾，代宗发怒，将苏端贬为广州员外司马，仍谥杨绾为“文简”，下葬长安少陵南岗。