李豫对杨绾，也更加欣赏。
因为元载久在枢衡，又掌管皇家禁军六军，权利熏天，李豫未敢立即罢遣他，仍迁杨绾为太常卿，充礼仪使。
因为郊庙之礼久废，李豫希望借助杨绾的名望，重新将朝廷礼仪振作起来。
大历十二年（公元777年）三月，元载覆灭伏诛。李豫乃拜杨绾，为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。
李豫的命令下达之后，大臣官员们纷纷在朝堂向杨绾表示祝贺。杨绾坚决推让宰相要职，李豫不允许。
杨绾平素患有不治之症，居宰相职旬日，杨绾就中风生病。皇帝下诏书，让杨绾到中书省治疗，每到延英殿开会议政，准许有人搀扶着杨绾。
但是没有多久，杨绾就去世了。
李豫十分震惊惋惜，当日就下诏，追封杨绾为司徒，并派使者到杨府悼唁，想赶在没有殓葬之前，册封杨绾。
李豫还命令文武百官，到杨府吊唁哀悼，自己还专门派使者，到杨家进行吊唁，赠送杨家绢千匹，布三百匹，命令太常给杨绾制定谥号为“文贞”。
比部郎中苏端，是个奸佞小人，对皇帝命令太常给予杨绾谥号为“文贞”的恩宠，很有些异议。
宰相常衮也嫉恨杨绾的清廉正直，才干卓越，暗中为比部郎中苏端帮忙，鼓动协助苏端，去中伤杨绾。
