来瑱受征召入朝，担任殿中监，朝廷调来瑱前往河西，出任凉州刺史、河南节度经略副大使。来瑱还没上路，唐军在相州战败，于是朝廷下诏改任来瑱为代理陕州刺史，陕、虢、华等州节度使，兼任潼关防御、团练、镇守使。
襄州将领张维瑾、曹玠率众作乱，杀死襄州刺史史翙，朝廷调来瑱任襄州刺史，兼任御史大夫，山南东道十州节度、观察、处置使，来瑱到达襄州后，张维瑾等人投降。在鲁山打败叛军史思明余部，俘虏叛军首领，接着在汝州作战，缴获马、牛、骆驼，两次战斗，共杀死叛军上万名士兵。
唐肃宗命令来瑱前来京师，来瑱乐意待在襄州，其部下也乐意受他管制，来瑱暗示部将官吏上表请求唐肃宗让他留在襄阳，当他到达邓州时，唐肃宗令他回到镇所。后来唐肃宗得知来瑱的花招后，非常厌恶他，荆南节度使吕諲、淮西节度使王仲昇等人都说：“来瑱千方百计收买人心，不能留任，”唐肃宗便改任来瑱为邓州刺史，山南东道六州节度使。
不久，王仲昇和叛军在申州作战，兵败遭擒，王仲昇遭围数月，吕諲在江陵生病，当时来瑱身在襄州，非常怨愤王仲昇，于是按兵不救。到来瑱率军出发时，王仲昇已遭叛军俘虏，来瑱的行军司马裴奰谋图夺取来瑱的位置，多次秘密上表唐肃宗，说来瑱有勇有谋，恐怕日后难以节制，如果现在马上动手，可以一举将他擒获，请求让他率军袭取襄阳，唐肃宗认为这个建议很正确。肃宗调任来瑱为检校户部尚书，兼任御史大夫、安州刺史，淮西、河南十五州节度、观察使，表面上表示对他宠幸重用，实际上是想要除掉他，同时肃宗秘密下令任命裴奰担任襄阳、邓州等州防御使以取代来瑱。