卢绾怀疑张胜勾结匈奴谋反，于是上书刘邦，请求族灭张胜，张胜从匈奴返回，详细向卢绾解释了他为什么要那样做的理由。卢绾醒悟，对刘邦假称是他人谋反，为张胜的家属开脱，使得张胜能够安心做他和匈奴之间的线人。卢绾又派范齐出使陈豨，劝他逃亡，让他在外部带兵形成与燕地连年冲突的形势，好让各自相安。
但此事却被陈豨的降将告诉了刘邦，刘邦派使臣召卢绾，卢绾称病不去。刘邦又派辟阳侯审食其，御史大夫赵尧召卢绾，并借机调查他的下人，卢绾愈加恐惧，闭门谢客。他对他宠信的臣下说：“现在不是刘姓而称王的，只有我和长沙王吴芮了。去年春天朝廷族灭了淮阴侯韩信，夏天又诛杀了彭越，都出自吕后的计谋，现在皇上生病，政事都由吕后来决断，吕后专门想要找借口诛杀异姓诸侯王和大功臣。”于是称病不往，他的手下都逃跑躲藏起来。但这段话终究被泄露到审食其耳中，审食其回来后，详细向刘邦做了禀报，刘邦更加生气。
刘邦又从匈奴投降的人那里，听到了张胜在匈奴为燕使者的消息，于是说道：“卢绾果然造反了。”刘邦以樊哙为将军，率军击燕，后又改以周勃代之。刘邦下诏说：“燕王绾和我是老交情，我关爱他就像关爱我自己的孩子，听人说他和陈豨私下谋反，我以为不会有，所以派人去迎接他，但卢绾称病不来，谋反的态度就很明显了。燕国的官员和民众并没有罪，赏赐官员六百石以上的爵位各一级，和卢绾一起的，叛离然后回归的人，也赦免他们，加爵一级。”
卢绾知道刘邦还是顾念旧情，于是他带着家属、宫人、亲信等数千人马，在长城下等候，希望刘邦病愈之后，亲自入长安谢罪。然而刘邦驾崩，卢绾只能带领部众逃亡到匈奴，匈奴封他为东胡卢王。此后，卢绾被蛮夷侵占抢掠，常常想着回归汉家，寄居北方一年多以后，死于胡人之地。