毕竟，作为匈奴君主，无论他在书信中如何卑微，那都是外交手段的一种，但若是在自己的属下面前，对汉朝使者也表现的太过怯懦或卑微，无疑会极大损害单于的权威，对于刚刚即位不久的他来说，恐怕也就无法治理国家了。在他看来，汉朝既然已经决定修好，总不能因为自己的态度问题，就发兵来进攻自己吧。
不过，且鞮侯单于也担心苏武等人翻脸，因此除了态度傲慢之外，始终不敢有太过出格之举，毕竟他也不想与汉朝就此撕破脸皮。
正因如此，在苏武等人完成出使任务之后，且鞮侯单于又对汉朝使团予以了挽留，派人带着苏武等人各处游览，直到一个多月后，才决定派人送汉使踏上返程。
然而，一场叛乱的爆发，却让苏武返回汉朝成为了奢望。
此前汉匈交恶，匈奴扣押了不少汉朝使者，然而有些使者却就此投靠了匈奴，卫律便是其中一个。
卫律的父亲本是胡人，后内迁到长水居住，自幼在汉朝长大的卫律，已经基本与汉人无异。卫律早年与李延年关系密切，在李夫人受宠于后宫，李氏外戚逐渐崛起于外朝后，卫律这才在时任协律都尉李延年的举荐下，捞到了出使匈奴的机会。
太初年间，由于李夫人早卒，再加上李广利第一次攻打大宛战败，李氏外戚逐渐失宠。太初四年（前101年），由于李延年的弟弟李季“奸”乱后宫，汉武帝盛怒之下，下诏诛灭李延年和李季兄弟宗族，李氏家族唯余贰师将军李广利因二伐大宛未归而逃过一劫。
出使匈奴的卫律，在返程途中得知李氏家族被灭的消息，担心自己也会受到牵连被杀，遂率领使团折返并投降匈奴。不过，卫律虽然是真心归降匈奴，但随同他出使匈奴的虞常等使团成员，却有不少人仍然心属大汉，受到卫律欺骗返回并滞留匈奴的他们，一心想要回到汉朝。
当时恰逢匈奴内部政权更替频繁，国内局势混乱，虞常便决定趁机逃离匈奴，为此他找到了同样被迫投降匈奴的缑王，共同策划逃归汉朝。
缑王乃是浑邪王姐姐的儿子，霍去病两度征伐河西后，缑王随同浑邪王归降汉朝。太初二年（前103年）春，缑王跟随浞野侯赵破奴深入匈奴腹地，接应准备叛乱的匈奴左大都尉，事败后遭到左贤王大军围困，这才被迫投降匈奴。