（南越相吕嘉）与其弟将卒攻杀太后、王，尽杀汉使者。遣人告苍梧秦王及其诸郡县，立明王长男粤妻子术阳侯建德为王。
——《汉书·西南夷两粤朝鲜传》
元鼎四年（前113年），南越王赵婴齐去世，太子赵兴即位，尊母亲樛氏为王太后。汉武帝得知消息，为了和平统一南越地区，派遣安国少季、终军、魏臣等人出使南越，又命卫尉路博德陈兵于南越以北的桂阳，武力威慑南越国。
自建元六年（前135年）闽越王邹郢入侵南越，汉朝派王恢、韩安国率兵征讨闽越，以致闽越王邹郢死于政变，汉武帝分立繇君丑、馀善为越繇王和东越王，共同治理闽越以来，汉朝东南地区一直保持着相对和平稳定的态势，不过朝廷与闽越和南越的关系，却并未因此得以改善。
当初，汉武帝帮助南越抵御了闽越的进攻后，南越王赵眜对朝廷感激涕零，为了表达对朝廷的顺从，甚至还派太子赵婴齐入京宿卫，实际上就是给朝廷派了一个人质。
赵眜原本还打算亲自前往京城朝见汉武帝，但南越大臣们却对朝廷心怀戒心，待到朝廷的使者离开，便立即劝说他道，“汉朝兴兵杀死邹郢，同时以此威吓南越，其用心可见一斑。况且，先王曾经说过，侍奉天子只求不得失礼，您千万不可因为汉朝使者的几句好话，就经受不住诱惑，前往京城拜见天子。一旦入朝拜见而不能返回，可就是亡国的情势啊！”
听了大臣们的劝阻，赵眜心中也不免打鼓，担心前往长安后不能返回，遂以生病为由，放弃了入京朝见。
元狩元年（前122年），赵眜病重，派人前往长安传讯，并迎接太子赵婴齐回南越即位。在长安宿卫十余载的赵婴齐得知消息，立即上书汉武帝请求归国，汉武帝同意了其所请。
同年，赵眜病逝，谥号文王，太子赵婴齐继承王位。
当初，赵婴齐在前往长安为质之前，曾在南越国当地娶妻，并生下长子赵建德，赵婴齐前往长安宿卫时，因不知此行的安危，便未将其母子带在身边。
赵婴齐宿卫长安十余载，因为始终无法返回南越，便又迎娶了邯郸女子樛氏为妻，并生下次子赵兴和三子赵次公。
赵建德虽为长子，但因长期与父亲分隔两地，父子二人早已生疏，父子之情十分淡薄，而樛氏母子却因为长期跟赵婴齐生活在一起，十分得其宠爱。