因此，当赵婴齐归国即位以后，便上书汉武帝，请求立樛氏为王后，次子赵兴为太子。
虽然按照制度，诸侯国立王后和太子都需要经过朝廷同意，但一般情况下，对于诸侯王推荐的人选，朝廷不会做太多干涉，基本都会照准，赵婴齐所请同样如此，虽说此举有废长立幼之嫌，但汉武帝仍同意了其所请。
然而，赵婴齐这个废长立幼的决策，却为南越日后的权力之争，乃至最终灭国埋下了巨大的隐患。
赵婴齐回国即位以后，朝廷为了加强与南越国的联系，曾多次派遣使者出使南越国，提醒赵婴齐应该像中原诸侯国一样，按时入京朝觐天子，然而赵婴齐对此却是置之不理。
赵婴齐在长安宿卫长达十二年，虽说汉武帝和朝廷对其待遇十分优厚，但那种寄人篱下，时常担忧自己安危的日子，实在不好受，如今好不容易归国，赵婴齐又岂会轻易再涉险地。
更何况，如今身为南越王的他大权在握、随心所欲，他也担心自己一旦入朝，朝廷便会像约束内地诸侯一样约束于自己，自己则要遵照汉朝的律法而失去自主权。
因此，对于朝廷使者的建议提醒，赵婴齐始终置若罔闻，只是遵循父亲的旧例，派第三子赵次公前往长安宿卫，自己则坚决称病不朝。
赵婴齐非但始终没有入京朝见，反而将其先祖南越武帝赵佗当年使用的皇帝信玺、皇帝行玺暗藏起来，对朝廷虽然仍自称是诸侯王，但在南越内部却以皇帝自居，过起了亲自操纵生杀予夺大权，对外称王、实为皇帝的生活。
元鼎四年（前113年），在位九年的赵婴齐因病去世，谥号明王，太子赵兴即位，是为南越哀王。赵兴继位后，尊母亲樛氏为王太后，封兄长赵建德为高昌侯。
樛太后早在嫁给赵婴齐以前，曾与霸陵人安国少季有过一段私情。为此，在得知樛氏之子成为新任南越王，樛氏被尊为太后之后，汉武帝在北方匈奴威胁已经消除的情况下，特意派安国少季和辩士谏大夫终军、勇士魏臣等人出使南越，希望能够进一步增进南越与朝廷的关系，规劝赵兴和樛太后比照内地诸侯，按期进京朝拜天子，从而通过和平方式统一南越。同时，汉武帝又命卫尉路博德率兵驻守桂阳，随时准备接应使者，并以武力威慑南越国。
当时，赵兴虽为南越王，但因其年少初立，国中军政大权实际上掌握在丞相吕嘉手中。吕嘉乃是南越老臣，先后辅佐三代南越王，其宗族在南越为官者达七十余人，而且与南越王世代联姻，不仅在南越国的地位十分显要，而且深得南越国吏民的信任。更为重要的是，南越王一脉虽为南越统治者，但却属于外来人，而丞相吕嘉却是越人出身，乃是本土越人在南越朝廷的利益代表，因此其声望远超刚刚即位的南越王赵兴。