元狩六年，公元前117年，刘胥10岁。这一年刘胥没有折腾，按照记录今年十月霍去病会病死。
心情沉重的他突然安静下来让武帝等人觉得奇怪，纷纷询问他为何变化如此之大。刘胥自然不敢说知道霍去病快死了，自己担心，只好编了个理由对武帝说:“儿臣年已十岁，好武事，比之十三四岁寻常少年更为健硕，欲入上林苑与羽林孤儿同行，习弓马军阵之术。”
武帝听完后觉得他长大了，大呼甚善，自己这个最优秀的儿子只要不是贪图太子之位其他的他都很大度。
春四月，上命三皇子胥入上林苑，衣食住行皆与羽林孤儿同，不得特殊。
安慰好阿离和陈嬷嬷一群人，有事让她们去隔壁找刘旦，刘胥去后宫找自己母妃告别。李姬甚为不解为何他要自讨苦吃，在宫里锦衣玉食的不好吗？
看着母妃因为自己受宠的缘故多了些神采的明艳脸庞，为了缓解她的担心宽慰道:“阿母，儿荣宠胜于太子不是好事，且儿欲封王国外阿母应是听说了。即要行于国外就封，不通军事不知士卒之苦如何长久。太子身后有卫青霍去病，我母子身后空无一人，母族亦不过山东一不更。羽林孤儿中人才济济，皆忠勇之士后裔，若得二三可为心腹矣。”
听完儿子的苦衷李姬明白此事无转圜余地，取出新制鞋袜衣物让他带走。她也是宫中的老人了，这几年日子好过了些都是因为二儿子的努力，既然他有本事，自己这个做母亲的不添乱就是最好的。
拜别母妃上了马车，不多时进入上林苑到了羽林孤儿的驻地。汉武帝建羽林骑，取从军死事之子孙养于羽林，官教以五兵，号曰“羽林孤儿”。其实就是一个军校和以后的羽林军班底。学生都是战死将士的子孙，大多是六郡良家子。
整个驻地就是一个军营，多了几座讲堂用于教军法、军令、行军作战等，以培养中下级军官和精锐骑士。
军营以建章营监为主官骑都尉为副，日常则由左右丞负责，总人数二千人左右，两曲四官二十队四十屯。除屯长以上军官由武帝直接指定外，什长伍长自行选拔。孤儿的年龄十二至二十不等，二十以上或宿卫建章宫，或随军出击匈奴，有功者升任南北禁军或任地方尉、丞。