高力士原本叫冯元一，是岭南人，他的父亲冯君衡在武则天时期任潘州刺史。高力士10岁时，流放岭南的犯人造反叛乱，武则天派监察御史万国俊去调查。万国俊是武则天时期的酷吏之一，在那次调查岭南流放犯人造反的过程中，几百名犯人被冤判斩刑。高力士的父亲冯君衡，受岭南犯人造反案牵连，被罢官抄家并问斩。高力士的母亲为了让小高力士不被饿死，将他卖给了收买养子的人，殊不知买小高力士的人，是人贩子，小高力士被那人阉割后高价卖出。公元六九八年，高力士与有同样遭遇的金刚二人，被岭南讨击使李千里带入宫中，时年十五岁的高力士成为了武则天身边的小太监。
没过多久，高力士因小过错，被鞭打后赶出宫，宦官高延福将他收养为养子。高延福曾在武三思府上侍候武三思，高力士自那时起常往来于武三思家的宅子。大约一年后，高力士又被召进宫中，得到武则天喜爱，并授官宫闱丞。
高力士在“神龙政变”后，逐渐与临淄王李隆基交往密切起来，在诛韦后，除太平公主的两次政变中，支持李隆基，时至今日，他终于走上了权力的高峰。
公元七三一年正月二十一日，高力士站在内侍省大门口，与金吾大将军程伯献正在谈话。
高力士说：“程兄，又到春季了，圣上自去年开始，每月都要组织两三次朝臣的春游活动，我怕有不法分子趁机扰乱治安。皇城内外，乃至整个长安城的治安，就有赖于你的管理了。”
程伯献向高力士行抱拳礼：“力士兄弟，我一直以来都是兢兢业业地维护皇城内外，乃至整个长安城的治安，请力士兄弟和皇上放心，只要有我程伯献负责治安，绝对不会出现什么问题。”