高力士养父高延福夫妻，按定分享受供奉，岭南节度使于潘州找到其生母麦氏送至长安，高力士让两位老妇人同处高堂，美食供养。金吾大将军程伯献与高力士结拜为兄弟，麦氏去世，伯献在灵前筵间，披头散发，穿戴孝服，接待来宾吊唁酬答，追赠力士父亲广州大都督官职及麦氏越国夫人封号。
早在开元初年时，瀛州吕玄晤在京城做官，女儿有姿色，高力士娶其为妻，提拔玄晤为少卿、刺史，吕氏子弟都做了王傅。吕夫人去世，葬于城东，葬礼很隆重，中内地方官员争相赠送祭祀物品的，充溢京城大道，从力士宅第到墓地，车马络绎不绝。
李白来到长安，有人把他推荐给唐玄宗，唐玄宗在金銮殿召见他，封他为供奉翰林，要他在宫在写诗作文。有一天，宫中牡丹盛开，唐玄宗带了杨贵妃，在沉香亭饮酒赏花，唐玄宗忽然想起了李白，想叫他写几首歌词助兴，就派人把他召来。这时，李白正在酒店中喝得烂醉如泥，人们把他扶上马背，送到宫中，用冷水洗他的头，等酒意稍解，李白提起笔来，一下子写了《清平乐词》三首颂扬杨贵妃和牡丹花，诗句优美清新，唐玄宗和杨贵妃高兴极了。
李白虽然经常参加宫廷宴会，但他蔑视权贵，并不把皇帝和皇帝身边那些有权有势的人放在眼里。有一次，他在宫中喝醉了，竟伸出了脚，对坐在身旁的宦官高力士说：“给我脱掉靴子。”高力士一时不知所措，只得给李白脱下靴子。当时，高力士权力很大，四方的奏事都要经过他的手，文武百官没有一个不巴结他，他还从来没有受过这样的侮辱，这件事使他很愤怒，决定找机会报复李白。
杨贵妃爱吟李白的《清平乐词》，正巧高力士也在一旁，他故意说：“我本以为贵妃受了李白的侮辱，一定对他恨之入骨，没想到你这么爱他的诗！”杨贵妃吃惊地问道：”李学士怎么会侮辱我呢？”高力士说：“诗中不是有‘借问汉宫谁得似，可怜飞燕倚新妆’两句吗？”杨贵妃说：“对呀！”高力士又说：“汉朝宫廷里的赵飞燕，出身歌女，后来虽然立为皇后，但作风不正最后还是被贬为庶人，李白将赵飞燕跟您相比，不是把你看得太下贱了吗？”杨贵妃听了高力士的话，也对李白恼怒起来，这以后，唐玄宗几次想任命李白官职，都被杨贵妃阻止了。