嫔妃们共同污蔑李世民：“眼下海内升平，陛下春秋已高，正该颐养天年。而秦王却时常流泪涕泣，肯定是在深恨妾等，恐怕陛下百年之后，妾母子必不被秦王所容！皇太子仁慈孝顺，陛下将我们托付给他，一定能得以保全。”
李渊怆然不乐，从此打消了更换太子的想法，对李世民日渐疏远，开始亲近李建成、李元吉。
【02】 仁智宫惊变
李元吉多次劝说李建成除掉李世民，还信誓旦旦的保证：“我会为兄长亲手杀了他。”
一次李世民陪同李渊来到李元吉府第，李元吉提前派亲信宇文宝埋伏在寝室内，意图刺杀李世民，却因李建成的阻止而告终。李元吉恼怒的抱怨：“我是在为兄长考虑，对我又有什么好处！”
李建成在长安私自招募了两千骁勇做为东宫卫士，号称“长林兵”。又秘密派东宫属官可达志向燕王罗艺索要三百精锐骑兵，安置在皇宫东侧坊市中，结果遭人告发，被李渊训斥一顿，把可达志流放到了嶲州（四川西昌）。
武德七年（624年）六月初三，李渊把李建成留在长安，带着李世民、李元吉到玉华山仁智宫避暑。
李建成暗地找到李元吉，让他借机杀掉李世民，并叮嘱说：“成败安危就在今年”。
又派属官尔朱焕、桥山公给庆州（甘肃庆阳境内）都督杨文干送去铠甲，让他策应这次行动。杨文干曾做过东宫卫士，是李建成的人。
两人走到豳州（古地名，位陕西咸阳彬州）被人告发，称李建成唆使杨文干起兵，内外呼应袭击仁智宫。
李渊大怒，立即征召李建成。
李建成不敢前往，太子舍人徐师謩劝他占据长安造反；詹事主薄赵弘智则劝他赶紧向皇上请罪。李建成听了赵弘智的话，前往仁智宫。在距仁智宫还有六十里时，把属官留在毛鸿宾堡（陕西铜川耀州区），带着十余随从来见李渊。
一见面李建成就跪伏在地上，一边嚎哭认错，一边狠劲叩头，几乎要晕厥过去。李渊怒气未消，把他囚禁起来，让殿中监陈福看管，并派司农卿宇文颖快骑征召杨文干。
没想到宇文颖也是李建成的人，到达庆州后将实情告知杨文干，杨文干随即起兵叛乱。