杨素听闻皇上为此大怒，便请教土木监封德彝该怎么办？封德彝道：“等皇后看过仁寿宫后，皇上便会改变对此的看法，下诏书赏赐你。”皇后看过仁寿宫后，次日便让皇帝召杨素入宫谈话。独孤伽罗道：“你知道我们夫妇年老了，没有地方可以娱乐，所以将仁寿宫修得这么好，这么华丽，这是你忠诚孝敬的表现！”杨坚听皇后如此说觉得死了一万多丁男也没什么，便赏赐杨素一百万钱，三千段锦帛。杨坚夫妇都变得年老昏聩了。
仁寿宫修好了，到了夏季杨坚夫妇便住进去避暑。某日，杨坚在仁寿宫碰见一个年轻貌美的小宫女，召过来一问，原来是当年造反的尉迟迥的孙女叫尉迟贞。想当年她被收入宫中时，还只是一个刚会走路一岁大的小女婴，如今摇身一变成了一个貌美如花的小宫女。杨坚一下子起了色心，将她拉入房中便宠幸了。
杨坚这事做的不隐秘，很快这事就传到了独孤伽罗耳中。独孤伽罗趁杨坚去上朝了，便将尉迟贞给抓了，然后吩咐侍卫将她活活打死。
杨坚下完朝，正想召尉迟贞侍寝，却得知她已经被皇后打死了，尸体都挖坑埋了。杨坚听后非常气愤，怒气冲冲便来找皇后。杨坚怒道：“老婆子，你什么意思？如今你年老色衰不能侍寝了，我刚宠幸一个小宫女，你就将人打死了。”独孤伽罗也怒道：“那罗延，你现在嫌我老了，嫌我丑了。你不拿镜子照照自己，那张跟野人差不多的脸。我十四岁就嫁给你，年年挺着大肚子，整整二十年，给你生了二十个孩子，如今长大成人的也有十个。”杨坚道：“这都是你自找的，是你不准我纳妾，不准我碰其它女人。”独孤伽罗道：“好你个那罗延，你倒有理了。刚成婚那几年，你胆怯，你害怕，生怕宇文护拿你们杨家开刀，每晚都在我身上疯狂发泄，你都忘了？要不是我心疼你爱你，我会愿意为你生那么多孩子？”杨坚道：“我都宠你爱你三十八年了，难道还不够？我是皇上，现在宠幸一个小宫女怎么了？”独孤伽罗道：“你现在说你是皇上了，觉得自己翅膀硬了，看上那个小姑娘就可以往床上拉了。你当时是怎么向我发誓的？你说你会一生一世只爱我，一生一世都不会碰别的女人。苍天做证，若违此誓便断子绝孙。我打死她是应该的，你难道连断子绝孙都不怕了？”杨坚被说的哑口无言，破门而去；骑上御马冲出仁寿宫，冲入山林。
高颎、杨素等人见皇上骑马跑出宫了，便也骑马在后面追，追入山林二十余里才追上皇上，他们拉住皇上的马，苦苦劝谏他回宫。杨坚长叹道：“朕贵为天子，却不得自由！”高颎道：“陛下怎么能因为一个妇人，而轻视自己的天下！”杨坚听闻这话，心中的怒气才缓和一些，在山林中徘徊了很久，到半夜才回到仁寿宫。独孤伽罗在宫门盼望着杨坚回来，杨坚回到宫门前，独孤伽罗哭道：“那罗延，今天是我将话说重了，事情做的过分了，你就原谅我吧？”说着便跪下了。杨素劝道：“陛下，你就原谅皇后吧！夫妻间吵架很正常。俗话说：夫妻哪有隔夜仇。”杨坚便扶起了皇后，一起回宫了。