等到柴绍跟李秀宁第二次在长安相见时，李秀宁已经完全心死，把柴绍当成一个陌路人，甚至连柴绍对外解释的那些话都懒得去反驳了，只是每每柴绍自己或借李渊的便利上门时，都会直接让马三宝或者秀云他们把他赶走，她自己本人是能不见就不见。
李渊在见到两人模样的时候就看出些什么，又安排人去调查了一番，在知道了来龙去脉后也是恼怒许久，但是由于柴家是他关陇世家与关中世家的中间人，故而不好处置，也就搁置了下来。
后来柴绍屡立战功，加上李建成跟李元吉的参和，李渊也渐渐的没那么计较当初的这事了，甚至在韦贵妃几个的枕头风下，他还有一种错觉，觉得柴绍若是没把自己女儿留在了长安，那么他自己还没能那么快拿下长安呢，于是又起了撮合这对夫妻的想法。
李渊李建成等人的不断撮合加上柴绍的骚扰，终于是惹恼惹烦了李秀宁，于是李秀宁直接领着自己大部分的娘子军就跑去苇泽关戍边了，一方面防备东突厥，一方面也是制衡河北的窦建德刘黑闼。
就在李秀宁离开长安跑去戍边来抗拒着李渊的撮合时，李建成又给出了损招，让李渊给柴绍跟李秀宁办了婚书，甚至明旨天下，这一下子就成了官方认证了。
于是李秀宁就开始闹了，先是自己去哀求李渊办和离，李渊没点头，毕竟君无戏言嘛，于是李秀宁又找了自己的姑姑太安长公主、自己的外祖母等人来求，还是没求下来。
最后李秀宁也就开始发狠了，每每征战归来朝廷封赏的时候，她都以要一纸和离书做为赏赐，李渊也每次都不允，反而赐下一大堆的金银财物，让李秀宁的心一次比一次的冷，也一次比一次的没给柴绍跟李建成等人好脸色。
随着大唐步入正轨，李渊的皇位也越来越稳，世家的影响对大唐也没那么大了，再加上女儿闹得太过心烦，李渊也就开始有心寻思着给李秀宁那一纸和离书了，但是李建成为了娘子军的军权，从中作梗，于是又拖着没给。
终于等到李渊下定了决心，准备李秀宁在苇泽关打退这次突厥的入侵后，在卸了她娘子军的军权的同时，赐她一纸和离书的时候，迎接他的却是李秀宁的死讯，心伤之下更是知道了是自己的大儿子跟四儿子下的手，对李秀宁的愧疚终于是达到了顶峰，但是却于事无补了。
而柴绍呢，武德五年独孤忠战死后，他便求了旨意来苇泽关协助平阳昭公主驻防，每日都会去军中问好，每每征战他都必冲锋在前，竭力的想挽回平阳昭公主的心。
一年的时间虽说没能挽回李秀宁的心，但是也缓解了不少两人之间的关系，若是再持续些年，或许柴绍真的能守得云开见月明吧，可惜天不遂人愿啊。
李建成跟李元吉的谋划不说断掉了李世民之间的最后亲情，更是把自己麾下的一员大将柴绍给推到了李世民的阵营。