面对智伯大军压境，他选择回到易守难攻的晋阳，打持久战。因为战场在晋阳，所以这场战争又被称为“晋阳之战”。
凭着先进的守城器械以及弓箭，赵襄子死守了两年，双方兵马相持不下。就在这时，智伯想出了一个攻克晋阳的办法。
他下令把晋阳城东北边的晋水引到城下，淹没晋阳。然而，哪怕河水泛滥，百姓不得不跑到屋顶上避难，赵襄子也没举起白旗。
就在智伯占据上风，晋阳城即将被攻破的时候，智伯却一句话自毁长城。公元前453年，他在和韩、赵两家大夫查看水势时脱口而出：“吾乃今知水可以亡人国也。”
大意就是“我今天才知道水也能灭掉一个国家”。说者无心，听者有意。听到这句话后，桓子（韩康子）和康子（魏桓子）心里打鼓。
《资治通鉴》记载，魏桓子用手肘碰了一下韩康子，韩康子也用脚回踩了一下魏桓子。他们两人都明白，晋水可以倒灌晋阳城，那汾水也可以倒灌魏都安邑，漳水也可以淹没韩都平阳。
智伯的一句话让韩、魏两国大夫心里打鼓，于是在赵襄子派人来策反的时候，他们义无反顾地改换门庭，站在了赵氏的一边。
拉拢好盟友后，赵襄子就派人趁夜改变水流方向，让原本流向晋阳城的水倒灌，淹没智伯军营。
突如其来的大水打的就是措手不及，智伯半夜醒来正令人处理。韩、赵、魏三家的士兵突然驾船冲杀而来，致使智伯兵马死伤无数，就连智伯瑶也葬身于这场战争中。
为永绝后患，晋阳之战后，韩、赵、魏三家联手攻打智伯的封邑，智氏覆灭，他们的土地也被三家吞噬殆尽。
公元前434年，晋国君主晋哀公继位后，韩、赵、魏三家大夫又一次看到了机会，他们趁机瓜分了晋国剩余的土地，只给继任的晋幽公留下了绛和曲沃两城，晋国至此名存实亡。
公元前403年，周威烈王正式册封韩、赵、魏三家大夫为诸侯。
公元前376年，韩、赵、魏三家又废掉了晋国最后一位君主晋静公，将晋国剩余土地瓜分殆尽。自此，晋国彻底宣告灭亡。
有人说，三家分晋的直接受害者虽然是晋国，但实际上他们损毁的却是周朝的根基，这种说法不无道理。
一方面，晋国的地理位置相当优越，它东迁至齐国，西挡住秦国，截断了他们出函谷关、染指中原的道路，南防荆楚，北距戎狄，为周朝挡住了大部分威胁。