抵抗一年后，韩斌率军用计攻破荆州，抓获了顾荣成一家老小，并以此逼他投降。但顾荣成拒不投降，当然他也知道自己如果投降的话，全家反倒死的更快。
顾荣成水师失去了陆上基地，抵抗半年时间后，水师战船破损严重，又被韩斌派兵阻挡，无力逃往越朝，最终因手下将领叛变，最后被韩斌抓住。韩斌攻破荆州的时候，抓住了顾荣成全家，擒住顾荣成后，也许是为了泄愤，也许是为了立威，当着他的面，把他全家老少三十几口全部杀光。顾荣成时年三十岁，亲眼目睹家庭惨剧，当场吐血昏迷，醒来后就变得疯疯癫癫。
韩斌为了解恨，同时为了警示所有反对他的人，并没有把顾荣成关起来，而是将他押回武汉，任其在城中丢人现眼，只是派人严密看住，防止其逃跑。还每日拿些吃的给他，就是不让他饿死。
作为当时的大人物，顾荣成在武汉也有宅院，不凑巧的正是韩夏青和苏圣平即将离开的这处宅院。当初被韩斌收回赏赐给了当初反叛顾荣成的手下，之后又以贪污的名目斩杀了那位叛将。宅院几经转手，最终落到了韩夏青手中。
顾荣成在武汉城中疯了近三十年时间，无论是刮风下雨，还是严寒酷暑，都无处可去，但却似乎一直能够记得住自己在武汉的宅院，时常来到这里。当初那位叛将在的时候，没有韩斌的命令，自然不敢杀了顾荣成，就使人驱赶。直至后来的主人，也都是如此。
韩夏青接手这处宅院后，来的次数不多，但也遇到过顾荣成几次。作为皇家子女，对自己父皇的手段自然不会质疑，但是韩夏青每次看到顾荣成的时候，都不会让手下人驱赶，反倒还让人拿些吃食给他。