永兴伯府因为四十无子方可纳妾的缘故，人口不多。
不过相对于永兴伯夫人来说，她也生了不少孩子，三男两女。
永兴伯世子因为是嫡长子，下面还有两个弟弟一个妹妹——其中一个姑娘是他姐姐，已经出嫁了。
因永兴伯老夫人还在，父母在不分家，所以还有永兴伯弟弟一家也住在永兴伯府，就是这么多人了，因为上一代永兴伯老夫人只生了两个儿子。
永兴伯府是一个世袭罔替的伯爵府，第一代永兴伯，是跟着本朝太、祖举兵起家的，所以永兴伯这个伯爵，跟现在一些皇帝封的勋贵爵位不一样，是不代降的，而是世袭罔替的。
虽然是世袭罔替的，但也就是个比较有地位的爵位，然后能领一份俸禄，其他什么也没有了，除非家里子弟努力，然后能科举考中进士，当上实权的官员，要不然，也就那样了。