只是潘知远下山之后，却也看出了端倪，这事的背后主谋，不是场上的任何一个角色。
冯绮雯死了，冯征叛变了，姚汝南战死了，姚家和冯家就此断了音讯。这事，冯征虽然有错，可是身在乱世，谁都要给自己的家族谋个出路。冯绮雯终究要出嫁的，不是嫁去河间王府这样的地方博一个不一样的前程，就是去个手握重兵的人家保个平安。
从任何一个方面来说，冯征给冯绮雯选的人家，都没有什么不好的地方。无论是哪一个，都比潘知远这么一个无父无母无依无靠的孤儿来的好。只是，终究是意难平。潘知远对冯征这个救命恩人，并没有多少感激。
倒不是潘知远白眼狼，而是冯家里面，对潘知远好的，却是冯家的夫人姚氏。姚氏和潘知远的母亲是闺中密友，对潘知远这么一个遗孤，自然是各种上心，与自己的子女养在一处，完全视若己出。
可是冯征对潘家如何灭族的，却是知道不少，这样的一个孩子进门，就成了冯家夫妻争执的焦点。多年以来，只要涉及潘知远，冯征总是摔门而去，而姚氏，总是垂泪不已。而后潘知远出了冯家去海山，多半也有这里面的原因。
之后冯征想和河间王府联手，却被姚汝南这个师傅兼岳父大马金刀地给拦下了，促成了冯绮雯嫁去谢家。姚氏夹在夫君和父亲之间，也是左右为难，里面的事情，真是一言难尽。可是多半，却是因为潘知远而起。
所以，潘知远知道冯家的内情之后，离开宣府去海山学艺，也是不得不走的一条路。