此时的三桓对于鲁国朝堂的掌控，不仅让公孙归父感到不妙，就连鲁宣公也是感到了不适。
而因为公子遂的关系，鲁宣公很宠信公孙归父，公孙归父提出以晋国的力量来除掉三桓，使权力重新回到公室，这一下子就得到了鲁宣公的同意。
据说，晋国当时已经同意了公孙归父的请求。
可惜，十分‘不凑巧’的是，当公孙归父返回鲁国的途中，鲁宣公去世了。
鲁宣公死后，季文子就在鲁国朝堂上指出东门襄仲的罪状，指责他杀害嫡子，而拥立庶子。
鲁国大夫臧宣叔（臧文仲之子，名许）听了很生气，就表示，当时没有处罚他，他的后人又有什么罪呢？您要是想除去东门氏，我就请求您除去东门氏。
臧宣叔当时在鲁国的地位很高，仅仅只在正卿季文子之下，孟孙氏和叔孙氏本就对东门氏厌恶，所以东门氏因此被驱逐出了鲁国。
公孙归父听闻了这个消息之后，悲痛万分，在笙（shēng）地（鲁地，今山东菏泽北）设坛作礼，向自己的副手举行复命的礼节，这原本应该是对鲁宣公做的。
他脱去外衣，以麻束发，嚎啕大哭，就此退出鲁国，逃亡到了齐国。
鲁宣公死后，他的儿子公子黑肱继位，是为鲁成公。