李唐清泰三年，刘知远移镇汶阳，升任马步军都指挥使。
同年，石敬瑭得助于刘知远等人谋划，假借神辽帝国大军的力量，消灭李唐皇朝，在太原称帝，建立了石水皇朝，是为石水皇朝高祖。
刘知远以其军政才能，历任检校司空、侍卫马步都指挥使、点检随驾六军诸卫事、许州领主、朱州领主、检校太傅、BJ留守、河东领主等职，日趋显贵。
可以说，他和石水高祖石敬瑭之间的交情，是生死之交。
而为了报答神辽帝国的帮助，石敬瑭不惜将燕云十六州割让蛮族，并称比他小11岁的耶律德光为父，刘知远对石敬瑭的做法不以为然，他认为：“对蛮族称臣即可，当儿子则太过分，多送些金帛使神辽帝国大军援助，而不必以割地相许，割地会造成将来后患无穷啊！”
称臣可矣，以父事之太过，厚以金帛赂之，自足致兵，不必许其土田，恐异日大为中国之患，悔之无及。
不得不说，刘知远在战略眼光上远超石敬瑭，果然，石敬瑭割让幽云十六州给蛮族，从此中原门户大开，无险可守。
石重贵和耶律德光翻脸后，刘知远似乎从中看到了机会，暗中养精蓄锐，只要时机一到，就从乱世中杀出，自立于天下。
石敬瑭当了七年儿皇帝，于石水皇朝天福七年死去。养子石重贵即位，是为石水皇朝出帝，刘知远也迁检校太师，进位中书令。
石水皇朝开运元年（944年），神辽帝国可汗耶律德光率军南下，大军直抵澶州，派蕃将伟王领兵进入雁门关，刘知远作为幽州道行营招讨使，在忻口大破伟王，累迁太原王兼任北面行营都统，北平郡王、太尉，之后诛杀吐谷浑白承福等五支部族共四百人，以另一部族的王义宗统领五族中其余的人，又在朔州阳武关再破蛮族。
刘知远在这段时期的主要意图，是称霸河东，成就王业，因此对朝廷的诏命半推半就，一方面不服调遣，作战中逗留不进，另一方面也主动出击一下。
石水皇朝开运四年正月一日，神辽帝国进犯京师，俘虏了石水皇朝少帝石重贵北去，石水皇朝灭亡。
二月一日，耶律德光具办汉族的礼制衣服，登上崇元殿接受朝拜，诏令改石水皇朝为神辽帝国，大赦天下，称年号为会同十年。
刘知远遣牙将王峻向蛮族奉表投降，耶律德光诏令褒扬嘉奖，称刘知远为儿子，并赐给一根木拐。