后来，皇甫晖被封为密州刺史。契丹南下，攻入后晋京城，后晋灭亡，为了躲避契丹人，皇甫晖率领其州人逃到江南，投奔南唐。南唐元宗李璟派人乘船逆江而上去接应他们，到南唐之后，皇甫晖历任歙州刺史、神卫都虞候，后任奉化军节度使，加同中书门下平章事，镇守江州。
淮北处于后晋、后汉朝代交替的混乱之际，各地武装都表示愿意归顺南唐，李璟见有机可趁，派神卫都虞候皇甫晖率军万余出发，到海、泗诸州招纳各路豪强武装和因战乱四散的流民。蒙城守将咸师朗等人都归顺皇甫晖，徐州守将成德钦不肯归降，皇甫晖与之在峒峿镇交战，后唐军大败，被斩首六百余人，皇甫晖率军退回南唐。
后周集结大军，准备南下，李璟任命神武统军刘彦贞为北面行营都部署，将兵二万守寿州，奉化节度使、同平章事皇甫晖为应援使，常州团练使姚凤为应援都监，将兵三万屯定远。刘彦贞治军无方，大家都知道他必败无疑，只有皇甫晖老成持重，所部军容齐整，士兵乐于为他效命，周军十分忌惮他。
周世宗柴荣率领大将赵匡胤等人，进攻南唐的淮南地区，李彦贞战死，皇甫晖与姚凤退守清流关，集结了号称十五万人的军队。
柴荣亲率精锐攻打寿州，令赵匡胤率部急进偷袭清流关，皇甫晖列阵于清流山下，刚跟后周军的前锋接战，赵匡胤就率兵从山后杀出，皇甫晖等大惊，率军败走一路列部退入滁州城。皇甫晖断了护城河的桥梁，打算坚守城池，赵匡胤骑马率兵涉水过了护城河，直追到城下。
皇甫晖说：“我们各为其主，希望我们双方能摆开军列一决胜负。”赵匡胤笑笑答应了他。皇甫晖整队出城，赵匡胤抱着马脖子径直上前，一刀砍中皇甫晖的脑袋，将他活捉，南唐军大败，姚凤也被生擒。皇甫晖与姚凤被活捉之后，赵匡胤把他们送到寿州。
柴荣召见他们，皇甫晖见了柴荣说：“我累了，坐一会儿。”坐下之后，又说：“我躺一会儿。”不等柴荣同意，就躺下了，他神色自若地对柴荣说：“不是我不为国事尽力，实在是南北双方军队差距太大，我在后晋为将的时候，曾与契丹人交战，契丹人的兵马也不如周兵雄壮，昨天我退保滁州城，没想到周军士兵攀墙而上，如飞一般，我心力交瘁。所以被生擒了。”柴荣一看皇甫晖浑身负伤，很是怜悯，下诏赐给他金带、鞍马，过了几天，皇甫晖因伤势恶化不肯医治而死。