1938年5月29日，日军大本营命令华中派遣军与海军“支那方面舰队”协同，攻取长江芜湖以下之安庆、马当、湖口和九江，作为进攻武汉的前进基地。
6月1日，华中派遣军和海军方面协商后，决定由波田支队，海军第十一战队，第四、第五特别陆战队以及第二联合航空队共同组成西进部队，从芜湖出发沿长江南岸发起进攻。
6月7日，波田支队由镇江起锚出发，日本海军陆战队也从南京出发，两军在芜湖会合编组后，波田支队乘坐海军舰船开始溯长江西进。
日本海军通告驻汉口的各国领事馆，宣称日军将沿中国长江西进作战，芜湖至湖口间的航道为作战区，各国军舰和商船必须立即撤出。
6月2日（稻叶四郎）的第六师团与第三飞行团协同，从长江以北的庐州（今合肥）出发，向西南方向进攻舒城、桐城、潜山、太湖、宿松、黄梅等地，与波田支队并行以为策应。日军第十三师团，也从北面的蒙城南下，进攻凤阳。
首先发动进攻的是日军第六师团。第六师团又称熊本师团，与仙台师团并称倭国陆军最强悍的、最有战斗力的两支劲旅。第六师团的先头部队，是以（坂井德太郎）指挥的第十一旅团为基干的坂井支队，配属了步13联、步47联队、骑6联队和独立山炮兵第2联队。
6月2日，坂井支队从庐州（今合肥）南下。5日攻击正阳关。时值大雨倾盆，道路泥泞，退至庐州以西的第二十六集团军徐源泉部不但破坏了道路，而且对南下的日军不断地进行奇袭式阻击，使得日军的推进艰难而缓慢。当徐源泉部逐步向西退至六安附近时，坂井支队开始全力攻击舒城方向。统帅部电令徐源泉火速增援，对攻击舒城的日军加以侧击。但是，大雨导致山洪暴发，徐源泉部的增援行动受阻，直到12日才接近舒城。
8日，部署在舒城内防守的133师397旅之794团一个团(李介立团)，面对鬼子的大炮和数架飞机的猛烈攻击，仍是奋力坚守。杨汉玉师长为避免过度损耗兵力，便令其撤到舒城、桐城间的十里铺大小关山地。
26集团军徐源泉想弥补失误，命令第87军第199师反击舒城。第87军于38年初才组建，主要由湖南地方保安部队组成，原在武汉外围构筑防御工事，奉命增援庐州（合肥）作战，部队损失严重，撤至六安附近整补。