忻都登上对马岛，问了下伤亡情况，满意的点了点头，随后，伯颜也上岸了，他吩咐忻都，留下3000人在这里等候张宏范的第二波人马，其他人不必休整，马上攻向壹岐和平户。
壹岐不费吹灰之力就拿下了，但是在平户，忻都却碰上了大麻烦。
平户岛三面都是悬崖峭壁，唯一稍微平坦的地方刚好面对肥前滩头，离滩头只有数十里，随时可以得到增援，封锁这里或者可以，但是想从这里登陆却几乎没有可能。
另外3面不仅都是悬崖峭壁，而且平户岛的外滩非常狭窄且水很浅，大船完全没法靠岸，只有在潮汐到来时，才会加宽和加深，适合大船停靠，但是潮汐每天仅有2个时辰，如果这2个时辰不能攻上平户岛，那就只能等到明天。
元军从大船上卸下小船，在潮汐到来时一波一波的发起攻击，但是大多数还没登上滩头就被投石车砸中，或者被从山顶悬崖上发射的床弩火箭射中，少数登上滩头的在攀登悬崖的过程中，也大多被从崖山打下的檑木炮石和金汁所消灭。
尽管元军用尽了各种手段，但是仍然无法登上崖顶，元军伤亡惨重，而守军的伤亡并不大。
见此情景，忻都只好撤了回来，第二天又是如法炮制，还是没有什么进展，忻都开始焦虑起来，因为如果久攻不下，肥前的兵力跑来大规模增援，那就麻烦了，仅靠30几条船构成的封锁线，随时可能会被突破，一旦增援到达，平户岛再想拿下，那是难上加难。
就在忻都焦头烂额之际，伯颜到来了，伯颜原准备在对马岛等到张宏范带队过来后再到军中，但听说忻都攻击不利，所以没等张宏范到来就赶紧过来忻都军中，查看战况。
“王爷，末将无能，连续攻击了三天，伤亡惨重，收效甚微，请王爷责罚”忻都跪禀道，伯颜连忙扶起忻都“元帅身经百战，这点失利算得什么，走，随本王查探一番再说”。
伯颜仔细的观察了海湾的水流、浅深，然后又查看了封锁的情况，点点头道“元帅如此安排，也没有什么错，只是这海上之事，与陆上多有不同，元帅太性急了”。