在纽卡，04到05赛季，9月16日，他在欧联杯对阵以色列俱乐部比尼萨赫宁的比赛第69分钟替补登场，迎来个人的欧战首秀。同月，纽卡斯尔3：1战胜西布罗姆维奇，他替补上阵攻入在纽卡的首粒英超进球。
最初力主签下米尔纳的纽卡教练博比罗伯森爵士对他非常赏识，但罗伯森在赛季初期就被解雇，由格雷姆索内斯接任，后者对米尔纳的表现则并不认可，甚至宣称有他在球队不会赢得任何比赛。米尔纳对这一言论感到十分沮丧，一直试图用场上的表现证明自己。
05到06赛季，尽管表现良好，米尔纳仍被作为纽卡斯尔签下诺尔贝托索拉诺这笔交易的附加条件，在余下的赛季外租至阿斯顿维拉。在阿斯顿维拉，米尔纳得以与此前在利兹联共事的教练大卫奥拉利重逢。2005年9月12日，在对阵西汉姆联的比赛中，米尔纳首次代表维拉征战英超，5天后，他在对阵热刺的比赛中攻入维拉生涯的首球，帮助球队扳平比分。
一周后的联赛杯赛场，米尔纳的梅开二度为上半场1：3落后的球队扭转颓势，最终8-3击败对手韦康比流浪者。05到06赛季在维拉期间，他共计出场33次，取得3粒进球。米尔纳的表现令球队希望促成其正式转会，但维拉方面不接受将加雷斯巴里加入交易互换球员的要求。
纽卡新帅格伦罗德尔相比索内斯更加赏识米尔纳，公开表达希望米尔纳留在圣詹姆斯公园球场的意愿，赛季结束后，米尔纳得以回归纽卡斯尔。
2006年，回归纽卡斯尔后，主帅格伦罗德尔将米尔纳视为重要球员，整个赛季几乎都安排他首发出战。06到07赛季，米尔纳在纽卡斯尔的各项赛事出场次数达到53次，攻入4球送出10粒助攻，这也是他职业生涯出场最多的赛季之一。赛季结束后，山姆阿勒代斯接替主动请辞的罗德尔成为纽卡新帅，米尔纳也与球队签下一份为期四年的新合约。
2007年10月23日，米尔纳在3：1战胜托特纳姆热刺的比赛中打进了纽卡斯尔里程碑式的第500个英超主场进球。次年3月，米尔纳因踝关节的伤势缺席了赛季剩余的比赛。这个赛季，米尔纳只出场了32次，打进3球。