1995年11月，莫迪调任印人党中央，担任党的秘书长。1998年，48岁的莫迪升任印人党总书记，逐渐成为该党领导层中十分抢眼的少壮派新星。
印度人民党在古吉拉特邦已经苦心经营了很多年，然而自 2000 年开始，这个党派却在古邦的基层选举中连续遭遇挫折。不仅如此，他们对于 2001 年的地震救援工作表现得非常糟糕，这一行为激起了民众的愤怒情绪。党内人士纷纷要求撤换当时的首席部长潘特尔。在这样的背景之下，年轻一代的莫迪人气日益高涨，成为接替潘特尔职位的最佳人选。
不过，其中也存在一些反对的声音。印度人民党的资深成员阿德瓦尼和瓦杰帕伊担心莫迪的执政经验不够丰富，因此建议他担任潘特尔的副手。但是，莫迪对此给出了强烈的回应：“我要么当首席部长，要么就什么都不当。”最终，在 2001 年 10 月，莫迪如愿以偿地被任命为古邦的首席部长，他的政治生涯也由此迈入了一个重要的阶段。
2002年2月27日，朝觐归来的古邦印度教徒乘坐的火车遭到穆斯林极端分子袭击，导致57人死亡。事件引发印度教徒反穆斯林的报复行动，相互仇杀不断升级，共造成上千名穆斯林及数百名印度教徒死亡，数千人受伤。
该事件将莫迪推上了风口浪尖，为此饱受指责，被冠以“刽子手”、“希特勒”等称谓，印国内穆斯林极端组织甚至扬言要实施复仇计划，美西方也指责莫迪践踏人权拒绝其入境，甚至当时的印人党领袖、总理瓦杰帕伊也就此对莫迪大加挞伐。
在总结 2004 年大选失利的原因时，瓦杰帕伊感慨万千地说道：“选举失利的重要原因之一，就是在 2002 年教派冲突事件后，没有采取果断而坚决的措施罢免莫迪！”然而，尽管莫迪遭受了众多指责和巨大压力，他依然成功保住了首席部长的职位。不仅如此，在接下来的岁月里，他更是在 2002 年、2007 年和 2012 年连续三次连任古邦首席部长，执政时间长达 13 年之久，成为了古邦当之无愧的“政治常青树”，同时也是印度人民党内部无可争议的“实力派”人物。正因如此，人们给他起了一个响亮的外号——“钢铁莫迪”。