184年（光和七年）冬，分别来自北地郡、安定郡以及金城郡、陇西郡枹罕、河关等地的羌人举事叛乱，想趁机对抗经历数年的腐败和乱政已然衰弱的中央统治。
后来由羌人和小月氏人组成的湟中义从军，在令居兵变反抗大汉长官，并加入叛军，杀护羌校尉冷征，导致事态升级。
此时，两股叛军合兵，以原湟中义从胡士兵北宫伯玉和李文侯为将军。
此次联合意味着叛军控制了金城在黄河沿岸的条状地带。
短短几周内，叛军攻克金城郡治——允吾，从此以金城郡为主要作乱据点。
因为凉州刺史左昌侵占防御军费，救军不济，所以帮了叛军的大忙。
金城太守——陈懿前往叛军大营，商谈释放人质，反遭叛军杀害。
后来，人质中的新安县令边章、凉州从事韩遂被说服加入了叛军。
因为这些在凉州有名望之人的加入，使得叛军获得了更大范围的民间支持，而此二人将在叛乱逐渐进行的过程中扮演重要角色。
随后，叛军围左昌于冀县总部。
一些边将起初并不想救援左昌，但盖勋迫令他们前去救援。叛军因为尊敬盖勋，于是主动撤围。此事后，左昌被虔诚的儒生宋臬取代。
宋臬认为，只有在民间教授《孝经》才能平乱，不顾下级反对将这一建议上表朝廷，随即也被杨雍取代。
但地方状况并未因此改善，地方官再度被叛军围攻。有应对羌乱经验的新任护羌校尉——夏育在汉阳郡的畜官遭句就种羌首领滇吾攻打，盖勋又一次率军往救。
但这次，他在附近的狐盘遭到惨败，夏育、盖勋都逃走了。
此时，凉州政府显然已经不能靠自己的实力应对叛军了，只能期盼着朝廷组织大军前来平叛。
185年春，叛军人数已经达到了数万人。朝廷任命征讨黄巾的名将——皇甫嵩为左车骑将军，防御长安。
但皇甫嵩初期无功，因宦官诽谤，上任四个月后于七月被免职。
凉州的持续叛乱使国库大损，朝廷不得不课税、征召劳力以应战，司徒崔烈建议放弃凉州。
议郎傅燮则发表了一篇激动人心的演说，谴责崔烈，并强调凉州地处前线的重要性。
傅燮的说辞打动了汉灵帝，他拒绝了崔烈的建议。傅燮被任为汉阳太守，并被派往前线。
八月，司空张温被任为车骑将军以代皇甫嵩，新任破虏将军董卓、荡寇将军周慎等均在其帐下效力。