不久，耿鄙被部下李相如杀死，马腾则联合韩遂等人，与汉阳人王国合兵，自号“合众将军”，共同推举王国为主帅，率领其部众，寇掠三辅。汉王朝称其为三辅作乱。
中平六年（189年），马腾、韩遂等人相互争权，势力有所衰弱。
初平二年（191年），董卓入长安，邀请韩遂、马腾共同策划进攻山东诸将。马腾见天下大乱，也想要依靠此次山东各部反董起兵，遂拒绝董卓邀请，反而举起反董义旗，支持山东反董盟军。
初平三年（192年），董卓死后，李傕等人专权，长安混乱，匈奴人趁乱进攻三辅。马腾率兵救援长安，击退匈奴人，朝廷于是拜马腾为镇西将军，屯于郿。
此时马腾手下有大将庞德，自己的子侄马超，马休，马铁，马岱等。自从救援长安，被封为镇西将军后，先后有不少家族势力投靠，送人、送钱、送粮，实力更上一层楼。
兴平元年（194年），马腾有私事求于李傕，没有得到应允，于是率兵相攻。汉献帝派使者劝解，没有成功，随后屯于金城的韩遂率兵前来劝解，继而与马腾联合，一起进攻李傕。朝臣种邵、马宇、刘范欲诛杀李傕等人，于是秘密与马腾联系，愿为内应，但因事情败露，只得逃奔槐里。李傕使樊稠、郭汜以及侄子李利出击，马腾、韩遂败走，退回凉州。李傕的部队又进攻槐里，种邵等人都被杀死。
不久，李傕等人又与马腾、韩遂讲和，改任马腾为安狄将军，韩遂为安降将军
兴平二年（195年），马腾上表称军队补给不足，请求就谷于池阳，于是率军改屯长平岸头。将领王承害怕马腾图谋自己，于是率兵偷袭，马腾没有准备，向西败走。不久，李傕与郭汜相互攻击，三辅动乱，马腾遂放弃东行计划，与韩遂相联合，结为异姓兄弟。
当时的关中，仍是十几股军阀割据的局面，其中以马腾、韩遂势力最强。
后来，曹操迎献帝回许县，采用荀彧的建议，派钟繇以侍中的身份代理司隶校尉，持节督关中诸军。钟繇到达长安后，写信给马腾、韩遂，陈述利害关系，于是马腾、韩遂愿意归顺，各自送来儿子作人质。
待曹操组织兵马进攻冀州廖化之时，下圣旨于马腾，命其率领西凉兵马进攻河东。马腾决定遵从圣旨，组织西凉各地豪强军阀，进攻河东。