永熙二年（533年）八月，孝武帝授贺拔岳为都督雍、华等二十州诸军事、雍州刺史。贺拔岳以牧马为名，引兵西屯平凉（今甘肃华亭西）。是年，贺拔岳以夏州（治岩绿，今内蒙古乌审旗南白城子）边塞要地，欲派得力之人为刺史，在众人的极力推举下，以宇文泰为使持节、武卫将军、夏州刺史。宇文泰到了夏州后，抚慰流民，结好少数民族，很快控制了夏州局势。
永熙三年（534年），贺拔岳联合侯莫陈悦讨伐曹泥，结果中了侯莫陈悦之计，贺拔岳被谋杀。贺拔岳部三军无主，惶惶不安。有的将领提议由宇文泰统帅贺拔岳部队，但宇文泰的好友劝阻说，形势不明，处境危险，应观察一下再作决定，但宇文泰却认为：“难得易失者时也，不俟终日者机也，今不早赴，将恐众心自离。”他立即赶赴凉州接管了贺部的指挥权，约集众将陈说利害，巡视各营寨，稳定军心。而且击败侯莫陈悦，向东进据长安。有了立政关陇的基础。
宇文泰统领贺拔岳军后，一面命诸军..，准备进讨侯莫陈悦，一面上表孝武帝元修，并与元毗及诸将刑牲盟誓，相约共扶王室，孝武帝遂下诏以宇文泰为大都督，统领贺拔岳所部人马。宇文泰得到孝武帝的正式承认后，立即准备进攻侯莫陈悦。十一月，，宇文泰遣李虎、李弼等讨伐曹泥。次年，曹泥降，灵州遂平，宇文泰徙其豪强置于咸阳（今陕西咸阳东北），以加强控制。宇文泰平定秦、陇后，实力增强，孝武帝以泰为侍中、骠骑大将军、开府仪同三司，关西大都督，略阳县公，承制封拜，成为仅次于高欢的有力人物。
