尔朱荣被杀后，尔朱家族的人全力围攻都城要抓皇帝。高敖曹感激皇帝元子攸放了自己，铁了心的就和尔朱家族对着干。在反对尔朱家族的势力中，最大的当属高欢的势力。高欢原本是属于尔朱家族的手下，不过在尔朱家族一次酒后授予他20万兵马之后就开始了反对尔朱家族。高敖曹兄弟后在得到皇帝元子攸的授意下回到家乡招募士卒。在他们回家招募士兵反对尔朱家族的时候，531年都城就被攻破了，皇帝元子攸被尔朱家族杀了。皇帝被杀了，高敖曹们的势力不够大，于是就联合了当时反对尔朱家族最大的势力高欢，一起来打尔朱家族。经过几年时间的打来打去，最后于533年，高欢彻底消灭了尔朱家族。也就是在这个时候，高敖曹彻底归顺了高欢，成为了高欢手下的一员战将。
高欢打倒了尔朱家族，自己就做了北魏朝廷的权臣。那个时候北魏的皇帝是孝武帝元修，他非常不满被高欢当做傀儡，于是在534年出逃，逃到了当时在关中的宇文泰。皇帝走了，高欢就另外立了一个皇帝，由此北魏就分裂成东魏和西魏了。东魏的朝政大权就掌握在高欢手里，而西魏的朝政大权就掌握在宇文泰手里，两国开始了几十年的互相攻伐。
高敖曹长期跟着高欢一起作战，高欢十分了解其能力。当时东魏重视鲜卑人，轻视..，高敖曹是..，所有鲜卑人在高敖曹面前不敢说..的坏话。甚至高欢在发号施令的时候，只要高敖曹在，就不用鲜卑语而改用汉语。高敖曹要去见高欢，不用通报就可以。那个时候有守门人不让高敖曹进，直接就被高敖曹砍死，高欢对此没有一点意见。军中有个将领说了句..不值钱的话，结果高敖曹带着大军去这个将领的营地开打。
537年东西魏爆发沙苑之战，东魏方面高敖曹就领着一军作战。在此战中，高敖曹攻陷了上洛（今陕西商县）。但在此战中，高欢的大军没有取得胜利，此战东魏是以大败告终，高敖曹最后在退军的时候差点就被西魏用箭射死。
