西汉初，武帝元时期匈奴不断壮大，对汉朝边境大肆入侵，汉武帝派卫青、霍去病等大将的出击。汉武帝元朔六年匈奴国将主力撤回漠北地区，四年后，匈奴国已经完全退出漠南地区，分裂为五部纷战在漠北之上……
西汉末年，乘中原动乱之机，匈奴重新崛起于蒙古草原，以致与后来新建的东汉政权相抗衡。至建武二十二年，连年早蝗、天灾人祸接连不断，使匈奴实力严重受挫。而西汉初被匈奴击溃东走的东胡族系发展出的乌桓和鲜卑等族，在与中原联系加强后，势力不断发展，有时，乘机对匈奴发起攻击，使匈奴不得不向北迁徙数千里。随后匈奴内部又出现争夺单于继位问题，于汉建武二十四年冬分裂为南匈奴和北匈奴两部。
建武二十六年，南匈奴呼韩邪单于率众投降东汉（昭君出塞所说的王昭君就嫁给了南匈奴呼韩邪单于）。东汉置西河（治今内蒙古杭锦旗霍洛柴登古城）、北地（今甘肃庆阳县西南）、朔方（今内蒙古杭锦旗北）、五原（令内蒙古乌拉特前旗古城）、云中（今内蒙古托克托县古城村古城）、定襄（今内蒙古和林格尔县土城子古城）、雁门（今山西代县西北）、代（今河北蔚县境内）八都以安置内附的南匈奴。又设置阅奴中郎将，于五原曼柏置度辽将军，以加强对南匈奴的管理，对其实行因俗而治，确立了南匈奴对东汉的臣属关系。汉和帝永元四年，汉军在金微山（今阿尔泰山）大败北匈奴单于，北匈奴主力便远走中亚（也有学者认为经中亚、西亚逃至欧洲）。
新兴起的鲜卑人进入匈奴故地，将未迁走的数十余万匈奴余种纳入自己的统辖之下，成为蒙古草原上新起的势力，故有五六十万匈奴人遂“皆自号鲜卑”的说法。
