刘豹死后，他的儿子刘渊继承了他的职位。刘渊自幼读了许多汉族人的书，文才很好，同时武艺也很高强。后来，刘渊在西晋的成都王司马颖部下当将军，留在邺城，专管五部匈奴军队。
公元304年，刘渊回到左国城，匈奴人想借八王混战之机，复国兴邦，便拥戴他做大单于。他集中了5万人马，亲自率军南下，帮助晋军攻打鲜卑兵。有人不解地问他：“为什么不趁这个机会灭掉晋朝，反倒去打鲜卑呢？”刘渊说：“晋朝现在已经腐朽透顶了，灭掉它非常容易，但是晋朝的百姓未必会归顺我们。我看汉朝立国的年代最长，在百姓中还很有影响，我们的祖先又与汉朝皇帝有血缘关系，不如借用汉朝的名义，也许可以得到汉族百姓的支持。”
