姓氏刘姓自居。
刘渊乃是单于家族出身，承袭其父做了部落首领。由于已经内附，此时当然不能以大单于为号，仅称左贤王，五部大都督。刘渊生得风姿绝人，精通华人文化，又有勇有谋，最重要的是野心极大。
匈奴人别看内迁已经百余年，但始终自成一体，没有融入魏晋华人之中。八王之乱后期，并州匈奴见晋室衰微，便开始蠢蠢欲动，几名部族上层成员私下密议说：想当初，我匈奴也是威震塞北、与大汉齐名的强大种族。无奈遇到一代雄主汉武大帝，我匈奴从此分崩离析。汉亡以来，我部匈奴虽被魏晋接纳，保留了部族，但只徒有虚号，没有自己的尺寸之地，与平常的百姓编户无异。现在司马氏骨肉相残，四海鼎沸，正是兴邦复业的大好时机。左贤王乃是大贵之相，不是居于人下者。这一定是老天要兴复我匈奴，否则的话怎么会生出此人呢？
于是就撺掇刘渊起事，并推其为主。
刘渊本来就野心勃勃，被大家推举当然痛快接受。于是便想去离石一带蓄谋起事。他彼时乃是成都王司马颖的得力干将。司马颖做镇北大将军，也为刘渊讨封了一个将军之职。刘渊率领本部人马为司马颖抵挡司马越的鲜卑兵。其想要离开，必须要向司马颖请辞。但如果实话实说，无疑是找死。他就谎称要回乡归葬祖先。可那时候司马颖和司马越正僵持得难解难分，司马颖怎么肯放他走？于是他又换了一个理由，说要回去为司马颖招募匈奴其他部族人马来对抗司马越。司马颖正愁打不赢司马越，刘渊的说辞当然很合他的心意，便欣然同意。可是刘渊这一去，就如同放虎归山，终成大患。
到了离石左国城不到一月，刘渊便聚集了数万之众，并被族人推举为大单于。匈奴人长期被魏晋压制，此时终于等到了翻身的机会，于是纷纷吵嚷着要恢复匈奴故土和旧制。可是燕雀不知鸿鹄之志。刘渊的目标却远不止此，他的目标是效仿汉高祖、魏武帝，成就天下霸业，仅仅恢复匈奴旧制根本不能满足。
刘渊礼贤下士，胡晋各族投奔他的甚多。虽想复兴匈奴，可是却不敢以匈奴的名义。因为匈奴自古就被视为蛮夷之邦，如果直接以匈奴的名义起事，必然得不到天下人的响应。想要做到正统，就必须名正言顺。哪怕再牵强，也要找出一个理由来。刘渊于是又把汉匈和亲一事扯了进来，对外宣称道：天下本是属于大汉的，汉室衰微，才被魏晋相继取代。我匈奴乃是汉氏之甥，又结为兄弟。所谓兄亡弟绍，即便汉室亡了，也应该由我匈奴接替，魏晋算个什么？我必要把江山
…。。