老四儿子昌邑哀王刘髆，也可以说是被父亲吓死的。前面三个儿子退出了权力游戏之后，最有希望的就是老四了。而且老四的舅舅贰师将军李广利，当时权倾朝野。李广利的儿女亲家刘屈牦又是当朝丞相。李广利也和刘屈牦商量，如何争取能让老四登基。结果他们的密谋被汉武帝知道了，汉武帝腰斩了刘屈牦，抓了李广利的亲属，正在前线作战的李广利投降匈奴，结果刘髆就在忧惧之中病死了。
汉武帝的老五儿子刘胥远在广陵，这位后来被称为广陵厉王的皇子是一位胆敢与熊摔跤的人，文献记载中称他能搏熊、扛鼎。汉武帝肯定不会把江山交给他的。
老六儿子刘弗陵在身边。汉武帝不得已立了老小儿子做太子。
再来说他的女儿。汉武帝早在巫蛊事件之前，就已经以其他的罪名杀了自己的连襟公孙贺一家，而公孙贺还是汉武帝的儿女亲家，他的女儿就嫁给了公孙贺的儿子。结果连自己的女儿也一并杀了。
再来说说他的夫妻之情，太子刘据自杀的时候，刘据之母皇后卫子夫就自杀了。其他几个宠妃，王夫人、李夫人都先他而死。老六儿子的母亲钩弋夫人当时还很年轻，正在汉武帝身边。汉武帝在立老六儿子为太子后，担心出现太后掌权从而危及刘家政权的局面，于是他赐死了钩弋夫人。
其实就个人而言，汉武帝还是一个情感比较充沛的人。但是在权力面前，人性早就被异化了。他总是以怀疑的目光在看待着周围的一切人。也正是为了权力，结果他的亲人都死于非命，以至于晚景凄凉!
