司马迁的家世源远流长，司马谈为《史记》的完成奠定了良好的基础
谈起司马迁的祖先可以上溯到上古的传说时代，据说那时有一段时期，人和神是生活在一起的，无法分辨谁是人谁又是神。大家都在祭祀，每个人似乎都能通神。直到颛顼成为首领，才结束了这种混乱的局面，他命令重掌管天上的事儿，给众神排个次序，各就其位；又命令黎掌管地上的事儿，使人们不互相侵犯，各安其业。
实际这两种职责在上古的时代是一个人担任的称为巫史，代表着天神，指导人们生活的方方面面。 后来社会发展了，事情逐渐繁杂起来，于是在颛顼时代巫与史才分开。重与神保持联系称为巫，黎负责记录人们狩猎、战争、祭祀之类的大事,称为史。自此以后，从唐虞到夏商，重、黎的后人便世世代代守着这份差使。莉了周朝，专门的史官便被普遍地建置了。不过，周宣王时，重、黎的后人程伯休甫失掉这份祖传的职位，做了司马这个官,从此就以司马为姓氏。司马迁认为他的始祖就是重、黎。他撇开了祖先作巫的历史，而为拥有一个悠久的史官家世感到自豪。
春秋战国之后，司马氏这族中就没有人做史官了，而是分散到各个诸侯国，历任其它的官职。司马迁出身的这一支，由周去了晋，又迁到少梁，秦惠文王时出了个司马错，曾经和张仪就进攻蜀国还是韩国发生争论。他眼光独到，从经济的角度详细分析了讨伐蜀地的好处，成功地说服了秦惠文王，并亲自挂帅，取得胜利。论功行赏，秦惠文王让他作了蜀郡守。司马错的孙子司马靳曾经在秦国名将白起的部下，参加了长平之战，这场战斗在历史上很有名，赵国的士卒被杀了有45万人，赵从此一蹶不振。后来白起得罪了秦昭襄王，被赐死。作为白起十分亲近的老部下，司马靳也被逼自杀。司马靳有个孙子名昌，秦始皇时代作过管铁矿的官。昌的九子无泽，做过汉市长。无泽的儿子喜，得到了一个“五大夫“的爵位，意思是“大夫的尊严”，这个爵位很小。司马喜就是司马迁的祖父。
