在《史记·李斯列传》记载中说赵高是"宦人"，这是赵高被认为宦阉的一条材料。不过根据新出土的《张家山汉墓竹简》，"宦"，是指在宫中内廷任职的意思。宦人，就是任职于宫内之人，相当于王或者皇帝的亲近侍卫之臣。赵高作为皇帝的中书车令，亲近之臣，出入宫廷，正好可以称之为宦人。
而在《史记·蒙恬列传》中记载"赵高兄弟皆生隐宫"。“隐宫”一词，本来语义不明。东汉以后，一位为《史记》作注解的刘姓人士借题发挥，他将"隐宫"之"宫"解释为去势的宫刑。所以以讹传讹，赵高是阉人的记载大行其道。
但是，秦史专家马非百先生根据《睡虎地云梦秦简》指出，"赵高兄弟皆生隐宫"的"隐宫"一词，是"隐官"的误写。而《张家山汉墓竹简》出土以后，隐官的意义就更加清楚明白。隐官，既用来指称刑满人员工作的地方，也用来指称刑满人员的身份，与宫刑和"去势"完全没有关系。
历史上赵高有女儿，嫁给了阎乐，阎乐是当时的咸阳令，曾经参与望夷宫之变。赵高死后被“夷三族”，这在赵高不是阉人的情况下比较合理。
最重要的是历史上没有阉人出任外官的现象，赵高最后官至丞相。他要是阉人，那些朝臣的唾沫星子都能淹死他。
为何赵高是宦官的言论能流传至今呢?
其实历史的编写也是有个人情感在里面的，也会经过添加修改。东汉因为宦阉之祸亡了国，刘氏的曲解投合了当时人痛恨宦阉的心情，大家都愿意传布亡国祸首都是宦阉的流言。唐代又是宦官专权乱政，古来宦阉亡国的阴魂未散，在类比声讨的风气下，赵高是宦阉的流言蜚语，自然光大发扬，成了不堪定论。明代，宦阉之祸愈演愈烈，到了清末，大太监李莲英还在慈禧宫中肆意擅权，人们对宦官的痛恨无以复加。如此代代层累之下，曲解的历史也就一直被作为正史流传下来，一直到今天。
