吕不韦和嫪毐都曾经是权倾朝野的人物，后来被杀，他们的余党和门客甚众，多达上万家，全都被流放到房县。另外也有人主动来到这与世隔绝的山林之中的，为的是躲避赋税徭役和战乱。
古代很多典籍中都有关于野人的记载，有的还有非常详细的描述。近些年神农架还时常爆出野人的新闻。但是这些野人因为长期与外界隔绝，所以他们不跟外面的人接触，看到人就跑，，人们很难看到他们的真面目，更难以跟他们交流。
不过清朝的时候，有人跟他们有过近距离的接触。据房县的县志记载，同治年间就有人遇到了毛人，他们浑身长毛，在山洞栖身。看到外面的人后，他们提出的问题让人大吃一惊：“秦始皇还活着吗？长城修完了吗？”他们对于人类社会的记忆还停留在遥远的秦朝。据他们说，他们的祖先就是因为官府征发修筑长城的遥远才躲到这里来的。
县志上关于野人还有更多的记载，有些野人甚至潜入农家偷取他们的家畜做食物。村民用火枪射击，却不能伤到他们。久而久之这些野人成了一害，一个聪明的村民想出一个主意，再有野人出现的时候，他就大喊：“修长城，修长城！”这一喊果然有效，野人一听见就赶忙逃跑。再见到野人的时候，村民们就都这么喊，每一次都能把野人吓跑。
