后来发生的一件事让他出走茶山。王敖性惰，身上生了很多虱子，痒得实在是受不了了他才捉。一日王敖正在捉虱子，忽闻一男童哭泣，其母一旁说：“再哭我让王敖捉虱子来咬你。”王敖一想，连一个普通的百姓都知道他在做什么，他还在此修炼什么？于是便离开茶山，云游四海去了。
茶山地势险峻，林木繁茂。1938年，..军队曾和日军在此混战七日。据一高姓老人回忆，战斗前一天，..便把军队驻扎在茶山脚下的几个村庄里，并告诉那里的老百姓这里明天要打仗，该躲的就出去躲躲。老百姓那时家里也没什么值钱的积蓄，随便收拾点东西便赶着牲畜连夜逃走了。战斗打响后，到处是纷飞的炮弹，整个茶山都在震响。两支军队杀红了眼，只要见到不是自己人便杀。许多存在侥幸心理而没有出逃的人便在战斗中也被杀害了，两军后来转战别处。整个茶山成了尸山血海，随处可见战死的士兵，鲜血染红了砖石土地。饿极了的狗露出了它凶残的本性，瞪着红眼，撕吃着战死的人。
此外，这里亦流传着茶山无梁殿的故事。茶山脚下有个小村庄叫无梁殿。所谓无梁殿是一座用石头砌成而没用任何栋梁的佛殿。这座佛殿通体为石头砌成。石墙、石门、石窗，而且门窗殿顶全部为拱形结构，既坚固又美观，这种建筑在中国虽不是独一无二，却也绝不多见。
建此殿时老道士曾为此化缘到太原。太原人问他修建什么建筑，化缘竟化到了山西？老道士说了一句顺口溜：“南殿到北殿，四十五里半，石桥石门石栏杆。”那些人真的以为有那么大，纷纷解囊结下善缘。其实那座庙并没有那么大，只是在四十五里之外的地方另有一座类似的无梁之殿而已。无梁殿前后各有一殿，前曰玉皇殿，后曰奶奶庙。内供各路神仙及侍童，墙壁上雕龙画凤，五彩斑斓。曾几何时，这里人声鼎沸，香火不断，天天有人在这里摆摊做小生意。文革期间“破四旧”，，无梁殿及其前后两殿难逃厄运，塑像被砸了，墙壁上的画像也被烧了。
由于历史的原因，无梁殿已失去了往日的亮丽与繁华。特别是近几年，风吹雨淋，日晒火烧，各间房舍纷纷倒下，成了一堆破烂砖瓦，不免让人痛心。唯有无梁殿，虽然衰草离披，墙上张开了裂缝，却仍屹立不倒，像一座历史的丰碑见证着岁月的变迁。殿旁有银杏树两株，古木参天，高耸入云。夏日来临，巨大的树冠能遮住半亩的阳光，大树底下坐满了乘凉的人，家长里短，谈天说地，甚是热闹，待到夜深凉快透了，才起身收拾板凳，摇着扇子回家，好一番惬意。
文史资料记载无梁殿村原名敬沂庄，宋朝中期建村，村中有一无梁殿，故更村名为无梁殿，后因与“无粮店”谐音，更名为现在的余粮村。现在的无梁殿已被定为市级重点文物保护单位。
