李森1914年出生于当时的衡阳县车江镇金马村，1917年是李森童年命运的一个分水岭，在此之前，李森家境尚可，祖上算是当地的望族，祖父李藓青曾任过云集乡的团练，祖父的哥哥李茂是清光绪年间的进士，做过上海崇明县的县令，父母都是受过良好教育的知书达理开明人士。李森3岁那年，父亲去世后，家境渐渐中落，母亲独自带着李森，在乡间，女子克死丈夫，又没有生下儿子，被周围村民辱为“绝蔸婆”，母亲魏辉不愿忍受，遂带着李森搬到衡阳城，在省第六女子中学附小教书为生。
李森仿佛生来便与体育有着不解之缘，9岁的她便对武术充满兴趣，母亲虽然较为开明，但在那个时代，女子学武还是超出了母亲的心理底线，遭到拒绝，可是事情就是这么巧，李森的姨夫正好是个形意拳爱好者，李森还是学上了武术。到12岁的时候，李森顺利考入省六中，在入学后的两次学校运动会上，李森便一鸣惊人，两次拿下短跑冠军，展示了自己的体育天赋，此后被学校优先照顾，作为体育特长生的苗子重点培养。
