忽必烈心想着，我元朝疆域辽阔，为何皇后偏偏要选择这个偏僻的小土包呢？而且也与我皇室身份所不符。可叹到他那知翁娘娘对风水占卜之术大有研究，且还说“日后必有天子日夜为我守墓”，估计应该是风水好吧。
原来翁娘娘生前就对这块地进行过观察，是绝佳的风水宝地，也料定必有后人会在这兴建园林，而翁娘娘所预测之人便是那爱新觉罗·弘历，也就是乾隆。他呢是个孝顺儿子，为了给老佛爷祝寿，便悄悄派人四处寻找风水宝地用来建造皇家园林。最后落址就在翁娘娘所埋的小土包之上。并在此筑九层延寿塔。于是工匠们便开始按照旨意开始工作，，刚开始掘土打地基的时候经常会出现些怪事，后来建至第八层时，乾隆觉得建筑风格与当初自己的想法格格不入，很影响美观，于是便拆了，命人在这里修建一座佛香阁。
上面说的是正史上记载的佛香阁建造的来历，而在民间一直流传这这样一个故事。当初延寿塔建到第八层时，乾隆听附近的老人说这小土包底下埋着一位元朝皇后就不敢轻举妄动，便上报乾隆，乾隆听后很是好奇，就又增派人手深入挖掘。很快就挖到了墓中石门，门旁有一石碑，上面写到“我不动你，你不动我”这八个字，乾隆得知消息后毛骨悚然，怕打扰到这元朝皇后，就命人用土填之。
