汉武帝走后，李夫人的姐妹责备她说：“贵人您为什么不可以见一见陛下以嘱托兄弟呢？难道这样痛恨陛下吗？”李夫人说：“我之所以不愿见陛下，正是为了能确实地托付兄弟之事。我因为容貌美好，得以从微贱地位获得宠爱。以美色事人者，色衰则爱意松懈，爱懈则恩义断绝。陛下之所以还能念念不忘来看我，正因为我平生美好的容貌，现在如见到我容貌毁坏，颜色非故，一定会厌恶抛弃我，还怎么会记得怜悯录用我的兄弟呢！”
不久，李夫人去世，汉武帝以王太后的礼仪将她安葬。
李夫人病逝后，汉武帝思念不已。忽一日武帝梦到李夫人后，想与李夫人再见一面，便找来方士设坛作法。武帝在帐帷里看到烛影摇晃，隐约见一身影翩然而至，却又徐徐离去，便凄然写下：是邪？非邪？立而望之，偏何姗姗其来迟。武帝又自作赋以寄恨焉。
李夫人因年少早死，汉武帝怜闵她，于是命画师将她的容貌画下来挂在甘泉宫。
武帝思念李夫人之情日夕递增。他想到李夫人病中嘱托的话，于是封李延年为协律都尉，弟弟李广利则封为贰师将军海西侯。为李夫人的一句遗言，武帝也称得上是一往情深。
