纪晓岚一生也有一个遗憾，那就是他的长子纪汝佶英年早逝，死时年仅25岁，而且是因“文字”而死。纪汝佶非常聪明好学，21岁中举人，成父母骄傲。但天有不测风云，纪昀被发配新疆后，纪汝佶感到绝望，就放弃学业，每天与人吟诗作对，饮酒作乐。纪晓岚的学生朱子颖怕纪汝佶沉沦，带他出去散心，纪汝佶偶然读到《聊斋志异》手抄本，被内中故事吸引，于是专心创作鬼怪小说，放弃科举。
无奈始终郁郁不得志，纪汝佶终于落魄而终，年仅25岁。据说，家人为纪汝佶烧纸马时，不慎碰掉了一条马腿。纪汝佶突然坐起，喊道:“我的马怎么瘸了一条腿?”说完，倒下，没再醒来。纪晓岚对长子之死非常惋惜，将怨气通通撒到《聊斋志异》的身上，在自己著的《阅微草堂笔记》中，对该书多次批评。 长子去世后，纪晓岚写了一副挽联：
“生来富贵人家，却怪怪奇奇，只落得终身贫贱；赖有聪明根器，愿生生世世，莫造此各种因缘。”看得出他内心的遗憾！不过我们还是为他的才华感叹，乾隆也非常欣赏纪晓岚的才华，所以出门也经常带着他。有一次路过“天然居”的酒楼，遂以楼名为题作对联，上联是：“客上天然居，居然天上客。”后五字是前五字的颠倒，纪晓岚脱口而出就对出了下联，你能对出来吗？
