据史书记载，纪晓岚先后有一位夫人和六房妾。纪晓岚的夫人姓马，马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友(在北京纪晓岚故居，四合院中一株海棠，便是与文鸾所种)。郭彩符是纪的侍姬之一，沈明玕是纪的另一侍姬。

　　纪晓岚有儿子四个，四个儿子都没什么大成就：

　　长子纪汝佶(1743—1786年)，字御调，又字侠如，出生于乾隆八年十二月二十七日，当时纪昀20 岁;

　　次子纪汝传(1747—1777年)，字绪承，出生于乾隆十二年九月十三日卯时;

　　三子纪汝似(1766—卒年不详)，字象庭，出生于乾隆三十一年九月二十七日丑时;

　　四子纪汝亿(1784—卒年不详)，字万斯。

　　孙子至少11个，汝佶的六个儿子：树庭、树乔、树荫、树蕤、树蕃和树蔚;汝传的五个儿子：树馨、树馚、树馡、树馪、树馥。其中纪树馨非常有才，纪晓岚去世后，是纪树馨把祖父的文章和笔记整理成书的。到现代，第六代或第七代孙里有几个名人，中国的第一位女律师、著名法学家纪清漪，著名作家柳溪(原名纪清)和著名画家纪清佑。