四川眉州，离城三十里左右，有一个小集镇。此镇濒临江边，镇上有几百户人家，商贾货物云集，买卖十分兴旺。
江上有一座古庙，相传是花蕊夫人费氏的祠堂，到今天还常常显灵。这庙的附近有世家大姓叫钟声远的，家里富裕又崇尚礼义，喜欢聘请有名的老师。钟声远的姐姐有个儿子叫谢琏，也是大族的子弟，就到舅舅家来读书。谢琏仪表容貌俊秀严整，风度高雅，全然没有贫寒读书人那种迂腐的样子，大家都很喜欢他，和他一同下棋，一起饮酒，谈笑吟诗，惟恐谢琏离去。钟家在私塾的后面，建造了一所特别大的园子，园里有碧漪堂、水月亭、玩芳亭、醉春馆、翠屏轩等建筑。谢琏非常喜欢园中的幽静雅致，在这里休息住宿，将近一整月了。
一天，谢琏偶然从外面回来，忽然见有四个女郎，年纪将近十五岁左右，娉婷窈窕，在玩芳亭旁嬉戏。谢琏以为是各位表妹，急忙上前作揖行礼。谁知到了面前一看，原来都不是。女郎们并不害羞躲避，仍然谈笑自若。谢琏问她们：
“小姐是误入此地吧？”其中一位女郎回答说：“我们姊妹是东邻花家的女儿，很早就听说花园美丽，奇花芬芳，异卉盛开，所以手拉手来此地赏玩。没有想到被郎君看到，希望不要感到奇怪！”谢琏猜想这是邻居女子互相往来，也不感到奇怪。
到了夜晚，谢琏快要睡觉的时候，忽然听得窗格间轧轧发出声响，好像有人在外敲推。谢琏起来一看，原来是白天所见过的女郎中的一个，突然进入门内，向谢琏行礼，和颜悦色，轻声细语地说：“奴家容貌平平，体质衰弱，偶然能见到您光华的容范，突然动了柔情，不能控制自己的欲望，因此不可忍受，所以冒犯禁令前来会你，违反礼义不惜私奔。恭敬地抱持被子牀帐，进献枕席侍寝。”说完，就请谢琏上牀，相互交媾，寻欢作乐。谢琏开玩笑地问她：“那三位女郎在什么地方？怎么就你一个人来呢？”女郎说：“姑且等待明天晚上，我会把牀笫的欢乐分给妹妹们的。”接着，随口吟诵了一首诗：
翠翘金凤锁尘埃，懒画长蛾对镜台。谁束白茅求吉士？自题红叶托良媒。兰质未灭心先荡，莲步初移意已催。携手问郎何处好，绛帷深处玉山颓。
一会儿，月亮下山，鸡叫声渐渐响起，女子手拿衣服起来说：“奴家回去了！”随即悄悄离去。第二天晚上，谢琏焚了一炉好香，开窗等待，女郎果然和一个人来到，笑着安抚谢琏说：“昨天晚上那种欢乐，希望让给小妹。”又对妹妹说：“你好好照顾郎君，好好做新娘吧。”接着就缓步出门回去了。她的妹妹与谢琏亲热起来，谈笑缠绵，同枕共被，同她姐姐一样。妹妹的性格机智灵巧，也能作诗，就作了一首诗赠给谢琏：
赤绳缘薄好音乖，姊妹相看共此怀。偶伴[女亘]娥辞月殿，忽逢僧孺拜云阶。春生玉藻垂鸳帐，香喷金莲脱凤鞋。鱼水交欢从此始，两情愿保百年谐。
吟诵完毕，小妹缓行告别回去。谢琏嘱咐再来。小妹说：“不要多说，管保不会让郎君一人独睡。’”这天晚上，大姊又送三妹来到。谢琏想让她们都留下来，大姊推辞说：
“等郎君做了四次新郎之后，我们姊妹会分别侍寝，周而复始。”谢琏随即就与三妹亲近，并且向她索要诗篇。三妹回答说：“我惭愧没有曹植七步吟诗的天才，又不是二个姐姐的对手，怎么会有这个能耐呢？”谢琏坚持要求，三妹这才吟诵道：
兰房悄悄夜迢迢，独对残灯恨寂寥！潮信有期应自觉，花容无媚为谁消？愁颦柳叶凝新黛，笑看桃花上软绡。夙世因缘今世合，天教长伴董娇娆。
一会儿，云雨完毕，夜色已深，三妹残妆尚存，鬓乱钗横，整饬衣袖起身，对谢琏说：“今晚四妹给郎君做配偶，我们姊妹不可能都来，大姊自会送她来此。”当夜二更光景，四妹果然盛装与大姊前来，与谢琏行夫妇之礼，山盟海誓，暗诉衷情，也作一首近体诗：
每到春时懒倍添，绿窗慵把绣针拈。奇逢讵料谐鸳耦，吉卜宁期叶凤占？鬓乱绿鬟云扰扰，手笼红袖玉纤纤。明珠四颗皆无价，谁似郎君尽得兼？
从此以后，四个女郎轮流分番，每晚有二人陪谢琏睡觉。谢琏私下想自己一个白面书生，能获得如此艳遇，一个已经很稀罕了，何况是四个女郎。于是作了一篇《峨眉古意》以自贺。诗为：
峨眉古郡天下雄，烟峦雪岭百千峰。鸟道萦纡通剑外，狼烟迢递逗蛮中。巴江蜀水人间险，曲道滇池化外通。九姓羌夷来部落，诸蕃巢穴入提封。
提封形胜称吾土，画戟朱门不可数。汗血名驹白日调，茧栗肥牛清夜煮。交衢开市驰轻毂，广厦乔林开别墅。横鞭马上揖相逢，投果车中目相许。少事豪华厌俗尘，惟将诗酒乐闲身。腰横宝带齐夸俊，家赐铜山不畏贫。宝带铜山容易得，难买婵娟好颜色。宁期向月得窥囊，讵料看花遇倾国？倾国倾城绝世颜，水苍刻钏赤锳环。美目盈盈溢秋水，长眉淡淡扫春山。春山八字争妍媚，姨姨妹妹皆殊丽。
凝妆谩羡翠楼娼，荐枕徒闻红拂妓。琥珀枕边盟誓存，玳瑁帘前烛烬昏。恋恋柔情随幕雨，依依好梦逐朝云。解玉遗香镇求耦，调铅傅粉忍抛群？菱花明镜当窗照，柏子奇香锦袖薰。奇香缥缈满兰房，终宵达旦恒芬芳。真真燕燕排鱼队，小小莺莺列雁行。鱼队雁行陪雁侣，凤管龙笙作龙语。褪山鸡头带笑扪，夺得鸾篦称娇与。露重星稀银漏沈，并蒂芙蓉笼锦衾。莲娇藕嫩美同貌，兰香蕙馥美同心。
酝藉风流多态度，回昼为宵岂相妒。密约应愁阿母猜，幽情肯向旁人诉？幽怀密约付谁知，天长地久万年期。愿为蝴蝶长相逐，愿学鸳鸯免别离。卓氏文君异闾里，南威西子非同气。窈窕娉婷出一门，一门四妙兼双美。踽踽凉凉游子妻，茕茕独独只孤栖。肠断愁听子规鸟，春来春去树梢啼。
诗成之后，谢琏写出来给女郎看。女郎们竞相传观赏玩，齐口称赞，认为是很少有人能唱和的作品。只有大姐默然不语，很久才长叹说：“奴家四人是堂姊妹，都是闺房里的处女，尚未许配人家，因为偶然窥赏园花，随即私奔，承蒙郎君不嫌弃，特别恩赐怜爱。只担心岁月难留，佳期易失，郎君难免要娶媳妇，妾身却不能再嫁人。织回文锦寄给丈夫，徒有苏若兰的才思；离魂与夫婿一同逃跑，苦无张倩娘的能力。白白地让鸾凤分飞、燕鸿互别，悠悠千古的遗恨，耿耿深长的思念，仔细想今日的欢乐，恐怕会成为他日的大祸啊。”三个妹妹听了后，也都叹息抽泣着回去了。
又过了一年多，谢琏的父母果然派人来叫谢琏回去完婚。女郎们听到这个消息，都来与他告别，当夜都宿在书斋。谢琏一一与她们温存，均分恩惠。天将破晓，四妹对谢琏说：“大姊往日的预言今天应验了。按照上天所定的气数来说，还有一年的缘份未完。只愿琴瑟好合，伉俪和谐；人生至乐，没有能超过此时此刻的了。希望能深切怀念我们这些家世低微的人，莫要轻易背弃。郎君成亲之后，要寻求方便来这里，奴家姊妹们仍当踮起脚跟，望穿双眼，在翠屏轩下等候郎君归来。”随即拔下一对金掩鬓作为送行的礼物。
其他三位姐姐也拿出翠钿、银镯、耳珰送上，说：“回去送给您的妻子，稍稍传递我们的深厚情意。”然后与谢琏洒泪分别。谢琏把她们的礼物都收藏在书箱中。
谢琏到达家里后，婚期已经临近。婚礼之后，家庭很和睦，但是对四位女郎的思念之情，却从未间断过。结婚满月之后，妻子回娘家问父母安宁去了，谢琏孤枕独眠，忽然在梦中与四位女郎相见，像以前那样交媾欢乐。事完以后，三妹起身说：“与郎君长久离别，没有什么可以表示欢乐，让我跳回风舞吧。”于是扬起翠衣，翻舞罗袖，即使赵飞燕的轻盈、公孙大娘的神捷，也不足以比拟其舞姿的奇妙。跳完舞，大姊作《回风之曲》道：
有淑人兮邦之媛，琼明月兮纫兰荃。扬轻躯兮掌上，翻长袖兮筵前。初鸿惊兮巧周旋，忽惟举兮何蹁跹？云鬟坠兮玉珥，文席委兮珠细。羌宛转兮妖且妍，奇莫敌兮妙莫传！倏低昂兮既罢，蹇良夜兮如年。
二妹也对四妹说：“又歌又舞，足以慰藉被遗弃的怨苦。
我和你应当做些什么呢?”于是取出一枝玉箫交给她说；“四妹善于此道，希望不要吝惜技艺。我倚曲唱和，不也很好?”
四妹欣然说：“这太好了！”于是从容不迫地吹奏了三遍。箫音清幽和谐，婉转细嫩，幽怨并且岑寂，就像夜露使寒蝉感到阴冷，就如秋云乘着清新的风直上蓝天。二妹也皱起眉头，歌唱应和。她首先唱道：
玉指兮冰容，写幽思兮诉深衷。袅袅兮余音，驻彩云兮明月中。
接着又唱道：
珠露零兮箫韵清，幽修凤语兮和且平，欢乐未极兮空复情。
又再次唱道：
紫箫咽兮夜无哗，宝篆微袅兮烛垂花。沙欲没兮夜欲阑，聊逍遥兮暂为欢。脱花钿兮收明珰，舒衾淡兮归洞房。齐交颈兮如鸳鸯，银漏短兮欢娱长。但悲白日兮上扶桑！
谢琏正在侧耳聆听，忽然鼓楼呜角，寺庙敲钟，他推开枕头，伸了一个懒腰，原来却是南柯一梦。但是，梦中的词曲都能回忆起来，于是起身抄录了下来。谢琏总是牵挂这四个女郎，就假托要完成学业，前往舅舅家就读。四位女郎庆幸谢琏再来，爱怜眷顾，超出往常。谢琏对她们说起梦中的事，女郎说：“这是夫妇思念深切，所以表现在梦寐中，不值得奇怪。”谢琏留恋这几位女郎，平时只呆在书房，半个多月中，也不和舅舅照面。舅舅对他的行踪很怀疑，一天晚上暗中出来到园中，想看看外甥到底在干什么。只见谢琏与诸女郎正在赏月，谈笑正浓。舅舅急忙进去呼唤外甥，女郎们突然之间惊逃奔散。舅舅随即对谢琏严加诘问，谢琏始终不肯把详情说出来。他舅舅对妻子说：“后花园园地宽阔，树木繁多，即使没有花月之妖，也有水石之怪。谢琏很英俊，人又长得端正，难道不会被妖怪迷惑吗？还是赶紧送他回家，只恐怕时间一长他会得病。”于是命令仆人送谢琏回家。
谢琏到家后，不出半年，因为思念女郎的缘故，他果然染上了重病，神情恍惚，说话断断续续，躺在牀上奄奄一息，长久不能痊愈。钟声远亲自前去探望外甥，并把他发现的事情全部告诉了谢琏的父母。他的父亲再三询问，谢琏这才吐露实情，并且把所得的诗作以及金掩鬓等物品拿出来，一看，原来都是泥捏的。他父亲知道儿子已遭受鬼妖的祸害，就与钟声远一起到园中访查，但是并没有踪迹。于是就前往花蕊庙求签，当他们经过东边廊屋的一个小房间时，帐幕遮掩，人迹罕到，揭开帐幕一看，只见上面题着“巫山神女之位”，塑有四位美女的泥像，东边坐着的一人少了一对掩鬓，右边二人臂上缺少两个镯子、耳朵上少了一副耳珰，左边一人脸上脱落两枚花钿。谢琏的父亲大为惊慌，拿出泥捏的物品，一一放回原处，都相吻合。随即用手砸碎四位美女像，命令仆人全沉到江里，然后回家。这以后一个多月，谢琏的病也好了，怪魅从此绝迹了。