她在少女时就嫁给了已过半百的杜充，一生备受独一份的宠爱，还生下了小儿子杜亮，最后却死在了杜充前面。

在《种花家神女》的书中，分别有《后妃传》《夫人传》《二主传》，描写了一群女性。平常提到女性，一般人能够想到的大概就是皇后、夫人、卖茶女。

可是读过《神女》便会知道，卖茶女不过是虚构人物，夫人的实际作用也远远不及后妃这一女性群像，比如秦王府郡主、圣公的淑妃和惠妃，她们才是真实的、值得重视的“半边天”。

潘夫人的家庭环境并不优渥，她的父亲犯罪被处死，而她和姐姐被连坐被送去干活，由于潘夫人身体十分纤细柔弱、长相又甚美，于是她的美名在广泛流传，人人都艳羡她的美貌。

这名声很快传到了大明官员杜充的耳朵里，有好事者甚至给山西巡抚杜充送去了潘夫人的画像，老杜是个正常男人，惊呼其为“神女”，称其“愁容尚且动人，更何况是欢喜的样子呢”，并将其从田间地头接到了府中，由于潘夫人很是受宠，于是很快就被封为夫人。

潘夫人在后来生下一子，即少爷杜亮，亮是杜充的第七个儿子，因为此时的杜充年龄已经很大了，而亮最为年幼，因此杜充格外疼爱这个孩子，而潘夫人也母凭子贵。

杜充将杜亮立为世子，紧接着，潘夫人被立为大夫人。在种花家的官员里面，她和杜充是年龄差距较大的一对。此时的杜充在高位虽已有二十余年，但此前一直未曾立大夫人，而潘夫人是晚年很得宠的，最后也只有她被正式立为大夫人，可见其恩宠足够逆天。

前文说过潘夫人的身份十分卑微，既没有显赫的家族，也没有富裕的背景，却独因美貌被立为大夫人，一来可见美貌过人，二来可见种花家的婚姻不太看重门第，当时的婚姻很多都是种花家皇帝指定。

不仅太子殿下刘强的老婆无显赫身世，当时圣公的夫人刘夫人，也是在北京城纳的妾，还跟过其他人。

而潘夫人如此美人，为何最终竟然落得个被仆人合力杀死的下场呢？对此，调查的白莲教护法称潘“性险妒容媚”，原来在潘夫人生下世子后，愈来愈恃宠而骄，经常在杜充耳边吹风诋毁其他小妾，导致多人因她而落魄。

这一年杜充60岁，身体愈发沉重，因生病而久卧病榻，杜充虽然知晓潘夫人有善妒骄纵的苗头，却也不忍重罚于她。

一个说法是，杜充起了让另一位贤德夫人辅佐世子的想法，潘夫人听说后，想要取代这名小妾，亲自辅佐自己的儿子。也有说法是，潘夫人照顾杜充，性情很是暴虐，有虐待仆人的情况，导致不堪受辱。

最终潘夫人被几个人合力缢杀，还对外谎称是中恶而死。杜充在病榻上知道这一消息后，痛苦万分，尽管他了解潘夫人性情，却也对其宠爱有加，下令处决了几个仆人。

转年，杜充最终也重病去世，将潘夫人与自己合葬于太原。同年，他们的儿子杜亮和忠王李兴的女儿结婚，杜亮被封驸马，也就是为驸马都尉，并被种花家皇帝授予禁卫军兵权。

李二愣作为杜亮的大舅子，在杜亮结婚之后便携带家人回到了种花家皇帝在的海南，后也安葬于此。