芳贵人原名高兰芳，家中是汉族包衣，隶属内务府却并非大官，家中父母兄长都在给皇家酿酒的作坊当中供事。
那作坊位于京郊的乡下，高兰芳便也在乡下长大，上头两个哥哥一个姐姐，下头两个妹妹一个弟弟，父亲母亲也有好几个未长成的弟妹，家中人口奇多，哥哥姐姐、叔伯小姨数都数不清。虽然并不富贵，也没有姨娘丫鬟帮衬，却其乐融融，快活无比。
因为家境贫寒，因此从小女孩儿也当男孩用，便练得一身的力气，在家里头搬运酒缸、酿酒晒料都十分的娴熟。由于酿酒之家，大米白面都显得珍贵，反而酒糟和一些剩下的酒液奇多，便自幼练了一身喝酒的本领。
她家里称得上家徒四壁，自幼是与姐姐妹妹，还有一个与自己年岁差不多大的小姨挤一个屋子里的。家里的房子是泥土砖垒的，头顶铺着瓦片和稻草，一进房屋便是人挤人。
年岁长了一点儿之后，两个大一些的小姨姑母寻了亲嫁了人，而叔伯兄长则一个个都还在打光棍。
倒不是人才太浅人看不上，而是家里实在太穷，连个下聘礼的钱都没有。
待到高兰芳十三岁的那年，两个哥哥都十七八了，一个小伯也十七八了，还穷得叮当响，原本互相有些情谊的邻家姑娘也因为聘礼的事转嫁他人，父母合计实在是不是办法，开始想办法让女儿与人换亲。
换亲的意思就是，将女儿嫁给别人家，也将别人家的女儿家嫁过来，双方聘礼相互抵消，便谁也不差谁的银款。
但穷到实在要换亲的，不是穷的过不下去的人家，就是十足十的光棍混蛋，更或者是身体有大毛病的瘸腿、瞎子。高兰芳父母合计的时候，两个哥哥便冲出去说不行，若是要用妹妹的终身来换，宁愿不要。
可实在穷的厉害，怎么办呢？
有一日长兄上街卖一些打到的野兔和柴火，回来便告诉了高兰芳一个好消息，说京城中有人开小酒坊赌馆的，拼的是谁酒量好，且有人在一旁赌钱下注，若是能喝赢所有人，便能拿走不菲的银两，而下注的人也能得钱。
通常来说，店家都会掂量几番赌客的本事，若是看起来不能赢的人，便倍率较高，看起来便是满蒙大汉、酒量奇好的人，赔率也递了几分。高兰芳年纪虽小，还是女孩，却也酒量不浅，甚至是家中兄弟里最好的一个。因此长兄便想让她去参加比赛，赌一个大的回来。
高兰芳没有多想，就答应了哥哥的请求，第二日便与两位哥哥一同进城去。不过这种事终究不敢告诉父母，只是找了个“带妹妹进城看看”的借口，便携上几十个铜钱出门去了。
到了小酒馆，高兰芳便想参加赌局，没料店家看她小小年纪，还是个女孩儿，说什么也不让参赛，理由是万一女孩儿出了点什么事，店家担待不起。
而在高兰芳与哥哥们垂头丧气出店门时，被一个年轻的小姐给拦了下来。