蔡少芬从不承认与刘銮雄的恋爱关系，而坊间也数度传言蔡少芬是为还赌债被才刘銮雄包养。
2000年，蔡少芬的阿姨向媒体爆料，声言蔡少芬是自愿跟刘銮雄好，蔡少芬事后召开新闻会，向媒体哭诉为母亲偿还了过亿赌债。还传出蔡少芬曾为他堕过胎。
在蔡少芬年纪很小的时候父母便离异，母亲嗜赌如命，为了逃避债务不断迁居，而小蔡少芬也被逼着不停转校，连朋友都没有。
加上在家又经常跟哥哥打架，蔡少芬形成了极重的自卑感和封闭的个性，觉得自己一无是处。为了替家人还债，蔡少芬拍戏后一直节衣缩食，把钱都留给他们。
可是很快蔡少芬发现他们的赌债总是还不清，是一个永远填不完的坑。蔡少芬觉得路越走越苦，于是想到了自杀。
蔡少芬获香港小姐后的18岁生日会上，一身名牌巨钻亮相，并在丽晶酒店筵开50席，耗资百万元，当时蔡声称生日会费用全由阿姨承担。
但事后阿姨揭发，这场豪华生日会其实是富商刘銮雄因情倾蔡少芬，一掷百万以博红颜笑。据传，蔡跻身娱乐圈只因其母要女儿替其还债，为此，母亲和阿姨还穿针引线，介绍她和富豪吃饭、喝茶。
自从得到刘銮雄照顾后，传闻刘曾赠她千万，后更将公司名下两个黄埔花园物业转蔡名下，并多次为蔡母还赌债逾亿港元。
而在蔡少芬与刘銮雄分手后，蔡母仍向刘銮雄借钱还债。刘的前妻曾说过：“蔡少芬是前夫（刘銮雄）的众多女人中，我最不恨的，因为她既孝顺又乖巧。”
