吕良伟同妻子杨小娟一直表现恩爱，2014年5月5日适逢小娟生日，身为丈夫的吕良伟帮妻子庆祝，并在微博晒照片秀恩爱。吕良伟在微博上传几张同太太庆生照片，个蛋糕好别致，现场又有气球装饰，吕良伟更向妻子献上生日之吻，画面温馨甜蜜。
杨小娟和大众明星吕良伟相比，显得有些神秘，其实杨小娟本身是中国内地高干子弟，北京大学经济系毕业，在内地做过茅台酒及手袋生意，亦曾任深圳商会会长，故此在内地政商界人脉甚广，是位纵横商海的女强人，实际遥控操作很多投资，吕良伟的投资理财，全交给精明的杨小娟打理。在嫁给吕良伟之后，杨小娟在家相夫教子，一直以慈善企业家和吕良伟太太的双重身份屡见报端。
2001年法国时间4月14日，吕良伟在《上海滩》主题曲音乐伴奏及数十宾客见证下，与杨小娟共谐连理。当天新娘子杨小娟以一套珠片奶白色婚纱出现，高贵艳丽，为配衬这套由Benny Yeung设计的婚纱，杨小娟在香港Tiffany精心挑选价值数十万元的珍珠钻石耳环和颈链。
对于追求杨小娟的过程，吕良伟透露，结婚前夜，自己曾感叹，当年有很多人都在追求杨小娟，而且都是那么优秀的男人，在竞争中突围不容易，吕良伟还透露当年为了顺利迎娶太太，自己包了个9999港元的开门红包“贿赂”伴娘。
吕良伟曾经有过两次失败婚姻的，他评价现在的妻子杨小娟是个娱乐圈外的女人，最大的特点就是喜欢吃香辣蟹，吕良伟觉得妻子杨小娟，既是自己眼中的贤妻良母，也是自己家中的漂亮贤妻。他们有个已近学龄的男孩子，孩子的名字叫做吕善扬(Ryan)，吕良伟给儿子取这个名字的意思是；善事多为贤君子，扬名立万真英雄。杨小娟也一直在照顾吕良伟爸爸的起居生活。
吕良伟上世纪60年代从越南迁居香港，他从越南华侨家庭穷小子变身10亿富翁，经历传奇。刚出道的吕良伟曾经是个“月光族”。在《上海滩》拍到第六集的时候，吕良伟就对爸爸说：“你不用再做工了，我可以养你了！”《上海滩》的成功带来的是工资上涨和报酬增多，转战电影圈拍了《跛豪》之后，吕良伟的名气更大，收入也更多。成名太快让他觉得一切都来得太容易，他在香港买了400平方米的豪宅，很长一段时期赚钱供养全家13口人，除此之外出境旅行、吃喝玩乐、麻将赛马……“花钱无度”这个词在很长一段时间内充斥着吕良伟的生活。
直到1997年的金融风暴，所有的股票、房产、投资让吕良伟一下子亏损了几千万，一夜之间他从一个“千万富翁”瞬间沦落为一个身负“负资产”的普通人，这是他人生的最大打击，然而也让他开始转变自己的金钱观，“现在我非常尊重钱，因为我觉得钱可以对我的家庭、对我的事业各方面都起了非常大的作用，还有我要钱因为我希望能多捐很多希望小学，现在我对钱的观念，跟以前不一样了。”
2001年吕良伟和贵州姑娘、商界女强人杨小娟结婚，积极从商，除了继续炒卖房产，雄心也越来越大，在内地及台湾均有工程生意。目前吕良伟跳出娱乐事业，研发多媒体技术，在内地经营一间名为“触动传媒”的广告公司，在国内可算数一数二。据知，该公司经营的是出租车车载广告系统，目前在北京、上海、广州、深圳的的士内，都设有该公司的电视广告屏。
身为公司的重要股东之一，吕良伟在2003年起和美籍华裔商人一起创立该公司，当初的投资金额约为1000万美元，3年后开始有利润，目前每年营业总额达2亿人民币，并有意上市集资。据悉，美国一间大公司早前向吕良伟招手，希望合作助他的公司于美国纳斯达克挂牌上市，初步估计市值随时达20亿元或以上。