他的姑奶奶是鲁迅的妻子许广平，姑爷爷就是鲁迅本人。叔公许崇智曾是创办黄埔军校的粤军总司令，另一位叔公许崇清也当过广州教育局的局长。

另外，许绍雄和名流许晋亨、李嘉欣所属的许爱周家族，也有亲属关系。粤语老片《七子登科》，讲的就是他们家族的故事。直到一九五八年，许绍雄跟着家人移居香港，还报考了无线明星训练班，成了 TVB 第一期明星训练班的学员。

许绍雄和妻子龙嬿，是在一个朋友的聚会上偶然相遇的。他们一九九二年结为夫妻，婚后第五年生下了女儿许惠菁。龙嬿之前有个儿子，许绍雄对这个继子就像亲生的一样，两人关系特别亲近。之前他给女儿许惠菁提供了七百万港元的商业资助，还送了一套价值大约两千三百万港元、位于新加坡的物业当女儿的嫁妆，这足以看出他财力有多雄厚。

许绍雄的妻子龙嬿，也是出身名门的人。她外家的祖业清晖园，曾是我国十大名园之一。有报道说，清晖园最早是在明朝天启年间建的，到了清朝乾隆时期，由大良进士龙应时买了下来。后来龙氏的后代又对它进行了修缮和扩建，才有了现在的规模。