A/B实验避坑指南:为什么不建议开AABB实验
本文将针对日常开设 A/B 实验过程中一个不太合理的使用方法——AABB 实验进行详细的解释,告诉大家为什么不建议开 AABB 实验。
在开始之前,先来回顾一下“什么是 A/B 实验”,A/B 实验是针对想调研的问题,提供两种不同的备选解决方案,然后让一部分用户使用方案 A,另一部分用户使用方案 B,最终通过实验数据对比来确定最优方案。
什么是?AABB?实验
众所周知,AB 实验就是我们在总流量中分流出两组用户,一组使用原策略 A,一组使用新策略 B,比较两个策略的效果。
那么 AABB 实验是什么呢?
简单来说,在做实验的时候,会从总流量中分流出2个原策略组(A1、A2)和2个新策略组(B1、B2)。两个原策略组的实验配置一模一样,两个新策略组的配置也是一模一样的。实验者会综合比较 A1、A2、B1、B2 各组之间的指标差异(但其实多数实验者分析的方法并没有理论依据,文章后面会作出解释),这样的实验被称为 AABB 实验。
当然,也有实验者会分流出更多策略组(AAABBB、AAAABBBB 等),或者引入多个不同的新策略(AABBCCDD 实验等)。这些实验与 AABB 实验存在的问题趋同,本文中姑且先以 台湾剧 AABB 实验为主要分析对象。
为啥总有人想开 AABB 实验
在进行了部分用户调研后,火山引擎 DataTester 团队发现,开设 AABB 实验的实验者通常想解决以下问题:
验证用户分流是否“均匀”
部分实验者担心火山引擎 DataTester 平台的用户分流不科学,因此开设 AABB 实验,通过比较 A1与A2、B1与B2之间的实验指标差异,来检验用户分流是否合理。
理想状态下,如果用户分流是随机的,那么相同的策略组(A1和A2之间),在实验中检测出的指标差异应该很小 。这是用户对于实验结果指标的预期。这时候,假如实验结果中,A1、A2的指标出现很大的差异,甚至于呈现“显著”,实验者就会认为,是火山引擎 DataTester 后台的分流机制有问题。然而,这个判断是不科学的。为什么呢?请阅读下文中的错误 No.1。
比较“AA组内差异”和“AB组间差异”
有的实验者认为:开设 AABB 实验,假如 AA 之间的实验结果差异很小,AB 之间的实验结果差异较大,那么在这种情况下,我的B策略应该就是有用的。这种想法本身没有问题,但是火山引擎 DataTester 的大部分指标提供了置信度功能,此时这种做法就显得有些画蛇添足了。详细的原因参考下文中错误 No.2和错误 No.4。
AABB 实验到底错在哪儿
No.1 AA组内指标差异显著/置信并不代表分流不科学
A1、A2组之间的实验指标差异大,甚至出现显著,就能说明分流不科学吗?其实并不能。实际上,在对比 AA 组间指标差异时,以下的几种情况都是完全可能发生的:
1.AA组内的指标必然存在差异:虽然A1、A2两组所采用的策略完全一样,但进入A1、A2组的用户是完全随机的,这是随机抽取的两份样本,必然存在抽样误差,因此指标值不可能完全一样。
2.AA组内的指标差异可能还不小:如果样本中的用户量太少,或样本用户中存在极端个例(比如抽20个人算中国人的平均收入,抽样的时候抽到了农夫山泉董事长钟睒睒和月薪5000元的某人),那么在观察常见的均值等类型指标时,AA组内指标差异很可能还“不小”。
3.AA差异可能“显著”:在检验假设的过程中,我们容易犯的一类错误是:策略原本无用,但实验结果显示该策略有用。A1、A2组指标差异显著,正是对应了这类错误——其实两个策略是一样的,但是实验结果显示A2有用。在 A/B 实验中,这类错误出现的概率是5%。也就是说,假如你开100次 AA 实验,出现5次显著是合理的。如果 AA 实验指标差异呈现统计显著,也不过是一个概率问题,并不代表分流不科学。
综上,我们再来回顾一下什么是“统计显著”。顾名思义,这是一个统计术语,并不等同于指标在实际业务中发生了“显著变化”。更不能以此推论出“因为 AA 有差异,且 AA 的策略相同,所以分流结果有问题,AB 的结论也不可信”。
No.2 AABB实验中,统计指标更容易犯错
先来明确一点,目前火山引擎 DataTester 的统计学原理是双样本假设检验。也就是说,目前火山引擎 DataTester 的假设检验都是按照一个对照组(旧策略组A)和一个实验组(新策略组B)来设计的。在1次比较中,我们犯第一类错误的可能是5%。AABB 实验中,实际上有6组对比(排列组合一下:A1A2,A1B1,A1B2,A2B1,A2B2,B1B2)。组合增多,那么我们犯错的概率必然会增大。
如果实验者将实验组增多(AAABBB),或者参与实验的策略增多(ABCDE,AABBCCDD等多个新策略),那么排列组合就会更多了,犯错的概率就会越来越大。再加上在实验中,我们可能会观察多个指标,这样我们犯错的概率就更大了。
No.3 AABB实验一定程度上会影响实验的灵敏度
实验调用的样本量越多,实验结果就越灵敏。相较于A/B 实验(只设置一个A组和一个B组)来说,AABB 实验将实验组的数量增加到了4个。此时实验者不得不面临几个选择:
1.实验总流量不变,各实验组的流量减少一半,这会造成实验灵敏度下降;
2.单实验组的流量不变,将分流进实验的总体流量增加一倍,这意味着实验者可能会承担更大的风险(如果新策略造成负向影响,会有更多的用户受到影响);
3.也有一些聪明的实验者选择延长实验时长,让更多用户进入实验之中,但这会产生更多的时间成本。
既然如此,我们为什么不干脆把AABB实验合并为A/B实验呢?这样反而可以使得实验更灵敏、风险更小、结果更可靠。
No.4 p-value已经帮助我们比较了“AB差异”与“AA差异”
经过一些用户访谈,我们了解到大多数用户开设AABB实验的动机是:判断“ AB差异”是否高于“ AA 差异”,并以此辅助自己进行决策。事实上,仔细理解显著性水平的原理,我们就会发现,p-value 已经从更科学的角度帮助我们完成了这个任务:p-value 小于0.05,就是在保证了“ AB 差异”一定大于95%以上的“ AA 差异”。
既然 p-value 已经帮我们比较了“ AB 差异”与“ AA 差异”,我们为什么还要自己开设 AABB 实验进行比较呢?从某种程度上说,利用一次 AABB 实验来观察“ AB 差异”是否大于“ AA 差异”,仅仅是在浪费实验资源而已。
核心:让风险“可量化”且“可控”
总体来说,A/B 方法论的核心是要让风险“可量化”且“可控”,火山引擎DataTester 团队围绕这个目的使用假设检验范式设计了一整套系统。AABB 的实验设计作为一种客观存在,并没有什么绝对的对错,只是根据火山引擎的观察,对于绝大多数实验者和绝大多数业务场景,它的 ROI 是远远不足以让你选择的。
上一篇:为什么老师说物理学习好的学生数学也好?
下一篇:【学园动态】开放促提升,携手共成长——马甲意绥中心幼儿园北片区艺术公开课教研活动
最近更新成人教育
- 职业教育产教融合赋能提升
- 腾讯健康:联手迈瑞医疗助推行业高质量普惠发展
- 儿童友好|“红色传承”——金华市站前小学五年级秋季研学活动
- 考生、家长速看!云南省2024年高考11月5日起报名
- 巢湖市城乡公交线路优化调整 10月20日起实施
- 自贡自流井区:密切家校合作 家校共育连心桥
- 防拐骗、防暴力、防意外……武昌水果湖二小这样教学生自护自救
- 七险二金!云南省属国有企业招人啦
- 烟台市区七个口袋公园年底全部交付
- 24日至25日,北京南部、天津、河北中部局地可达重度霾
- 自考学位证申请的条件是什么?
- 投资160亿元!德欧中心四川
- 贵州税务:加计扣除优惠政策对支持我省企业投入研发、鼓励科技创新起到重要作用
- 高通骁龙 8cx Gen 4 处理器跑分曝光,多核成绩逼近苹果 M2
- 法律职业资格考试主观题考试益阳考区首次开考
- 初级会计证考试都是选择题吗?
- 大国粮仓装满优质粮
- 把课间还给学生,“圈养”并非长久之计
- 江门鹤山:“全链条”保障好“舌尖上的安全”
- 第十届晋江市中小学生“泉州南少林五祖拳健身操”会操比赛圆满落下帷幕
- 北京市开展2023年度公开遴选和公开选调公务员工作
- 防范电信网络诈骗共建平安和谐校园
- 台庆74周年,广东广播电视台开展中医药文化进社区公益活动
- 原创CBA前三轮排名!郭士强压制老东家,新疆上升8位,北控连败露底牌
- 50%职场人群多受腱鞘炎困扰 使用人体工学键鼠有助于预防腱鞘