随着Growth Hacking在中国的传播和兴起,作为增长黑客必杀技之一的A/B测试,也被越来越多的国内企业所接受和重视。然而,A/B测试看似简单,实则隐藏着许多沟沟坎坎,稍不注意就会导致试验结果偏离科学轨道。那么今天,我们就为大家一一细数那些年我们在A/B测试中踩过的坑。
PS,文中包含大量真实案例,若能对号入座,请尽快修正试验方案。
1. 轮流展现不同版本
对于广告主而言,找到最有价值的广告投放渠道,提升着陆页(landing page)的转化率,从而对整个广告投放流程进行优化,无疑是最核心的优化目标。采用A/B测试对不同版本的广告和着陆页进行测试,是一种很有效的优化手段。也就是将不同版本的广告和着陆页同时投放,根据它们各自的数据表现,就可以判定哪一版更好。
而目前最常见的做法是,将不同版本的广告进行轮流展示,比如谷歌Adwords系统中的测试功能,就是采用的这种方法。这种所谓的A/B测试(请注意,这种测试方法其实并不能被称为真正意义上的A/B测试),就让企业掉入了第一个陷阱。
举个不太恰当的例子,如此的测试方法就好比在电视上投放广告,分别选取了工作日的下午三点中和晚间黄金时段进行测试收集。由于轮流展示时的测试环境不尽相同,所面向的受众群体更是千差万别,因此最终试验结束后的数据结果必然会存在一定偏差,也就更不具有说服性了。
正确的做法是:不同版本需