AB_test

AB_test用于解决什么问题？

为了验证一个策略的效果，同一时段内，给实验组（采取优化的策略）与对照组（采取原策略），对比看那种策略的效果的实验方法。

关于ABtest的两种错误观念

• 判断策略好坏，靠直觉好于做ABtest。
  面对的场景不同，可能采取同一优化策略，效果是不同的；曾经采取优化策略不奏效，不代表在新环境下策略无效。
• 不是说，什么时候都必须abtest。有些产品还在早期，用户量太小，是没法通过abtest得出靠谱结论的；有些产品体验的改进是可以通过线下用户调研得到答案的

ABtest的具体操作步骤是什么？

待补充

如何实现ABtest，工具有哪些？

1. http://abtestguide.com/calc/
   这个网站计算的指标比较完善，p值，z值和其他很多本文未介绍的指标都有。这个网站还考虑了单侧实验和双侧实验的情况。不过它的问题是不太稳定（可能和我这边的网络环境有关系）。
2. https://vwo.com/ab-split-test-significance-calculator/
   这个网站只计算了单侧检验的p value。好处是比较稳定。
3. https://vwo.com/ab-split-test-duration/
   数据量不够，可以用这个工具看看是否实验时间不足。

需要注意的问题是什么？

注意控制变量，除实验策略不同以外，其他场景尽量保持一致,减少外部因素干扰

1. 时间一致性；
2. 数据分布的一致性；
3. 统计显著的结果才可以引导决策；
4. 实验分组设计上（流量分布要均匀）

特点

1. AB test 帮助你在现有流量中获取更多的收益，或者在现有流量中提升ROI，或者说在现有用户基础上提升活跃度，但是在衡量对用户量增长或者获取新流量是否有帮助上，ab test或者所起作用不大。
2. AB test还有一个缺点，就是只能做小范围的效果比较，比如作用于同一个场景使用不同算法的效果比较；比如它不能告诉我们，A业务的推荐算法是否比B业务的推荐算法做得好；也就是说它不能衡量一个模型的迁移和泛化能力；

教程

AB_test 英文教程：https://exp-platform.com/2017abtestingtutorial/

参考文章

https://www.cnblogs.com/zichun-zeng/p/9042779.html