A/B测试具有三个主要特性：（1）先验性；（2）并

　　个步骤（见图7-9）。

　　图7-9A/B测试的四个步骤

　　第一个步骤：确定目标

　　首先要确定A/B测试要达到的目标，如想要提高购买的转化率或者着陆页的点击率等。

　　第二个步骤：设计变量

　　确定目标后，就要设计进行测试的变量是什么，比如不同的颜色、文案，然后再去确定什么样的数据才能够代表指标。确定好这些之后，就可以将新版本上线。

　　第三个步骤：调节流量

　　在调节流量环节会设置A、B两个版本各50％的访客量，这里的50％是一个相对的概念。接着用原有的总流量的10％进行测试，再把这10％一分为二，分配给A、B两个版本。

　　第四个步骤：得出结果

　　沉淀一段时间后，再来看看转化率及点击率与原始版本相比有没有提升。沉淀时间一般是两周，两周的时间足够包括用户使用产品的周期。同时，在这个时间段内，用户的行为就会产生一定的模式。

　　7.3.3抓住A/B测试的特性

　　A/B测试具有三个主要特性：（1）先验性；（2）并行性；（3）科学性。企业只要抓住了这三个特性，就能利用A/B测试做好产品优化工作，并避免以下三个问题，如图7-10所示。

　　图7-10A/B测试可以帮助产品运营部门避免的三个问题

　　案例

　　在线教育课程推荐方法A/B测试

　　某教育软件准备推出一项在线教育课程推荐功能，为了得到最好的效果，对这项功能进行了A/B测试。其产品部门准备了两个版本的测试，版本1是原始的设计方法，比较传统，就是把课程按照门类划分，分成三个大类。但是产品经理发现方案1的转化率和点击率非常低，因此对手上的数据进行了分析研究，并进行了用户调研。

　　通过分析调研，他们发现工作以后的培训人群最关注的是在工作中的竞争力，心理表现是不能落后于他人。该产品部门需要知道大部分人在学什么、哪些课程最流行。根据这种假设，该产品经理设计了第二种方案，就是按火热程度对课程进行排序。经过数据分析，该产品经理又得出了一个方案，然后用A/B测试来验证这个假设是不是正确。测试后，看到该方案最终的转化率提高了近41％，完全符合受众预期。所以这个方案是可行的，比传统设计更能提升转化率。

　　1．先验性

　　先验性是指先让部分小流量的代表性用户使用产品，再根据他们的反馈数据决定产品是否要正式对外发布。先验性的优势在于：只需少量样本数据就能够获得代表全部样本的确定性结果。在产品发布前进行先验性测试，不仅可以减少产品损失，也可以减少企业的测试成本。

　　2．并行性

　　并行性指的是可以把两个或者N个方案同时上线，同时对比每个方案的优劣，如此就能有效避免测试流程复杂、周期长的难题，为企业节省验证时间。

　　3．科学性

　　科学性可以分为两部分：一是流量的科学分配，指的是用部分小流量用户来代表整体用户；二是统计的科学性，指的是在统计测试结果时，用统计指标来判断这个结果是否具备可行性。

　　7.3.4A/B测试优化与应用场景

　　A/B测试优化与应用场景的关系包括三个层面的内容，分别是元素/控件层面、功能层面和产品层面。

　　案例

　　墨迹天气：元素/控件层面的A/B测试结果

　　为了增加用户在客户端使用分享按钮的次数，提高分享按钮的转化率，墨迹天气的产品团队设计了三种方案，看哪种方案的效果最好。

　　通过A/B测试，墨迹天气获得了数据反馈（见表7-1）：从分享率增减幅来看，版本2增加量最高，而版本1与版本3都有一定幅度的提升。从这个数据指标来看，能确定版本2是最好的。不过，此时却忽略了数据的科学性，所以还需要置信区间的数据参考，它代表了这个结果是不是显著的。版本1和版本3的置信区间是从负区间到正区间，情况不显著，也就是说这个结果并不确定；而版本3的置信区间的结果非常优秀，意味着统计结果是十分显著的。通过A/B测试与查看置信区间，墨迹天气选择了版本2进行发布。

　　表7-1A/B测试数据反馈表

　　编号 活跃用户数（人） 分享率增减幅 95％置信区间

　　原版本 90755

　　版本1 89913 近5％ -1.0％，＋10.4％

　　版本2 90462 近20％ ＋11.9％，＋23.6％

　　版本3 89886 近3％ -3.1％，＋8.3％

　　1．元素/控件层面

　　元素/控件层面其实很好理解，假设要对一个按钮的颜色对于点击率和转化率有无提升作用进行测试。按钮的原始颜色是红色，后改为绿色或者灰色，然后再看点击率和转化率有没有提升。按A/B测试的流程将之分为A、B、C三组，科学分配三组的流量。经过一段时间，就能得知哪种颜色对于点击率和转化率的提升效果最好。

　　2．功能层面

　　我们可以通过一个产品价格的测试来理解功能层面的测试意义。比如，某些网站主页会展示折扣率或直接展示折扣的价格，那么这两种展示方式哪种更能刺激用户的购买欲呢？男性用户可能更关注折扣后的价格而不关注折扣率，女性用户则更关注折扣率。再比如，500元的产品，是设置498元还是499元呢？哪种会让用户产生价格较低，没有超过500元，物超所值的感觉呢？这同样需要进行A/B测试。

　　3．产品层面

　　产品层面和灰度发布有很大的联系，灰度发布可以减少线上事故/Bug影响，比如iOS的发布。iOS APP在开发测试完成后，就要发布到应用商店中，而其需要经过7天的