码云阅读 2019-06-05

[产品教程]如何搭建一个AB text系统

文章目录隐藏

随着公司业务的发展，慢慢已经从做新功能，变成优化功能，至于怎么优化功能，精细化运营已经很难直观判断。尤其作为裂变增长组的 PM，对公司现有砍价、助力、签到等工具的优化，尤其需要引入 AB Test 这种科学的评估工具。

所以，第一时间收到要从 0 搭建一个 AB Test 系统以后，自己就很认真的投入进去。从需求调研到竞品分析，再到系统设计和功能设计，再到具体的产品设计、后台原型和需求文档，以及最后的首期 AB Test 上线并输出结果。

发现更换 3 个字的按钮文案后，取得了一个远超出预期的结果，按钮点击率从 21%直接提升到 39%。

以下是如何从零搭建一个 AB Test 系统的回顾和复盘：

一、AB Test

简单来说，就是归属于互联网行业的对照实现——即通过设置实验组和对照组，参与单一变量法来评估两个组别的差距。自从 2000 年谷歌将其应用于互联网产品以来，逐步成为互联网精细化运营的必备方法。

简单来说，就是就是在产品正式全面迭代之前，为同一个目标制定不少于两个的方案，将用户分流至对应方案内，在保证每组用户特征相同的前提下，根据用户的真实数据反馈，帮助产品决策。

ABTest 的具体介绍个人认为 VWO 的写的最好，参考：What Is A/B Testing?

对一个产品设计，已经能难直观判断是否真的是“优化”，这个改变，可能是文案的优化、按钮的颜色、界面的布局或者功能的迭代，也可能是推荐算法。

AB Test 可以辅助设计者通过实际用户的使用反馈，来确定到底哪个方案更优。

作为一个 PM，收到要搭建一个 AB Test 系统的时候，最先想到要做的就是调研，既包括竞品调研（第三方 AB Test 供应商），也包括需求调研（需求场景、目标用户）。

主要调研了 3 个 AB Test 解决方案供应商，2 个国内，1 个国外，分别是：吆喝科技、Testing 和 VWO。

大概了解了 AB Test 的系统构成和功能设计，这部分可以直接搜索对应的公司官网，体验 DEMO。不过很遗憾，因为公司业务的去中心化的特点，无法直接使用一些成熟的第三方服务。

目标用户：

毫无疑问，会用到 AB Test 的都是公司内部用户，对于笔者所在的电商公司，会有 PM、运营、研发（作者在第一阶段忽略了研发，但研发也确实是 AB Test 的使用者之一）。

接下来就到了具体向用户收集需求的阶段，作者在需求收集阶段做了两件事情：

召集了一次用户访谈，主要为 PM、运营、设计的组长，简单收集了大家对 AB Test 的需求，主要想用来测什么，有了初步的调研结果。
在公司 Wiki 上建了一个 AB Test 项目，发给了上面说的所有潜在用户，收集用户需求。主要内容一是简单介绍了 AB Test，二是设计了一个表格邀请所有潜在用户填写，主要涉及这几个项目，并且举了自己手上产品砍价文案的例子。

发给同事以后，收到了很多反馈，比如：

这时候，就有了明确的目标用户和使用场景，结合之前对竞品的分析，大概知道了涉及哪些模块和功能，就进入了下一个需求&功能梳理阶段。

AB Test 需求梳理：

作者在需求梳理阶段，分成了主要三个方面：一是希望测试的功能（即测试的范围），二是想通过什么数据来评估实验差异，三是有没有具体的分流&分流需求。

结合分层情况，从简单到复杂，将 AB 测试的范围分成了以下几个层次，从左到右为从实现难度从容易到难，测试范围从小到大，划分成了 4 个层次和微信生态内的测试，具体如下：

表现层：主要指一些 UI、文案、颜色层面，比如：按钮文案不同，界面布局不同、某些小元素的颜色、样式不同等，相对来说是最简单的层次，有 AB Test 系统以后，仅需要少量的前端研发就能支持的实验。
信息层：主要某些信息是否展示，如销量、倒计时等，也相对比较简单。
功能层：指对单个功能的修改迭代（前面两个层次都不涉及对功能的修改），会对用户使用流程等造成影响。

如将之前注册流程从 3 步改成 2 步，或迭代电商下单流程等，可以用于功能的灰度发布。

这里要指出的是：研发会在这个层面有相对较多的测试需求，如测试不同 SDK 的崩溃率，不同第三方服务的线上响应速度等，做系统设计的时候一定要记得收集研发的需求。

版本层，可以理解成为对功能的大幅度修改，可以使用 AB Test 作为灰度发布的工具，如：首页大的改版，商详页的重大改版等。

另外，有一个专属于微信的，就是微信推送（模板消息的文案、推送策略）和分享的（文案、配图），公司主做微信社交电商业务，也加入了考虑范围内。