用户增长实验系列

用户增长不能仅停留在做计划定目标上，只有通过切实的实验才能真正了解其中的痛点和缺漏，以便及时补救或者不断完善，下一次实验得到更好的结果。导图列举了从实验想法开始一直到分析实验结果的全过程，希望对你有所帮助。

用户增长的实验

产生实验想法

1、明确试验目标

正确操作：从用户和业务问题出发

提升单店转化率

文案测试

设计测试

单页面测试

提升全漏斗转化率

路径测试

对比新旧版本指标

新功能或版本上线

新功能探索

复杂实验、MVP、功能、算法

2、从数据中寻找洞察

高质量的实验想法

表明

实验假设的成功率高

实验指标提升幅度大

原因

实验假设没有数据支撑

形成高质量假设

3类数据支持

定量数据

定性数据

最佳实践

吸引注意力

提升动力

降低阻力

考虑场景

N轮数据分析

分析数据，发现问题

形成初步假设

进一步分析数据，提升假设质量

最佳实验：Lift模型

价值主张

明确有力的营销口号，用户准确感知自己能获得什么好处

相关性

落地页、转化页符合用户预期，与价值主张紧密相关联

清晰度

体验流程清晰流畅，用户清楚知道下一步怎么做

焦虑感

做减法，不要给用户太多选择

注意力分散

减少视觉干扰，信息噪音，只为一个核心目的服务

紧迫感

促使用户做决策，损失厌恶

3、形成实验假设

输出模板

如果【具体的改动】

预计【某指标可以提升X%】

因为【深层的原因-被数据支持的假设】

利用模板，输出清晰的实验假设

优先级排序

ICE模型

预期影响（impact） 试验成功后的影响有多大

成功概率（confidence）试验成功的概率有多大

容易程度（ease） 实验需要多大资源或成本才能上线

提升影响力

绝大多数核心产品团队只关心核心用户

覆盖更多用户

主动扩大覆盖面，关注非核心用户

从流量高的页面和路径开始，并多次实验

提升容易程度

通过MVP以最近成本验证实验假设

如何投入最小资源，最快证明实验假设

实验是否可以提供有效的结果和洞察

不要追求绝对的精准排序，而要提高实验频率和数量

实验设计

1、选择实验指标

正确的实验指标能够全面准确地检验实验假设的真伪，从而衡量实验成败

衡量实验成功失败的三类指标

核心指标（1个）

决定实验成败的关键指标

辅助指标（＜10个）

漏斗细分步骤转化率

重要的下游指标

其他关键用户指标

反向指标（1-2个）

实验可能的负面影响

2、确定实验受众

哪些人会被包含在实验里

对待特定用户组群进行实验

实验大概需要多少样本数

统计显著性

对照组和实验组之间的转化率差异多大是真实存在的，而不是随机误差引起的

影响实验所需样本数的因素

原版本转化率

新版本转化率

统计显著性要求

流量或用户越少，实验的改动要越大

3、设计实验版本

设计几个版本？区别是什么？

要点1：版本取决于实验假设的数量

要点2：明确是优化实验，还是探索实验

要点3：版本越多，需要的总样本数越多

流量在版本间如何分配？

分流均匀

消除一切外在因素的影响

开发上线

具体步骤

开发实验

开发实验版本

进行数据埋点

实验QA和UAT

检查实验版本和数据埋点

上线实验

上线代码

开始实验

实验指标埋点方法1 第三方A/B测验工具

确定实验指标

找到对应的用户行为

定义需求：行为事件埋点

开发完成埋点，数据返回A/B测试软件

A/B测试软件自动计算实验指标

实验指标埋点方法2 手动分析实验结果

确定实验指标

定义需求：记录实验中包含哪些用户？他们看到的实验版本是什么？

开发完成，数据返回数据库

手动分析，实验指标

分析和应用结果

1、评估结果可信性

判断结果是否达到统计显著

2、分析实验结果

实验成功还是失败

观测周期

短期观测

长期观测

背后的原因是什么？

细分漏斗

用户调研

结果分群

后续实验

3、决定实验下一步

实验完成→分析结果

产品化

放弃

继续迭代

放大实验影响

乘胜追击

举一反三

调整方案