用户增长实验系列

用户增长不能仅停留在做计划定目标上，只有通过切实的实验才能真正了解其中的痛点和缺漏，以便及时补救或者不断完善，下一次实验得到更好的结果。导图列举了从实验想法开始一直到分析实验结果的全过程，希望对你有所帮助。

用户增长的实验

• 产生实验想法
  • 1、明确试验目标
    • 正确操作：从用户和业务问题出发
    • 提升单店转化率
      • 文案测试
      • 设计测试
      • 单页面测试
    • 提升全漏斗转化率
      • 路径测试
    • 对比新旧版本指标
      • 新功能或版本上线
    • 新功能探索
      • 复杂实验、MVP、功能、算法
  • 2、从数据中寻找洞察
    • 高质量的实验想法
      • 表明
        • 实验假设的成功率高
        • 实验指标提升幅度大
      • 原因
        • 实验假设没有数据支撑
    • 形成高质量假设
      • 3类数据支持
        • 定量数据
        • 定性数据
        • 最佳实践
          • 吸引注意力
          • 提升动力
          • 降低阻力
          • 考虑场景
      • N轮数据分析
        • 分析数据，发现问题
        • 形成初步假设
        • 进一步分析数据，提升假设质量
    • 最佳实验：Lift模型
      • 价值主张
        • 明确有力的营销口号，用户准确感知自己能获得什么好处
      • 相关性
        • 落地页、转化页符合用户预期，与价值主张紧密相关联
      • 清晰度
        • 体验流程清晰流畅，用户清楚知道下一步怎么做
      • 焦虑感
        • 做减法，不要给用户太多选择
      • 注意力分散
        • 减少视觉干扰，信息噪音，只为一个核心目的服务
      • 紧迫感
        • 促使用户做决策，损失厌恶
  • 3、形成实验假设
    • 输出模板
      • 如果【具体的改动】
      • 预计【某指标可以提升X%】
      • 因为【深层的原因-被数据支持的假设】
    • 利用模板，输出清晰的实验假设
• 优先级排序
  • ICE模型
    • 预期影响（impact） 试验成功后的影响有多大
    • 成功概率（confidence）试验成功的概率有多大
    • 容易程度（ease） 实验需要多大资源或成本才能上线
  • 提升影响力
    • 绝大多数核心产品团队只关心核心用户
    • 覆盖更多用户
      • 主动扩大覆盖面，关注非核心用户
      • 从流量高的页面和路径开始，并多次实验
  • 提升容易程度
    • 通过MVP以最近成本验证实验假设
      • 如何投入最小资源，最快证明实验假设
      • 实验是否可以提供有效的结果和洞察
    • 不要追求绝对的精准排序，而要提高实验频率和数量
• 实验设计
  • 1、选择实验指标
    • 正确的实验指标能够全面准确地检验实验假设的真伪，从而衡量实验成败
    • 衡量实验成功失败的三类指标
      • 核心指标（1个）
        • 决定实验成败的关键指标
      • 辅助指标（＜10个）
        • 漏斗细分步骤转化率
        • 重要的下游指标
        • 其他关键用户指标
      • 反向指标（1-2个）
        • 实验可能的负面影响
  • 2、确定实验受众
    • 哪些人会被包含在实验里
      • 对待特定用户组群进行实验
    • 实验大概需要多少样本数
      • 统计显著性
        • 对照组和实验组之间的转化率差异多大是真实存在的，而不是随机误差引起的
      • 影响实验所需样本数的因素
        • 原版本转化率
        • 新版本转化率
        • 统计显著性要求
      • 流量或用户越少，实验的改动要越大
  • 3、设计实验版本
    • 设计几个版本？区别是什么？
      • 要点1：版本取决于实验假设的数量
      • 要点2：明确是优化实验，还是探索实验
      • 要点3：版本越多，需要的总样本数越多
    • 流量在版本间如何分配？
      • 分流均匀
        • 消除一切外在因素的影响
• 开发上线
  • 具体步骤
    • 开发实验
      • 开发实验版本
      • 进行数据埋点
    • 实验QA和UAT
      • 检查实验版本和数据埋点
    • 上线实验
      • 上线代码
      • 开始实验
  • 实验指标埋点方法1 第三方A/B测验工具
    • 确定实验指标
    • 找到对应的用户行为
    • 定义需求：行为事件埋点
    • 开发完成埋点，数据返回A/B测试软件
    • A/B测试软件自动计算实验指标
  • 实验指标埋点方法2 手动分析实验结果
    • 确定实验指标
    • 定义需求：记录实验中包含哪些用户？他们看到的实验版本是什么？
    • 开发完成，数据返回数据库
    • 手动分析，实验指标
• 分析和应用结果
  • 1、评估结果可信性
    • 判断结果是否达到统计显著
  • 2、分析实验结果
    • 实验成功还是失败
      • 观测周期
        • 短期观测
        • 长期观测
    • 背后的原因是什么？
      • 细分漏斗
      • 用户调研
      • 结果分群
      • 后续实验
  • 3、决定实验下一步
    • 实验完成→分析结果
      • 产品化
      • 放弃
      • 继续迭代
    • 放大实验影响
      • 乘胜追击
      • 举一反三
      • 调整方案