导图社区 产品经理必学-AB测试
AB测试是为 Web 或 App 界面或流程制作两个(A/B)或多个(A/B/n)版本,在同一 时间维度 ,分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本,收集各群组的用户体验数据和业务数据,最后分析、评估出最好版本,正式采用。.
增长黑客,英文「Growth Hacking」,指的是创业型团队在数据分析基础上,利用产品或技术手段来获取自发增长的运营手段。说通俗一点,一家初创公司或者大中型公司内部针对新产品线而诞生的创业型团队,以数据驱动营销,以市场指导产品,通过低成本的手段解决公司产品早期增长问题。
PRD(Product Requirement Document)产品需求文档。是产品三大文档中使用最频繁,最重要的文档。对于任何一个产品经理来说都不会陌生的一个文档。 PRD(这里的PRD是指产品需求的表达传递的能力而不是单单指写PRD文档)可以衡量一个产品经理的逻辑思维与整体产品思维,也可以看出一个产品经理在某个领域的专业性。
原型制作是产品经理必会的技能之一。原型制作是产品经理、交互设计师、开发工程师沟通的最好工具。而该块的设计在原则上必须是交互设计师的产物,交互设计以用户为中心的理念会贯穿整个产品。利用交互设计师专业的眼光与经验直接导致该产品的可用性。
社区模板帮助中心,点此进入>>
互联网9大思维
组织架构-单商户商城webAPP 思维导图。
域控上线
python思维导图
css
CSS
计算机操作系统思维导图
计算机组成原理
IMX6UL(A7)
考试学情分析系统
产品经理必学-AB测试
1.安慰剂效应和双盲测试
安慰剂效应
指患者虽然获得无效的治疗,但却“预料”或“相信”治疗有效,而让病患症状得到舒缓的现象
双盲测试
指在试验过程中,测验者与被测验者都不知道被测者所属的组别(实验组或对照组),分析者在分析资料时,通常也不知道正在分析的资料属于哪一组
实践出真知(AB test的必要性)
最理想的用户调研、问卷,也会受到心理作用影响
唯有真实用户使用体验才能得到最准确的反馈
直接线上试错会降低体验
2.AB test的起源和目的
AB test起源
2000年Google的工程师第一次将AB测试用于测试搜索结果页展示多少搜索结果更合适被公认为第一次AB test
AB test目的
将Web或App界面或流程的两个或多个版本,在同一时间维度。分别让两个或多个属性或组成成分相同(相似)的访客群组访问,收集各群组的用户体验数据和业务数据,最后分析评估出最好版本正式采用
3.完整的AB test 流程
以长视频付费会员产品为例
1.分析现状
分析业务,确定最高优先级的改进点,作出假设,提出优化建议
进入会员页面之后的转化率低
2.设定指标
提高点击“立即开通”率
达到2%
3.设计与开发
利用ICE决定先选择哪个进行开发
Impact影响范围
Confidence自信程度
Ease实现难易
4.确定测试时长
根据业务特点和用户量
不要时长太短
时长太短会造成小用户量状态下,使用的用户更多是高频用户
建议以一周为完整周期进行测试
5.确定分流方案
确定版本分流比例
5%-10%之内
确定其他分流细节
多版本测试方案中需要避免冲突
分流需要注意的关键点
同时性
分流应该是同时的,测试的进行也应该是同时的
对照组和测试组的测试周期保持一致
所谓平行世界,就要两个时间轴完全一致
同质性
是要求分出的用户群,在各维度的特征都相似
可以基于用户的设备特征
手机机型
操作系统版本号
手机语言等
用户的其他标签
性别
年龄
新老用户
会员等级
每一个A/B测试试验都可以选定特定的用户群进行试验
如何测试同质性
可以采用AAB测试
抽出两份流量进行A版本的测试,进行AA测试,并分别与B版本进行AB测试
通过考察A1和A2组是否存在显著性差异,就可以确定试验的分流是否同质了
唯一性
即要求用户不被重复计入测试
测试用户不能再回到对照组
平行世界的含义,就是永远没有交集
均匀性
要求各组流量是均匀的
如果按天为数据,每小时流量是否均匀,会对测试结果有所干扰
解决方式
第三方AB test 工具
Hash算法
6.采集并分析数据
7.给出结论
低单价更容易提高转化
后续可以试验更低单价产品
按钮颜色对客户影响不大
绿色作为品牌色使用对决策不产生正面影响
更多会员权益对转化有提升
增加会员权益引导作用
负面结果的作用
负负得正
不怕坏结果,怕的是试验后没有变化
负面结果,反着再做一次试验
负面结果得出用户洞察
AB test 结构
4.如何选择ABtest点
大
找到最关键的路径
小
在最关键路径上无小事,每个细节都可以进行测试
常见的AB test
颜色
交互方式
文案
脑洞
界面重点
推荐引擎的调教
不同权重
不同算法
5.ABtest的常见误区
直接复制其他公司的A/B测试经验
AB test 和灰度上线是有区别的
灰度上线的对照组条件较差,没有同时性对照组,结果偏差概率较高
所有拿不准的统统上AB test
AB test 是有成本的,设计、技术、流量、时间,几乎是所有优化中最高 成本
可以通过产品判断的,尽量前置判断
精准医疗和神农尝百草
通过学习提升自己认知的成本远远低于自己重新实验,这将节省你大量 的时间。
你不知道你不知道什么
在互联网环境下,如果你知道用户的购买决策是建立在感性的基础上的, 那么你能够提出一种AB测试,两者的内容都是基于用户的情感设计的, 看哪一种最能够打动用户。
如果你没有这个认知,可能就会设计出另一种不同的AB测试方案,两者 的内容是侧重于不同的产品功能,看用户更看重哪一种功能。
顶级的产品经理也只能跑赢一半的AB test
你也要知道要做什么
ABTest是非常好的产品工具
去使用,莫神话
不同阶段使用的Abtest 方式
子主题
7.人生中怎么进行AB test
AB test的精神
大胆试验 小心求证
立于不败之地
不轻信,不盲从
How to do
不要贸然提转行、转岗、All in
寻找一个自己喜欢,且有发展的方向
设定目标
制定学习和实践计划
拿出自己10%的流量(时间)和资源
学习、实践、体会
看效果
决定加码还是收手
做T字型的斜杠青年
行业、兴趣广度
专业深度
总结
本节课方法论数量4,案例数量5
方法论
AB测试基本方法
AB测试结构
AB测试选择技巧
人生AB测试法
案例
双盲实验
长视频AB测试大型案例
竞选案例
脸书&人人
知识卡片