先问一句:到底在算谁
“转化率下降了”听起来很明确,其实至少缺了观察对象、进入条件和时间窗口。注册转化率可以按访问会话算,也可以按看到注册入口的人算;两个口径都能成立,但回答的是不同问题。
我更愿意先把分母写成一句完整的话,例如“在同一观察窗口内,成功看到注册入口且符合去重规则的访问者”。句子不必漂亮,能让产品、开发和分析指向同一批记录就够了。
一张指标口径卡
指标卡不用长。每个指标只要能回答观察对象、进入条件、成功条件、窗口、去重和排除规则,复核时就知道该查哪一项。下面是常见写法,不对应任何真实产品。
| 项目 | 要回答的问题 |
|---|---|
| 观察对象 | 按用户、设备、会话还是订单计算 |
| 进入条件 | 哪些记录有资格进入分母 |
| 成功条件 | 什么动作记入分子,是否允许重复 |
| 时间窗口 | 进入与成功是否必须发生在同一窗口 |
| 排除规则 | 测试流量、异常状态和缺失身份如何处理 |
分母变化会伪装成行为变化
页面入口调整、登录策略变化或事件触发提前,都可能让更多记录进入分母。此时比率会变,但原来那批人的行为未必发生变化。排查时应把分子和分母的绝对量分开看,再按入口版本、身份状态和渠道检查新增记录来自哪里。
这个步骤常常没有漂亮结论。有时最后发现,业务没有突然变差,只是统计对象换了。我宁愿把这句话写清楚,也不急着替曲线找原因。
跨版本比较要留下接缝
口径发生实质变化时,不要把新旧结果硬接成一条连续趋势。指标字典应记录生效时间、受影响范围和兼容方式;看板上也要标出接缝。若无法回算旧数据,就分别展示,不把不可比的两段包装成同一条历史。
- 保留旧口径和新口径的文字定义。
- 标明变化影响分子、分母还是两者。
- 用重叠窗口检查差异来自哪里。
- 查询和报表注明当前采用的版本。
口径清楚之后,才轮到解释
指标定义只能保证大家算的是同一件事,不能自动给出因果答案。确认口径稳定后,仍要结合路径、分群、版本和实验设计继续判断。