先问一句:到底在算谁

“转化率下降了”听起来很明确,其实至少缺了观察对象、进入条件和时间窗口。注册转化率可以按访问会话算,也可以按看到注册入口的人算;两个口径都能成立,但回答的是不同问题。

我更愿意先把分母写成一句完整的话,例如“在同一观察窗口内,成功看到注册入口且符合去重规则的访问者”。句子不必漂亮,能让产品、开发和分析指向同一批记录就够了。

一张指标口径卡

指标卡不用长。每个指标只要能回答观察对象、进入条件、成功条件、窗口、去重和排除规则,复核时就知道该查哪一项。下面是常见写法,不对应任何真实产品。

指标定义的核对项
项目要回答的问题
观察对象按用户、设备、会话还是订单计算
进入条件哪些记录有资格进入分母
成功条件什么动作记入分子,是否允许重复
时间窗口进入与成功是否必须发生在同一窗口
排除规则测试流量、异常状态和缺失身份如何处理

分母变化会伪装成行为变化

页面入口调整、登录策略变化或事件触发提前,都可能让更多记录进入分母。此时比率会变,但原来那批人的行为未必发生变化。排查时应把分子和分母的绝对量分开看,再按入口版本、身份状态和渠道检查新增记录来自哪里。

这个步骤常常没有漂亮结论。有时最后发现,业务没有突然变差,只是统计对象换了。我宁愿把这句话写清楚,也不急着替曲线找原因。

跨版本比较要留下接缝

口径发生实质变化时,不要把新旧结果硬接成一条连续趋势。指标字典应记录生效时间、受影响范围和兼容方式;看板上也要标出接缝。若无法回算旧数据,就分别展示,不把不可比的两段包装成同一条历史。

  • 保留旧口径和新口径的文字定义。
  • 标明变化影响分子、分母还是两者。
  • 用重叠窗口检查差异来自哪里。
  • 查询和报表注明当前采用的版本。

口径清楚之后,才轮到解释

指标定义只能保证大家算的是同一件事,不能自动给出因果答案。确认口径稳定后,仍要结合路径、分群、版本和实验设计继续判断。