这周给同事讲置信区间,我没打开以前那套幻灯片,先发了几张自己做的练习卡。每张卡都画了一条横线,表示从一个随机样本算出的均值区间,旁边写着同样的置信水平。总体均值印在另一面,暂时不翻。这些都是讲解用的模拟数据,和产品实验没有关系。
我让大家挑一张最愿意拿去汇报的卡。有人挑区间最窄的,有人嫌自己的卡太宽,想换一张。我原本只想比较估计精度,话题却拐到了“这张到底准不准”。手里只拿着一张卡,很容易把方法的长期表现,听成这张卡的成功概率。
我让大家停了一下,把卡片全部翻过来。有的区间盖住了总体均值,有的没有。随后把卡重新摆到同一面,大家看得见区间,却又看不见答案。我这才说,同一个总体、同样的抽样和计算方法,换一份样本,区间也会换;不能替眼前这一张盖上“真值有 95% 的概率在里面”的章。
95% 说的是重复抽样并按同一方法计算时,长期大约有这个比例的区间覆盖总体均值,前提是方法的条件成立。眼前的区间算出来以后,要么覆盖,要么不覆盖。这句话写在书上很短,拿着卡解释的时候,我却差点又说成“这一张有九成多把握”。口头上的方便,正好是误解来的地方。
我原本还准备了样本量和波动大小的练习,最后没赶着讲。我们拿最宽的那张卡聊了更久:如果它宽到足以包含业务上很不同的结果,汇报里只写一个点估计,会把什么藏掉?这时大家已经不太在意谁的卡漂亮了。
NIST 的统计手册里也专门区分了单个区间与计算方法的覆盖率。我把那一页链接发进群里,省得下回靠我现场措辞。
收卡时,有张卡的背面被铅笔写了一个问号。我没擦,夹回原来那叠里。下次拿出来,应该还认得它。