辛普森的悖论在AB测试中意味着什么?

Tot*_*oto 11 testing math statistics ab-testing

我正在进行A/B测试,我在结果中面对Simpson的悖论(日与月对比测试的总持续时间).

  1. 这是否意味着我的a/b测试不正确/有代表性?(一些外部因素影响了测试?)
  2. 如果这是问题的迹象,有哪些方向可循?

谢谢你的大力帮助.

进一步阅读:http://en.wikipedia.org/wiki/Simpson%27s_paradox

Chr*_*ark 10

如果没有看到您正在测试的确切数据和维度,有点难以说,但一般来说,您希望根据未组合的数据做出决策.微软的这篇文章给出了一个非常明显的例子,说明了辛普森在软件测试中的悖论.

您能否提供一个关于组合和未组合数据的简洁示例以及测试的简要概述?