样本量为A/B Fisher测试的意义

Question

鉴于简单A/B测试的结果......

        A   B
clicked 8   60
ignored 192 1940

(即A 4%和B 3%的谈话率)

... R中的一项费希尔测试表明,没有显着差异

> fisher.test(data.frame(A=c(8,192), B=c(60,1940)))
...
p-value = 0.3933
...

但是R中有哪些功能可以告诉我需要增加样本量以达到0.05的p值？

我可以增加A值(按比例)直到我达到它但是必须有更好的方法吗？也许pwr.2p2n.test [1]在某种程度上可用？

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

Answer 1

power.prop.test()应该为你做这件事.为了使数学运算起作用,我通过总结列将您的"已忽略"数据转换为展示次数.

> power.prop.test(p1=8/200, p2=60/2000, power=0.8, sig.level=0.05)

     Two-sample comparison of proportions power calculation 

              n = 5300.739
             p1 = 0.04
             p2 = 0.03
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group

这给了每个组5301,所以你的样本大小需要10600.减去已经运行的2200,你有8400个"测试".

在这种情况下:

• sig.level 与您的p值相同.
• power是否有可能在您的样本中找到重要结果.这有点武断,80%是常见的选择.请注意,选择80%表示您应该在20%的时间内找不到重要性.增加功率意味着您需要更大的样本量才能达到所需的显着性水平.

如果您想决定达到显着性所需的时间,请将8400除以每天的展示次数.这可以帮助确定它是否值得继续测试.

您还可以在测试开始之前使用此功能确定所需的样本大小.在37 Signals博客上有一篇很好的文章描述了这一点.

这是本机R函数,因此您无需添加或加载任何包.除此之外,我不能说这是多么相似pwr.p2pn.test().