我发现了不同的方法来进行 A/B 测试的卡方检验,查看用户与对照组和测试组的转化率。
\n\n第一种方法使用statsmodels与使用proportions_chisquare
第二种方法使用scipy和chi2_contingency
似乎chi2_contingency总是比比例具有更高的价值。您知道其中的区别以及哪种测试更适用于简单的 A/B 测试吗?
我很抱歉没有在此提供示例,如下所示:
\n\n示例 1(p 值 = 0.037):
\n\nimport statsmodels.stats.proportion as proportion\nimport numpy as np\n\nconv_a = 20\nconv_b = 35\nclicks_a = 500\nclicks_b = 500\nconverted = np.array([conv_a, conv_b])\nclicks = np.array([clicks_a,clicks_b])\n\nchisq, pvalue, table = proportion.proportions_chisquare(converted, clicks)\nprint('Results are ','chisq =%.3f, pvalue = %.3f'%(chisq, pvalue))\nRun Code Online (Sandbox Code Playgroud)\n\n示例 2(p 值 = 0.0521):
\n\nimport numpy\nimport scipy.stats\n\ncontrol_size = 500\nA_CONVERSIONS = 20\nA_NO_CONVERSIONS= control_size - A_CONVERSIONS\ntest_size = 500\nB_CONVERSIONS = …Run Code Online (Sandbox Code Playgroud)