标签: ab-testing

我正在寻找一种简单的方法将分割测试集成到我的Rails 3应用程序中.我已经研究过并发现了两个似乎最新的Rails 3替代品......

虚荣:http://vanity.labnotes.org

拆分:https://github.com/andrew/split

但是,这两个都使用Redis,我的雇主不想使用它.我注意到Vanity可以和ActiveRecord一起使用,但是我想知道是否有人在没有使用Redis的情况下设置A/B分割测试系统的经验,你会推荐什么配置？

鉴于简单A/B测试的结果......

        A   B
clicked 8   60
ignored 192 1940

(即A 4%和B 3%的谈话率)

... R中的一项费希尔测试表明,没有显着差异

> fisher.test(data.frame(A=c(8,192), B=c(60,1940)))
...
p-value = 0.3933
...

但是R中有哪些功能可以告诉我需要增加样本量以达到0.05的p值？

我可以增加A值(按比例)直到我达到它但是必须有更好的方法吗？也许pwr.2p2n.test [1]在某种程度上可用？

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

我想使用带远程配置的Firebase A/B测试在应用上执行两个A/B测试.

问题是两个测试受众应该是互斥的.形成两个实验的一部分可能会污染结果.

我想在用户进入实验1时设置Firebase Analytics用户属性并从实验2的受众中排除此属性值,但我担心用户在获取远程配置值时同时进入两个实验.

有没有更好的解决方案来防止用户进入这两个实验？

例如，在 AB 测试中，A 群体可能有 1000 个数据点，其中 100 个是成功的。而 B 可能有 2000 个数据点和 220 个成功。这使 A 的成功比例为 0.1，B 为 0.11，其 delta 为 0.01。如何在python中围绕这个delta计算这个置信区间？

统计模型可以对一个样本执行此操作，但似乎没有一个包来处理 AB 测试所必需的两个样本之间的差异。( http://www.statsmodels.org/dev/generated/statsmodels.stats.proportion.proportion_confint.html )

我为我的应用程序制作了新菜单，并进行了 A/B 测试来优化我的收入。我已将 ad_impression 设置为目标。\n我在 A/B 测试控制台中看到新菜单对于 ad_impression 来说更糟糕：

\xef\xbf\xbc

我也使用用户属性记录了这两组用户，并且我注意到新的（“卡”）菜单我的收入更好：

\xef\xbf\xbc\n\xef\xbf\xbc\n\xc2\xa0\n

A/B 测试是否只是告诉我哪个版本对于用户的至少一个 ad_impression 更好？如何测试事件发生的累计数量（A/B 测试没有考虑到新版本中更多用户将长期使用该应用程序等等）？如果是这样，测试 ad_impressions 和其他广告事件对我来说几乎毫无意义。您是否计划添加选项来查看事件发生的累计数量（例如在漏斗中）并优化收入？

我希望将我的用户群分成10组并显示10个不同的用户界面,看看他们对此感觉如何.

所以每个用户组总是会有单一类型的UI.

也就是说我有10k用户,当我在用户安装时推出我的下一个版本时,我将展示1000个用户1 UI和另外1000个用户1个UI,就像所有10K用户一样.

我知道这可以在AB测试框架的帮助下完成.

基本上我想在app的启动时调用一个API,它必须返回1到10之间的值,然后我可以将它存储在我的钥匙串中,下次启动应用程序时,我会看到它是否已经存在于钥匙串中,我不会调用API.

因此,基本上API将知道已经有多少请求,它将分割并发回正确的值

因此,基于钥匙串中的值,我将展示不同的,不同的UI,这里AB测试框架的工作将给我1到10的API部分值.

网上有很多AB测试框架.但我找不到任何适合我需要的框架.

任何帮助表示赞赏!

我正在使用Firebase在我的应用程序上进行一些A / B测试。目前，我正在尝试验证实验是否正确设置。我面临以下问题：

1. 我有3个变体A，B和C。我可以看到在调试设备上，已将用户分配给每个变体。但是，没有任何变体形式的目标事件数据

2. 已传递给Firebase的某些事件未出现在要选择作为目标的事件列表中。

首先让我快速为您设置我的设置.我们有多个域名,因此我使用跟踪代码,同时将流量发送到2个不同的配置文件.一个配置文件跟踪该特定域,另一个配置文件是从所有域收集数据的多域配置文件.这就是我的域上的页面跟踪代码的样子.UA-XXXXX-11是多域帐户:

  var _gaq = _gaq || [];
  _gaq.push(['_setAccount', 'UA-XXXXX-1']);
      _gaq.push(['_setDomainName', 'none']);
  _gaq.push(['_trackPageview']);
      _gaq.push(['t2._setAccount', 'UA-XXXXX-11']);
  _gaq.push(['t2._setDomainName', 'none']);
  _gaq.push(['t2._setAllowLinker', true]);
  _gaq.push(['t2._setAllowHash', false]);
  _gaq.push(['t2._trackPageview']);

  (function() {
    var ga = document.createElement('script'); ga.type = 'text/javascript'; ga.async = true;
    ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
    var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(ga, s);
  })();

</script>

我的问题是我想在GA中使用内容实验功能,但我没有得到任何数据.首先,我尝试在多域帐户中设置实验.一切都经过验证,页面切换功能正常工作它还将utm_expid和utm_referrer解析为URL,因此它似乎正常工作.但是没有数据出现8天.

因此,我在使用setAllowLinker和setAllowHash时,了解了可能存在的问题(此处:https://productforums.google.com/forum/？ fromgroups#!topic/analytics/9ogbbQPZFpk),人们遇到了同样的问题.

我从常规配置文件的跟踪代码(上面的UA-XXXXX-1中删除了这些方法.它曾经有过SetAllowLinker和SetAllowHash)并设置了一个新的内容实验.这次不是在多域配置文件中,而是在常规配置文件中.

同样,一切都经过验证,页面切换正在工作,并且它正在将utm_expid和utm_referrer解析为URL.

但是,我现在等了20多个小时,我仍然没有看到实验中的任何访问.它说"收集数据",并说"20小时的数据","0次访问".

是什么造成的？我现在唯一的想法是,多域配置文件的t2.-方法可能会搞砸了.这似乎不太可能,因为这些方法的名称与常规配置文件调用的方法完全不同.该配置文件甚至不应该注意到那些用于多域配置文件,对吧？

我使用以下行来更新每次试验中的 beta 发行版并给出 arm 推荐（我使用 scipy.stats.beta）：

self.prior = (1.0,1.0)
def get_recommendation(self):
    sampled_theta = []
    for i in range(self.arms):
        #Construct beta distribution for posterior
        dist = beta(self.prior[0]+self.successes[i],
                    self.prior[1]+self.trials[i]-self.successes[i])
        #Draw sample from beta distribution
        sampled_theta += [ dist.rvs() ]
    # Return the index of the sample with the largest value
    return sampled_theta.index( max(sampled_theta) )

但目前，它只适用于奖励是二元的（成功或失败）。我想修改它，使其适用于非二元奖励。（例如奖励：2300、2000，...）。我怎么做？

由于App Store Connect 中现在提供了产品页面优化选项，我想尝试一下。

所以我创建了一个测试来尝试不同的应用程序图标。我已按照以下步骤创建产品页面优化的测试和处理， https://help.apple.com/app-store-connect/#/dev811bef199

但在那里我看不到更改应用程序图标以进行不同处理的选项。在那里我只能看到屏幕截图，正如您在随附的 SS 中看到的那样。

请告诉我如何获得更改应用程序图标以进行产品页面优化的不同处理的选项。