标签: ab-testing

进行A/B(分割)测试主要有两种思路:

• 基于Javascript的解决方案,例如Optimizely,Google Analytics内容实验.
• 服务器端解决方案,如Django-AB,Splango和django-lean.(另外,自己写.)

我的理解是基于Javascript的解决方案对于"哪个颜色按钮转换得更好"非常引人注目,但对于切换整个页面布局来说并不是那么好,并且对于尝试诸如漏斗中的页面序列之类的大功能改变而言完全不可行.

这引导我走向服务器端解决方案.我并不为我自己的编码而疯狂,只有在没有其他选择时才会这样做.我试图通过改进我的网站的核心功能来增加价值,而不是通过创建更好的拆分测试框架.

我发现用于拆分测试的Django应用程序是各种未维护,未记录,记录不正确,与Django 1.5不兼容的混合.这让我感到惊讶,因为Django和Python社区似乎非常注重良好的文档.我也很惊讶我所尝试过的测试框架都没有与Django 1.5兼容 - 测试不是像Django/Python世界中的核心部分那样是在Rails中吗？

这是我发现的:

• Splango https://github.com/shimon/Splango - 与Django 1.5不兼容(尽管我发现大多数兼容性错误都很容易修复).自2010年10月以来,除了2012年8月的修复声明确保模板包含在安装中之外,大部分未被触及.由于在通过PyPI安装Splango时,模板不会包含在安装中,因此修复程序无效或未提交给PyPI.文档在很大程度上是准确的,但并不完全涵盖如何设置测试和获取报告.它告诉您如何配置模板以收集数据,但管理界面中似乎还需要执行完全未记录的其他步骤,而且我不确定我是否已正确完成它们.

• Django的瘦肉.原来在https://bitbucket.org/akoha/django-lean一直没有更新自2010年7月有一处显然是"福地"叉https://github.com/anandhenry2002/django-lean尚未改变自2012年5月起,它从原件复制而来.原始文档的不正确之处在于无法实现示例.(虽然你可能会像我一样混淆你的方式.)新版本的文档存在格式问题,使得难以在github上阅读.(这似乎是因为它是来自旧项目的未更改的文档,并且BitBucket语法在Github上不起作用.)django-lean Google Group自2012年7月以来没有收到任何消息.

• django-mini-lean https://github.com/DanAncona/django-mini-lean - 最近更新于2013年2月,但没有记录.

• Leaner - https://bitbucket.org/brianjinwright/leaner - 最后更新于2012年7月,没有文档.

• Django-AB - 最后更新于2009年5月.不是包,也不能通过PIP或PyPI安装.放置在收银台我的Django应用程序文件夹(和重命名文件夹,AB),并按照安装说明之后,我得到一个错误加载,我还没有追查进一步的模板加载器.

到目前为止Splango似乎成为最后的赢家,因为我实际上已经能够(通过手动安装模板,然后编辑他们解决的Django 1.5不兼容),以获得更或多或少工作.

任何人都可以指出我错过的任何事情吗？

我试图弄清楚A/B测试SDK如何通过仅包含一行代码从服务器发送时替换资产.我知道这可以通过对各种UI元素进行子类化来完成,但这需要大量的代码修改.

我正在进行A/B测试,我在结果中面对Simpson的悖论(日与月对比测试的总持续时间).

1. 这是否意味着我的a/b测试不正确/有代表性？(一些外部因素影响了测试？)
2. 如果这是问题的迹象,有哪些方向可循？

谢谢你的大力帮助.

进一步阅读:http://en.wikipedia.org/wiki/Simpson%27s_paradox

根据我所知,A/B测试框架用于处理网站.例如,您想知道"购买"按钮中的哪种蓝/红颜色会鼓励用户点击它.

由于用户界面的网站信息来自服务器,并且浏览器显示它,因此可以进行A/B测试.但是,由于移动应用程序的用户界面是本机和静态的,因此不可能以相同的方式实现A/B测试(如果我没有记错的话).

所以,我的问题是如何从数据库/服务一直到本机移动应用程序实现A/B测试框架.

任何建议将不胜感激.谢谢.

我有一个单页面的Web应用程序,它提供了一个多步骤的照片管理"向导",通过一个标签条分成几个不同的步骤(照片上传,样式,注释,发布).在切换步骤中,我将URL哈希设置为#publishing-step(或激活了哪个步骤).

如何设置Optimizely测试以在向导的各个离散步骤上运行？

浏览器永远不会离开页面,因此它只会获得一个window.load事件.它的DOM不会被废弃或重新生成,而只是在任何时候通过display: none或切换哪些页面元素是可见的block,所以我试图弄清楚的部分主要是关于我如何进行Optimizely测试设置本身 -如果一次性应用所有编辑,那就很好(并且可能是必要的).

不幸的是,这件事必须在IE9中工作,所以我不能用于history.pushState为每一步获得相当分散的URL.

根据文档，您现在应该能够在 iOS 上对应用程序图标进行 AB 测试。

但是，我不知道该怎么做。

在这里，它说您需要包含一个支持上传备用图标的资产目录。https://help.apple.com/app-store-connect/#/devb53f12312

我上传了一个带有备用图标的应用程序，用户可以在应用程序中更改这些图标，并且该二进制文件在资产目录中包含备用应用程序图标的资产。但是，当我尝试在 App Store Connect 上运行 AB 测试时，图标字段不存在。我只能在新的处理中更改屏幕截图。

在线等移动应用中,A | B测试是否有很好的解决方案？我知道iOS使用相同的操作来获得不同的用户体验,但是对于TOS来说却是什么？那些像Apsalar这样声称在应用程序分析中提供A | B测试的公司呢？如何实现这一点？

我已尝试将Google Mobile Analytics用于手机应用程序.我知道Google Analytics支持上下文实验,但我找不到任何有关Google移动分析的信息.

我的项目需要进行A/B测试,我一直在寻找使用PhoneGap是否可行,因为我的所有资产/ css/js将在appstore中一起发送,而不会通过远程服务器获得.

我正在考虑的解决方法是创建一个屏幕的2个不同的html版本,并在一个应用程序中发布所有这些.

这是明智之举吗？如果没有,有更好的方法吗？

我已经配置了以下AWS资源来托管静态网站(通过Cloudformation):

• S3桶存储网站
• CDN的Cloudfront分发(减少延迟)
• 路由53将流量定向到CDN的记录集

我有两个完全不同的网站,我想通过A/B测试来查看流量行为和转换.是否可以使用我配置的资源配置A/B测试？

这是我到目前为止所尝试的.

为第二个网站引入相同的Cloudformation堆栈不起作用,因为Cloudfront仅允许单个分发具有特定的CNAME.例如,如果我的网站是example.com,只有一个Cloudfront发行版可以配置该CNAME.

如果我尝试使用现有的Cloudfront分发,似乎没有办法将流量分配到托管在不同S3存储桶中的两个不同网站.在Cloudfront发行版中,我需要创建第二个原点然后创建行为.该行为需要路径+优先级,因此所有流量将被发送到其中一个网站而不是另一个网站.

是否无法使用Cloudfront配置在S3中托管的静态网站的A/B测试？

我正在尝试使用Firebase远程配置创建实验.标准如下: 它应仅针对未使用该应用程序的新用户(首次打开该应用程序)

现在进一步研究我发现有一个用户属性如下:

但是,实验窗口或在Firebase控制台中满足上述条件的类似属性中不提供此功能,如下所示:

我只能看到我的代码设置的用户属性.我能想到的一种方法是使用我尚未设置的自定义用户属性(但设置为null值),但我不知道如何做到这一点.

参考

https://support.google.com/firebase/answer/6317486?hl=zh-CN https://firebase.googleblog.com/2016/10/better-user-targeting-with-firebase.html