在移动设备上进行A/B测试有什么好的策略吗？

Question

根据我所知,A/B测试框架用于处理网站.例如,您想知道"购买"按钮中的哪种蓝/红颜色会鼓励用户点击它.

由于用户界面的网站信息来自服务器,并且浏览器显示它,因此可以进行A/B测试.但是,由于移动应用程序的用户界面是本机和静态的,因此不可能以相同的方式实现A/B测试(如果我没有记错的话).

所以,我的问题是如何从数据库/服务一直到本机移动应用程序实现A/B测试框架.

任何建议将不胜感激.谢谢.

Answer 1

移动设备上的 A/B 测试与网站上的不同主要有两点：

• 网站始终连接到互联网。本机移动应用程序就像 90 年代的 Windows 应用程序：它并不总是具有可靠的互联网连接
• 网络比移动更加成熟。现代网页 A/B 测试工具可以完全控制网页上的所有元素。

要做的基本事情是创建客户端-服务器架构：

手动标记要在应用程序中测试的元素

您将手动标记要进行 A/B 测试的元素，并且您的框架将询问服务器要显示哪个元素。（变化存储在服务器端）。例如，按钮的颜色可以从服务器检索并在显示按钮时在运行时设置。原生移动界面是静态的并不完全正确。它们可以在运行时以编程方式进行修改。

将事件发送到您的服务器

第二步是在查看变体并且转换成功时向服务器发送事件。

潜在问题

通过使用这种简单的架构，您将遇到以下问题：

总是展示一些东西

当应显示该按钮时，移动设备可能根本没有互联网连接。如果没有互联网连接，您仍然需要向用户事件显示一些内容。解决方案是显示默认值。

店铺活动

当执行目标时（例如单击按钮）并且移动设备处于离线状态，事件将被丢弃，并且您将以错误的统计数据结束。解决方案是将事件保存在本地并稍后（当互联网连接恢复时）将它们发送到服务器。

永远不要等待变化

如果您仅在需要时才向服务器请求变化，那么您的应用程序将会非常慢（这是不可接受的）。您需要尽快在您的应用程序中检索您的变异数据。

您的移动框架应该构建为永远不会阻塞应用程序。这是移动设备上的黄金法则。

保存变异属性

服务器应保存已分配给设备的变体以获得可靠的结果。

技术栈

操作系统/编程语言

您可以选择任何技术堆栈。只需确保您的服务器端可以处理负载即可。如果您的移动应用程序有很多用户，您的服务器上将会收到很多请求。您可能需要在 Web 服务器之间设置负载平衡器。如果您选择非免费技术，请注意许可成本，因为高负载意味着高成本。

数据库

您可能还有数百万条数据库记录。生成报告可能并不像针对性能问题从数据库表中执行“SELECT COUNT(*)”那样简单。如果您选择非免费技术，请务必小心。

免责声明：我是Arise.io的 CTO

Answer 2

与在网络上不同,更改移动应用上的内容是一个更复杂的过程.具体而言:您的应用的所有代码更新都必须经Apple/Google批准.

输入Leanplum等服务.Leanplum允许其客户以三种主要方式测试其应用的几乎每个方面:

1. 可视化界面编辑器:这不需要编码,Leanplum将自动检测元素并允许您更改它们.无需工程师或应用商店重新提交.
2. 内容管理系统:允许对应用程序进行更细粒度的更改.
3. 移动营销自动化:一种全方位服务解决方案,其中发送给您的用户的每条消息和通知(无论是应用内,推送,电子邮件还是新闻Feed)都可以进行A/B测试和个性化.

有关移动A/B测试最佳实践的更多信息,您可以查看此Leanplum博客​​文章.

要了解更多信息,请访问leanplum.com查看我们的网站.我们为我们的平台提供30天免费试用,因此您可以尝试与客户建立更好的品牌关系,而无需任何承诺.

(免责声明:我是Leanplum的工程师.)