使用Firebase远程配置进行互斥A/B测试

Question

我想使用带远程配置的Firebase A/B测试在应用上执行两个A/B测试.

问题是两个测试受众应该是互斥的.形成两个实验的一部分可能会污染结果.

我想在用户进入实验1时设置Firebase Analytics用户属性并从实验2的受众中排除此属性值,但我担心用户在获取远程配置值时同时进入两个实验.

有没有更好的解决方案来防止用户进入这两个实验？

Answer 1

（就本回答而言，我假设您在谈论我们上周刚刚推出的新 A/B 测试框架）

所以现在，你不能真正确保使用新的 A/B 测试框架相互排斥的实验组。如果您指定 10% 的用户在实验 A 中，10% 在实验 B 中，那么实验 B 中的一小部分用户（具体来说，大约 10%）也将在实验 A 中。

好消息是，实验 A 中的用户应该均匀分布在实验 B 中的变体中。 但是，如果您发现自己处于这样一种情况，您觉得这些实验用户会偏爱一种变体而不是另一种变体（从而扭曲您的结果） )，您有两个选择：

1. 串行而不是并行运行 A/B 测试。只需等到您停止第一个实验，然后再运行第二个。

2. 如果有意义，请尝试将它们组合成一个多变量实验。例如，假设实验 A 正在添加更快的登录流程，而实验 B 将您的登录流程推到流程的后期。您可以尝试创建一个多变量实验，如下所示：

+-------------+---------------+------------ -----+
| 集团 | 登录速度 | 签到时间 |
+-------------+---------------+------------ -----+ 
| 控制 | （默认） | （默认） |
| 快速 | 快速 | （默认） |
| 延期 | （默认） | 延期 |
| 快速和延迟| 快速 | 延期 |
+-------------+---------------+------------ -----+

这样做的好处是，您将进一步了解参与这两个实验是否真的以您怀疑的方式影响您的用户。