标签: firebase-ab-testing

我们遇到了 AB 测试变体不成比例的问题。从理论上讲，两种变体的变体暴露程度应该几乎相同，这实际上与我们之前所做的 AB 测试效果相当好。

正如您在屏幕截图中看到的，当前总用户数为 161k，变体有 75.4k 和 85.9k。我们已经运行此测试几次，并稍微更改了代码，但每次都会出现类似的不成比例。

在运行的 AB 测试中，我们将远程配置参数“ios_show_recent_searches_v2”空字符串设置为默认值。

使用激活事件运行 ab 测试的代码如下所示：

@objc class FireBaseService: NSObject {
    struct Constants {
        static let recentSearchesABTestToggleKey: String = "ios_show_recent_searches_v2"
        static let abTestNotAvailableKey: String = "N/A"
    }

    @objc class func start() {
        FirebaseApp.configure()
        let remoteConfig = RemoteConfig.remoteConfig()

        let oldShowRecentSearches = showRecentSearches

        remoteConfig.fetch(withExpirationDuration: 0.0) { (status, error) -> Void in
            DispatchQueue.main.async {
                if status == .success {
                    remoteConfig.activateFetched()
                    FireBaseService.notifyRecentSearchesVisiblityChangeIfNeeded(oldValue: oldShowRecentSearches)
                    FireBaseService.sendRecentSearchesActivationEventIfNeeded()
                }
            }
        }
    }  

    private class func hasConfigs(for key: String) …

我正在尝试运行一个实验来改变应用程序第 3 步中元素的行为。为了使数据准确，我计划将激活事件作为完成步骤 2 的事件。现在，当应用程序首次启动时会获取 firebase 远程配置值，因此如果我将第 2 步完成设置为激活事件，应用程序将无法获取更新的远程配置值以用于第 3 步中使用的标志。如果我每次使用标志时都获取并激活标志值，那将在 60 分钟内超过 5 次的限制。解决这个问题的最佳方法是什么？

Firebase A/B 测试是否考虑了由 设置的用户 ID FirebaseAnalytics.setUserId？这是我的用例：

1. John Doe 打开应用程序
2. 他登录
3. FirebaseAnalytics.setUserId 被称为 johnDoeUserId
4. 获取远程配置值 ->他登陆VariantA
5. John Doe 在其他设备（同一 Google 帐户）上打开应用
6. 他登录
7. FirebaseAnalytics.setUserId 被称为 johnDoeUserId
8. 获取远程配置值 ->是否保证他会登陆VariantA？

不userId具有A / B测试什么意义？

我正在为我的 Flutter 应用程序创建 Firebase 远程配置实验和 A/B 测试。为了验证测试设备上的实验，我需要获取Firebase installation auth token与每个 Firebase 安装关联的实验。

如何在“Flutter-way”中获取这个token？在文档中，有办法为 Swift、Kotlin 等获取它。但不适用于 Dart/Flutter。

在我的应用程序中，我firebase_core安装了软件包，FirebaseOptions 有一堆 id：

this.apiKey,
this.appId,
this.messagingSenderId,
this.projectId,
this.measurementId,

但没有 Firebase安装身份验证令牌。

我试图将A / B测试限制为从11.3.10开始的iOS应用程序版本。原因是较旧的版本在所有变体中的行为相同，因为它们不包含所涉及的参数知识。反过来，这会引入噪音，使我的实验结论性降低。

因此，我在我的应用程序版本属性中添加了以下正则表达式：

1[1-9]\.[3-9]\.[1-9][0-9]

不幸的是，它没有用。没有用户参与我的实验。然后我决定尝试1[1-9]\.[3-9]\.[1-9][0-9].*。但是，仍然没有运气。如果我忽略此设置并运行实验，我会立即看到参与其中的用户的数据。准确地说是在30分钟内达到138。

我的最新版本（11.3.10）的采用率大约为30％，因此很明显，如果设置正确，我会看到一些用户。

如果您能让我知道我在做什么错，我将不胜感激。