标签: ab-testing

您是否知道formul根据以下内容计算出每个变异的AB测试样本量：

1. 基准转换率
2. 最小可检测效果
3. 统计学意义
4. 统计功效

它是一些用于计算样本数量的在线工具：

• https://www.optimizely.com/resources/sample-size-calculator

• http://www.evanmiller.org/ab-testing/sample-size.html

背景

Google已使用Firebase Analytics和Firebase远程配置为A/B测试发布了全新的API和服务.

问题

虽然我尝试将该服务用于其他目的(此处和此处),但我还需要将其用于A/B测试.

事实是,我无法找到如何让它显示分析实验变体结果所需的信息.

它只是没有显示(在这个网站上),或者我没有看到正确的地方:

我试过的

为了尝试一个实验,我按照教程说我应该做的,包括:

1. 代码中的初始化与示例中的初始化大致相同:

   boolean isDebug = AppComponentsHelper.isInDebugFlavour(context);
   mFirebaseRemoteConfig = FirebaseRemoteConfig.getInstance();
   FirebaseRemoteConfigSettings configSettings = new FirebaseRemoteConfigSettings.Builder().setDeveloperModeEnabled(isDebug).build();
   mFirebaseRemoteConfig.setConfigSettings(configSettings);
   final HashMap<String, Object> defaults = new HashMap<>();
   for (ExperimentType experimentType : ExperimentType.values())
       defaults.put(experimentType.experimentId, experimentType.defaultValues);
   mFirebaseRemoteConfig.setDefaults(defaults);
   
   long cacheExpiration = isDebug ? 0 : TimeUnit.HOURS.toSeconds(1);
   mFirebaseRemoteConfig.fetch(cacheExpiration)
           .addOnCompleteListener(new OnCompleteListener<Void>() {
               @Override
               public void onComplete(@NonNull Task<Void> task) {
                   if (task.isSuccessful()) {
                       mFirebaseRemoteConfig.activateFetched();
                       final FirebaseAnalytics firebaseAnalytics = FirebaseAnalytics.getInstance(context); …

   Run Code Online (Sandbox Code Playgroud)

是否有可能并允许对iOS和Android的应用内购买进行A/B测试？我听说iOS不允许,但没有找到正式文件.

Android怎么样？

远程配置运行良好，并尝试使用“完全匹配”运算符将版本定位为用户，这些值未在客户端反映出来。相同的配置适用于android，没有版本条件，也适用于iOS。

当使用包含值0.1.0,0.1.1的包含运算符时，它不适用于android和iOS。

此处给出的版本已正确显示在Firebase控制台的用户属性下。

使用的Firebase版本是iOS的最新版本，以及Android的11.8.0。

有人面对这个问题和任何线索吗？

我们遇到了 AB 测试变体不成比例的问题。从理论上讲，两种变体的变体暴露程度应该几乎相同，这实际上与我们之前所做的 AB 测试效果相当好。

正如您在屏幕截图中看到的，当前总用户数为 161k，变体有 75.4k 和 85.9k。我们已经运行此测试几次，并稍微更改了代码，但每次都会出现类似的不成比例。

在运行的 AB 测试中，我们将远程配置参数“ios_show_recent_searches_v2”空字符串设置为默认值。

使用激活事件运行 ab 测试的代码如下所示：

@objc class FireBaseService: NSObject {
    struct Constants {
        static let recentSearchesABTestToggleKey: String = "ios_show_recent_searches_v2"
        static let abTestNotAvailableKey: String = "N/A"
    }

    @objc class func start() {
        FirebaseApp.configure()
        let remoteConfig = RemoteConfig.remoteConfig()

        let oldShowRecentSearches = showRecentSearches

        remoteConfig.fetch(withExpirationDuration: 0.0) { (status, error) -> Void in
            DispatchQueue.main.async {
                if status == .success {
                    remoteConfig.activateFetched()
                    FireBaseService.notifyRecentSearchesVisiblityChangeIfNeeded(oldValue: oldShowRecentSearches)
                    FireBaseService.sendRecentSearchesActivationEventIfNeeded()
                }
            }
        }
    }  

    private class func hasConfigs(for key: String) …

我即将使用Google的网站优化工具在我网站的主页上进行a/b测试.我的问题是:google的蜘蛛索引中有哪些替代页面？他们都是？我在谷歌或GWO页面上找不到任何关于此的信息.

我想创建一种方法来测试页面上的不同布局,以查看哪些内容可以获得更多转换.

例如.如果我有一个页面的2个版本,我将50%发送到页面A,50%发送到页面B,看看哪个转换了更多的销售.

所以我想也许可以使用.htaccess将一半重写为A页,将另一半重写为B页.

但是我怎么能用.htaccess那样做呢？我需要使用PHP代替吗？

如果有更好的方法来做到这一点,或者我应该注意任何警告,请告诉我.

我想将我的用户分成几组来运行A/B测试.

通常的方法是将每个用户随机分配给变量并存储该关系直到A/B测试结束.但这会迫使我在某处存储该关联,我想避免它.

由于用户已在我的应用程序中注册,我希望有一个功能可以在我的测试中统一分发用户,这样我就可以在A/B测试中获得非偏斜的结果.

我应该使用哪种哈希函数？

我想制作一个客户端 A/B 测试库。

每个用户都有一个存储在 cookie 中的随机数。每个测试都有一个测试名称和一系列选项。我需要一个函数，根据用户的随机数、测试名称和选项来选择随机选项。当然，该函数必须始终为给定的一组输入返回相同的选项。

我如何用 JavaScript 编写这个函数？

有没有办法在Google Play上传两个版本进行A/B测试？

我看到的唯一两个选项是alpha和beta测试,但这不是我想要的.