Hyperopt 中的 qloguniform 搜索空间设置问题

Question

我正在使用 hyperopt 来调整我的 ML 模型，但在使用 qloguniform 作为搜索空间时遇到了麻烦。我给出了来自官方维基的例子并改变了搜索空间。

import pickle
import time
#utf8
import pandas as pd
import numpy as np
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials

def objective(x):
    return {
        'loss': x ** 2,
        'status': STATUS_OK,
        # -- store other results like this
        'eval_time': time.time(),
        'other_stuff': {'type': None, 'value': [0, 1, 2]},
        # -- attachments are handled differently
        'attachments':
            {'time_module': pickle.dumps(time.time)}
        }
trials = Trials()
best = fmin(objective,
    space=hp.qloguniform('x', np.log(0.001), np.log(0.1), np.log(0.001)),
    algo=tpe.suggest,
    max_evals=100,
    trials=trials)
pd.DataFrame(trials.trials)

但得到以下错误。

ValueError异常：（ '负ARG到lognormal_cdf'，阵列（[ - 3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764， - 3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.7387764,-373.7743,738.7764,738.7764,738.764,764,764)

我试过没有对数转换如下，但输出值结果是对数转换（例如 1.017,1.0008,1.02456），这是错误的。它与文档一致。

hp.qloguniform('x', 0.001,0.1, 0.001)

谢谢

Answer 1

问题似乎出在 的最后一个参数中hp.qloguniform，q以及如何tpe.suggest使用它。

1. 首先让我们讨论一下q. 根据文档：

   hp.qloguniform（标签，低，高，q）

   round(exp(uniform(low, high)) / q) * q 
   

   适用于离散变量，目标是“平滑”并且随着值的大小变得更平滑，但应该在上下都有界。

   q这是 a "quantizer"，它将把来自定义空间的输出限制为 的倍数q。例如，以下是在 内部发生的事情qloguniform：

   from hyperopt import pyll, hp
   n_samples = 10
   
   space = hp.loguniform('x', np.log(0.001), np.log(0.1))
   evaluated = [pyll.stochastic.sample(space) for _ in range(n_samples)]
   # Output: [0.04645754, 0.0083128 , 0.04931957, 0.09468335, 0.00660693,
   #          0.00282584, 0.01877195, 0.02958924, 0.00568617, 0.00102252]
   
   q = 0.005
   qevaluated = np.round(np.array(evaluated)/q) * q
   # Output: [0.045, 0.01 , 0.05 , 0.095, 0.005, 0.005, 0.02 , 0.03 , 0.005, 0.])
   

   比较evaluated和qevaluated这里。qevaluated是 的倍数，q或者我们说它在 的“间隔”（或步长）中量化q。您可以尝试更改该q值以了解更多信息。

   在q你在问题非常大的比生成的样本范围（如定义的0.001 to 0.1）：

   np.log(0.001)
   # Output: -6.907755278982137
   

   因此，此处所有值的输出将为 0。

   q = np.log(0.001)
   qevaluated = np.round(np.array(evaluated)/q) * q
   # Output: [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]
   

2. 现在来tpe.suggest（第4节本文）：TPE使用不同的估计的树来优化搜索过程，在此期间，其划分取决于空间发电机的搜索空间（在这种情况下qloguniform）。有关详细信息，请参阅此处的代码。为了将空间分成多个部分，它将使用q.

   但是由于您空间中的所有点都将是 0.0（如上所述），因此该负数会q生成无效的边界，lognormal_cdf 这是不可接受的，因此会产生错误。

长话短说，你的用法q不合适。正如您在评论中已经说过的那样：-

此外，q根据round(exp(uniform(low, high)) / q) * q

所以你应该只提供q对你所需空间有效的值。所以在这里，由于您想在0.001和之间生成值0.1，因此该q值应该与它们相比较。

我同意你提供np.log(0.001)and np.log(0.1)inside the ，qloguniform但这样输出值在 0.001 和 0.1 之间。所以不要np.log在q. q应根据生成的值使用。