小编Lor*_*mum的帖子

Optuna 在多次试验中建议相同的参数值(重复试验浪费时间和预算)

由于某种原因,Optuna TPESampler 和 RandomSampler 多次尝试对任何参数使用相同的建议整数值(也可能是浮点数和对数统一值)。我找不到办法阻止它再次建议相同的值。在 100 次试验中,有相当多的试验都是重复的。在 100 次试验中,独特的建议值计数最终约为 80-90。如果我包含更多参数进行调整,例如 3 个,我什至会看到所有 3 个参数在 100 次试验中多次获得相同的值。

就像这样。min_data_in_leaf 为 75,使用了 3 次:

[I 2020-11-14 14:44:05,320] 试验 8 完成,值:45910.54012028659 和参数:{'min_data_in_leaf': 75}。最好的是试验 4,其值:45805.19030897498。

[I 2020-11-14 14:44:07,876] 试验 9 完成,值:45910.54012028659 和参数:{'min_data_in_leaf': 75}。最好的是试验 4,其值:45805.19030897498。

[I 2020-11-14 14:44:10,447] 试验 10 完成,值:45831.75933279074 和参数:{'min_data_in_leaf': 43}。最好的是试验 4,其值:45805.19030897498。

[I 2020-11-14 14:44:13,502] 试验 11 完成,值:46125.39810101329 和参数:{'min_data_in_leaf': 4}。最好的是试验 4,其值:45805.19030897498。

[I 2020-11-14 14:44:16,547] 试验 12 完成,值:45910.54012028659 和参数:{'min_data_in_leaf': 75}。最好的是试验 4,其值:45805.19030897498。

示例代码如下:

def lgb_optuna(trial):

    rmse = []

    params = {
        "seed": 42,
        "objective": "regression",
        "metric": …
Run Code Online (Sandbox Code Playgroud)

python machine-learning python-3.x hyperparameters optuna

7
推荐指数
1
解决办法
3466
查看次数