使用 GPU 多处理了解 openAIgym 和 Optuna 超参数调整

Question

我正在使用 openAI 的stable-baselines训练强化学习代理。我还使用optuna优化代理超参数。

为了加快该过程，我在不同的函数调用中使用多重处理。具体参见SubprocVecEnv此处文档study.optimize中的建议（分别在 1.15.3 和 1.10.4 下）。

import numpy as np
from stable_baselines.common.vec_env import SubprocVecEnv
from stable_baselines import PPO2
from stable_baselines.common.policies import MlpLnLstmPolicy
import optuna

n_cpu = 4


def optimize_ppo2(trial):
    """ Learning hyperparamters we want to optimise"""
    return {
        'n_steps': int(trial.suggest_loguniform('n_steps', 16, 2048)),
        'gamma': trial.suggest_loguniform('gamma', 0.9, 0.9999),
        'learning_rate': trial.suggest_loguniform('learning_rate', 1e-5, 1.),
        'ent_coef': trial.suggest_loguniform('ent_coef', 1e-8, 1e-1),
        'cliprange': trial.suggest_uniform('cliprange', 0.1, 0.4),
        'noptepochs': int(trial.suggest_loguniform('noptepochs', 1, 48)),
        'lam': trial.suggest_uniform('lam', 0.8, 1.)
    }


def optimize_agent(trial):
    """ Train the model and optimise
        Optuna maximises the negative log likelihood, so we
        need to negate the reward here
    """
    model_params = optimize_ppo2(trial)
    env = SubprocVecEnv([lambda: gym.make('CartPole-v1') for i in range(n_cpu)])
    model = PPO2(MlpLnLstmPolicy, env, verbose=0, nminibatches=1, **model_params)
    model.learn(10000)

    rewards = []
    n_episodes, reward_sum = 0, 0.0

    obs = env.reset()
    while n_episodes < 4:
        action, _ = model.predict(obs)
        obs, reward, done, _ = env.step(action)
        reward_sum += reward

        if done:
            rewards.append(reward_sum)
            reward_sum = 0.0
            n_episodes += 1
            obs = env.reset()

    last_reward = np.mean(rewards)
    trial.report(-1 * last_reward)

    return -1 * last_reward


if __name__ == '__main__':
    study = optuna.create_study(study_name='cartpol_optuna', storage='sqlite:///params.db', load_if_exists=True)
    study.optimize(optimize_agent, n_trials=1000, n_jobs=4)

我在 google colab 环境中使用 GPU。我的问题是，在 和SubprocVecEnv方法中使用多处理study.optimize，如何确保超参数调整在后端正确执行？换句话说，我怎么知道结果没有被覆盖？

此外，在 和 都SubprocVecEnv可以study.optimize在多个内核上运行的特定用例中，是否有更好的方法来使用 GPU 多处理？（我不确定在同一处理器中创建太多线程是否会比在较少线程上运行产生更多开销，从而实际上减慢速度）。

Answer 1

我猜您的代码与此处报告的问题相同。stable-baselines 库使用 Tensorflow 作为深度学习框架，它可能会导致多个试验之间意外共享 Tensorflow 会话。这些试验试图同时更新单个计算图，但它们会破坏该图。

我认为如果您修改代码以使用单独的会话进行试验，则可以并行化试验。或者您可以简单地n_jobs从 中删除选项study.optimize。