标签: openai-gym

我正在尝试在 Windows 10 上设置 OpenAI 的gym，以便我可以使用 Atari 游戏进行机器学习。

在 PyCharm 上，我已使用“设置”>“项目解释器”成功安装了gym。但是当我尝试使用以下命令设置突破环境（或任何其他 Atari 游戏）时：

import gym
env = gym.make('BreakoutDeterministic-v4')

我收到以下错误：

ImportError: No module named 'atari_py'
...
HINT: you can install Atari dependencies by running 'pip install gym[atari]'

所以我在 PyCharm 终端中尝试了命令“pip installgym[atari]”，并收到错误：

Unable to execute 'make build -C atari_py/ale_interface -j 11'. HINT: are you sure `make` is installed?
error: [WinError 2] The system cannot find the file specified

我尝试从http://gnuwin32.sourceforge.net/packages/make.htm安装“make” ，并尝试了一些其他方法，但这并没有解决问题。

我还尝试过“pip install atari_py”，它运行良好，但也不能解决问题。

任何想法/帮助将不胜感激。我是 Python 和 PyCharm 的新手，所以如果有任何不清楚的地方，我深表歉意。如果我可以提供更多信息来帮助您，请告诉我。

提前致谢

调用 env.render() 总是会渲染一个充满整个屏幕的窗口。

env = gym.make('FetchPickAndPlace-v1')
env.reset()
for i in range(1000):
    env.render()

我想创建具有离散状态空间但具有浮点值的自定义 openai 健身房环境。更准确地说，它应该是步长为 0.25 的值范围：10.0、10.25、10.5、10.75、11.0、...、19.75、20.0

有没有办法在 openai 健身房自定义环境中使用 Discrete、Box、MultiDiscrete 或其他空间等空间来做到这一点？离散需要一个整数，而 Box 似乎没有某种步骤参数。

代码：

import gym
env = gym.make('Breakout-v0')

我收到错误：

Traceback (most recent call last):
File "C:/Users/danie/Downloads/Programming/Python/Programming/Pycharm/app.py", line 40, in 
gym.make("Breakout-v0")
File "C:\Users\danie\AppData\Local\Programs\Python\Python37\lib\site-packages\gym\envs\registration.py", line 156, in make
return registry.make(id, **kwargs)
File "C:\Users\danie\AppData\Local\Programs\Python\Python37\lib\site-packages\gym\envs\registration.py", line 101, in make
env = spec.make(**kwargs)
File "C:\Users\danie\AppData\Local\Programs\Python\Python37\lib\site-packages\gym\envs\registration.py", line 72, in make
cls = load(self.entry_point)
File "C:\Users\danie\AppData\Local\Programs\Python\Python37\lib\site-packages\gym\envs\registration.py", line 17, in load
mod = importlib.import_module(mod_name)
File "C:\Users\danie\AppData\Local\Programs\Python\Python37\lib\importlib_init.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 967, …

我有一个关于在开放人工智能健身房中播种并在自定义环境中使用它的问题。我们以月球着陆器环境为例，默认的播种函数是：

def seed(self, seed=None):
    self.np_random, seed = seeding.np_random(seed)
    return [seed]

在生成时他们使用：

height = self.np_random.uniform(0, H/2, size=(CHUNKS+1,) )

我的问题是，如果我创建一个自定义环境并使用 numpy 或 sci stats，我需要播种np.random.seed()才能获得效果。我应该如何self.np_random.在自定义环境中使用种子？如果我使用np.random.uniform(0,0.02)？我应该使用self.np_random.uniform(0,0.02)吗？科学统计呢？如果我使用的话，我应该如何使用它scipy.stats.truncnorm.rvs()？如果我设置有什么后果吗np.random.seed(seed)？

我现在正在使用此解决方法：Can I create a local numpy random seeds?

有更好的解决方案吗？

我正在尝试运行 OpenAI-gym 官方文档中提供的基本 OpenAI-gym 程序：

import gym
env = gym.make("CartPole-v1")
observation = env.reset()
for _ in range(1000):
  env.render()
  action = env.action_space.sample() # your agent here (this takes random actions)
  observation, reward, done, info = env.step(action)

  if done:
    observation = env.reset()
env.close()

但程序输出如下错误：

AttributeError: module 'gym' has no attribute 'make'。

如果我们查看环境的预览，它们​​会在右下角的动画中显示不断增加的剧集。https://gym.openai.com/envs/CartPole-v1/。是否有命令明确显示这一点？

我正在尝试运行我购买的一本有关 Pytorch 强化学习的书中的代码。代码应该按照书本工作，但对我来说，模型没有收敛，奖励仍然为负。它还收到以下用户警告：

/home/user/.local/lib/python3.6/site-packages/ipykernel_launcher.py:30: UserWarning: Using a target size (torch.Size([])) that is different to the input size (torch.Size([1])). This will likely lead to incorrect results due to broadcasting. Please ensure they have the same size.

我是 Pytorch 的初学者，但我认为 size([]) 不是有效的张量大小？我认为代码中出了问题，但是在尝试通过它工作一段时间后，我还没有发现任何问题。我前段时间也给图书出版商发了消息，但遗憾的是没有收到他们的回复。

这就是为什么我想在这里问是否有人见过这个错误并且可能知道如何修复它？

该代码用于在山地汽车健身房环境中实施 A2C 强化学习。我也可以在这里找到： https: //github.com/PacktPublishing/PyTorch-1.x-Reinforcement-Learning-Cookbook/blob/master/Chapter08/chapter8/actor_critic_mountaincar.py

'''
Source codes for PyTorch 1.0 Reinforcement Learning (Packt Publishing)
Chapter 8: Implementing Policy Gradients and Policy Optimization
Author: Yuxi (Hayden) Liu
'''

import torch
import gym
import torch.nn as nn
import torch.nn.functional as …

您能否建议一些稳定基线的替代方案，我可以用它来训练强化学习中的代理。

另外，我正在使用健身房迷你网格环境，所以请告诉我那些在这种环境中工作的人。

我刚刚创建了一个安装了健身房的新环境。我刚刚开始使用 Atari 游戏，但我的以下代码出现导入错误 -

import gym
env = gym.make('FrozenLake-v1')
videosDir = './RL_videos'
env = gym.wrappers.Monitor(env, videosDir )

错误回溯 -

Traceback (most recent call last):
  File "/Users/home/Ash/RL/code/rl03-Videos.py", line 2, in <module>
    from gym.wrappers import Monitor
ImportError: cannot import name 'Monitor' from 'gym.wrappers' (/Users/home/lib/python3.9/site-packages/gym/wrappers/__init__.py)
(pytorch) ash@Ash-Air code % python rl03-Videos.py
Traceback (most recent call last):
  File "/Users/home/Ash/RL/code/rl03-Videos.py", line 15, in <module>
    env = gym.wrappers.Monitor(env, videosDir )
AttributeError: module 'gym.wrappers' has no attribute 'Monitor'

版本 -

Python 3.9

健身房0.23.1

我通过brew 和pip 安装了ffmpeg