machine-learning - gym - openai install ubuntu

¿Cómo crear un nuevo entorno de gimnasio en OpenAI?

Question

Tengo la tarea de hacer un Agente de IA que aprenda a jugar un videojuego con ML. Quiero crear un nuevo entorno usando OpenAI Gym porque no quiero usar un entorno existente. ¿Cómo puedo crear un nuevo entorno personalizado?

Además, ¿hay alguna otra manera en la que pueda comenzar a desarrollar haciendo que AI Agent juegue un videojuego específico sin la ayuda de OpenAI Gym?

Answer 1

Definitivamente es posible. Lo dicen en la página de documentación, cerca del final.

https://gym.openai.com/docs

En cuanto a cómo hacerlo, debe buscar inspiración en el código fuente de los entornos existentes. Está disponible en github:

https://github.com/openai/gym#installation

La mayoría de sus entornos no se implementaron desde cero, sino que crearon una envoltura alrededor de los entornos existentes y le dieron a todos una interfaz conveniente para el aprendizaje de refuerzo.

Si desea hacer el suyo, probablemente debería ir en esta dirección e intentar adaptar algo que ya existe a la interfaz del gimnasio. Aunque hay una buena posibilidad de que esto lleve mucho tiempo.

Hay otra opción que puede ser interesante para su propósito. Es el universo de OpenAI

https://universe.openai.com/

Se puede integrar con sitios web para que entrene a sus modelos en juegos de kongregate, por ejemplo. Pero Universe no es tan fácil de usar como Gym.

Si es un principiante, mi recomendación es que comience con una implementación estándar en un entorno estándar. Una vez que haya superado los problemas básicos, continúe aumentando ...

Answer 2

Vea mi banana-gym para un ambiente extremadamente pequeño.

Crea nuevos ambientes

Vea la página principal del repositorio:

https://github.com/openai/gym/blob/master/docs/creating-environments.md

Los pasos son:

1. Cree un nuevo repositorio con una estructura de paquete PIP

Debe tener un aspecto como este

gym-foo/
  README.md
  setup.py
  gym_foo/
    __init__.py
    envs/
      __init__.py
      foo_env.py
      foo_extrahard_env.py

Para conocer el contenido, siga el enlace de arriba. Los detalles que no se mencionan allí son especialmente cómo deberían verse algunas funciones en foo_env.py . Mirando ejemplos y en gym.openai.com/docs/ ayuda. Aquí hay un ejemplo:

class FooEnv(gym.Env):
    metadata = {''render.modes'': [''human'']}

    def __init__(self):
        pass

    def _step(self, action):
        """

        Parameters
        ----------
        action :

        Returns
        -------
        ob, reward, episode_over, info : tuple
            ob (object) :
                an environment-specific object representing your observation of
                the environment.
            reward (float) :
                amount of reward achieved by the previous action. The scale
                varies between environments, but the goal is always to increase
                your total reward.
            episode_over (bool) :
                whether it''s time to reset the environment again. Most (but not
                all) tasks are divided up into well-defined episodes, and done
                being True indicates the episode has terminated. (For example,
                perhaps the pole tipped too far, or you lost your last life.)
            info (dict) :
                 diagnostic information useful for debugging. It can sometimes
                 be useful for learning (for example, it might contain the raw
                 probabilities behind the environment''s last state change).
                 However, official evaluations of your agent are not allowed to
                 use this for learning.
        """
        self._take_action(action)
        self.status = self.env.step()
        reward = self._get_reward()
        ob = self.env.getState()
        episode_over = self.status != hfo_py.IN_GAME
        return ob, reward, episode_over, {}

    def _reset(self):
        pass

    def _render(self, mode=''human'', close=False):
        pass

    def _take_action(self, action):
        pass

    def _get_reward(self):
        """ Reward is given for XY. """
        if self.status == FOOBAR:
            return 1
        elif self.status == ABC:
            return self.somestate ** 2
        else:
            return 0

Usa tu entorno

import gym
import gym_foo
env = gym.make(''MyEnv-v0'')

Ejemplos

1. https://github.com/openai/gym-soccer
2. https://github.com/openai/gym-wikinav
3. https://github.com/alibaba/gym-starcraft
4. https://github.com/endgameinc/gym-malware
5. https://github.com/hackthemarket/gym-trading
6. https://github.com/tambetm/gym-minecraft
7. https://github.com/ppaquette/gym-doom
8. https://github.com/ppaquette/gym-super-mario
9. https://github.com/tuzzer/gym-maze