OpenAI Gym

W&B와 OpenAI Gym을 통합하는 방법.

“2021년부터 Gym을 유지보수해 온 팀은 모든 향후 개발을 Gymnasium으로 이전했으며(Gym의 대체제로서 import gymnasium as gym 형태로 사용), Gym은 더 이상 업데이트를 받지 않습니다.” (출처)

Gym은 더 이상 활발히 유지보수되지 않으므로, Gymnasium과의 통합을 사용해 보세요.

OpenAI Gym을 사용하는 경우, W&B는 gym.wrappers.Monitor가 생성하는 환경 비디오를 자동으로 로깅합니다. wandb.init에 monitor_gym 키워드 인자를 True로 설정하거나 wandb.gym.monitor()를 호출하기만 하면 됩니다.

W&B의 Gym 통합 기능은 매우 경량입니다. 우리는 단순히 gym에서 로깅되는 비디오 파일 이름을 확인하고, 해당 이름을 사용하거나 일치하는 항목을 찾지 못하면 기본값으로 "videos"를 사용합니다. 더 세밀하게 제어하고 싶다면 언제든지 수동으로 비디오를 로깅할 수 있습니다.

CleanRL의 OpenRL Benchmark는 OpenAI Gym 예제에서 이 통합을 사용합니다. Gym을 사용하는 방법을 보여 주는 소스 코드(예: 특정 실행에 사용된 구체적인 코드)를 확인할 수 있습니다.