Download as PDF, PPTX
![OpenAI Gymを動かしてみる
インストール方法は公式GitHubページを参照。
Mac/Linux(Ubuntu)が公式だが、Windowsでもbash on Windowsを利用することで動作させる
ことが可能。
利用する「ジム(=学習環境)」によって、必要となるライブラリも異なってくる。これらは、選択
的にインストールすることが可能。
※pip install gymで入るのは必要最低限のもので、Atariのゲーム環境を使う場合はpip
install ‘gym[atari]’といったように指定する
14](https://image.slidesharecdn.com/pycon2016openaigym-160922062310/75/Python-OpenAI-Gym-14-2048.jpg)
More Related Content
Pythonではじめる OpenAI Gymトレーニング
- 1. Pythonではじめる OpenAI Gymトレーニング by icoxfog417@ PyConJP 2016
- 2. Agenda ● OpenAI Gymを体験しよう ○OpenAIとOpenAI Gym ○ OpenAI Gymを動かしてみる ○ 簡単な「AI」を作ってみる ○ 「AI」の限界 ● 「AI」を成長させよう ○ 強化学習というアイデア ○ アイデアのモデル化と、最適化の方法 ○ より複雑なタスクへの挑戦 ● Deep Learningとの融合 ○ Deep Q-learningの登場 ○ Deep Q-learningにおける3つのトリック ○ Deep Q-learningの実装 ● おわりに 2
- 3.
- 4.
- 5.
- 6. 人とロボットとの分業による、生産的な接客の実現を検証中 Robot Dash BoardHuman customerA customerB customerC report take over (telepresence) 背景：生産年齢人口の現象による販売員単価増＋ネットショッピングの普及による来店 者数減 コンセプト：ロボットが得意なところ/できることは任せ、人は人ならでは応対に注力する icoxfog417 対話システムシンポジ ウムでデモ予定
- 7.
- 9.
- 10. OpenAIとOpenAI Gym 10 Ilya Sutskever氏Trevor Blackwell氏 Andrej Karpathy氏 所属する研究員の方たちは、Seq2Seqを提案したIlya Sutskever、Segwayを発明したTrevor Blackwell、画像の 説明文生成を行ったAndrej Karpathなど、泣く子も黙る 世界的に優秀な研究員・エンジニア達が所属。 日本人はまだいないようなので、ぜひ日本人初の OpenAI研究員を目指そう！
- 12. OpenAIとOpenAI Gym OpenAI Gymは、強化学習を開発、評価するための プラットフォームです。 強化学習は意思決定を行うための汎用的な仕組 みで応用性が高く、またその精度は近年飛躍的に 高まっています。 OpenAIGymは、こうした注目を集める強化学習に おいて標準となる実験・評価環境を提供することを 目的としています。これにより、大規模な画像デー タセットであるImageNetにより画像分類の研究が発 展したのと同様の効果を狙っています。 12 環境を使うのはもちろん、実験結 果をアップロードしたり、他の人 の実行結果・実装を見たりするこ とも出来る
- 13.
- 14. OpenAI Gymを動かしてみる インストール方法は公式GitHubページを参照。 Mac/Linux(Ubuntu)が公式だが、Windowsでもbash onWindowsを利用することで動作させる ことが可能。 利用する「ジム(=学習環境)」によって、必要となるライブラリも異なってくる。これらは、選択 的にインストールすることが可能。 ※pip install gymで入るのは必要最低限のもので、Atariのゲーム環境を使う場合はpip install ‘gym[atari]’といったように指定する 14
- 15. OpenAI Gymを動かしてみる Gymの基本的な使い方は以下の通り。 15 import gym env= gym.make("CartPole-v0") for i_episode in range(20): observation = env.reset() done = False while not done: env.render() action = env.action_space.sample() observation, reward, done, info = env.step(action) Environment (CartPole-v0) Agent action observation, reward done (episode end) gym episodeの単位は、各ゲームによって異なる。そのため、gymを使っていきなり強化学習に入るよりは、試しに動かし てepisodeの単位、actionの意味を調べるのがおすすめ。
- 16. Let’s start fromsimple one 16 まずは簡単なAIを作ってみる
- 17. 簡単な「AI」を作ってみる 17 Agent Environment action (フン=左 &フン=右) observation, reward
- 18. 簡単な「AI」を作ってみる 18 Agent Environment action (フン=左 &フン=右) observation, reward def test_funfun_defence(self): env = Environment(env_name="Pong-v0") agent = CycleAgent((2, 3), keep_length=20) for episode, step, reward in env.play(agent, episode=1): pass
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31. アイデアのモデル化: 最適化の方法 31 まとめ 各状態における、期待報酬の値 を0などで初期化する。 各状態で、期待報酬の値を計算 する(Bellman Equation)。 計算した期待報酬の値を元に、も う一度計算を行う。 step=1step=2 ... step=n 期待報酬の値が、step前後で変わらなくなってくる(=収束する)。これ で計算終了。 Agentは、期待報酬が最大の方向に行くようにすればOK！
- 32. アイデアのモデル化: 最適化の方法 32 まとめ 各状態における、期待報酬の値 を0などで初期化する。 各状態で、期待報酬の値を計算 する。 計算した期待報酬の値を元に、も う一度計算を行う。 step=1 step=2 ...step=n 期待報酬の値が、step前後で変わらなくなってくる(=収束する)。これ で計算終了。 あとは、期待報酬が最大の方向に行くようにすればOK！ Value Iteration
- 33. We have doneit …? 33 これで問題は解決？
- 34.
- 35.
- 36.
- 37.
- 38. We need newidea 38 どうするか？
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50. We finally madeit? 50 これでいけそう？
- 51.
- 52.
- 53.
- 54. Convolutional Neural Network 54 DeepLearning界において、「香川といえばうどん」と同じくらい「画像といえば CNN(Convolutional Neural Network)」は当然のこととして扱われている。 Clarifai CNNは、画像から特徴を抽出して判断するのに優れた手法。 これを応用して、以下のような仕組みを構築する。
- 55. Deep Q-learning 画像であるstateを、画像処理に優れたConvolutional NeuralNetwork)に流し込み、「その状 態でどのactionがいい(=期待報酬が高い)か」を出力させる。 ⇒期待報酬の計算プロセス(Q関数)を、Deep Learningに置き換える。これがつまるところ ・・・ 55 state 期待報酬 action A B ・ ・ Convolutional Neural Network
- 56.
- 57.
- 58. Deep Q-learningのプロセス 58 ・ ・ ・ episode (1ゲーム終了ま での期間) experience ・ ・ ・ 行動とその結果 (state/action/遷移先 state/reward)を記憶 replay 現状態の報酬 遷移先の報酬 新しい期待報酬 誤差 ⇒DQN更新 DQN 定期的にコピー Fixed TargetQ-Network 遷移先報酬を計算する際の重みはし ばらく固定し、定期的に更新する Experience Replay experienceに蓄積したものを、シャッフルして学習デー タにする。 ⇒学習データ間の相関を除去する(普通にやると時系 列に並んでいるため、強い相関がある)。
- 59. Deep Q-learningのプロセス 59 ・ ・ ・ episode (1ゲーム終了ま での期間) experience ・ ・ ・ replay stateの報酬 state’からの期待報酬 探索から算出された 期待報酬 誤差 ⇒DQN更新 DQN 定期的にコピー Fixed TargetQ-Network 遷移先報酬を計算する際の重みはしばらく 固定し、定期的に更新する(報酬計算の安 定性を高めるため)
- 60. Deep Q-learningの実装 実行結果(Open AIGymへアップロード済み) 60
- 61. Deep Q-learningの実装 DQNは、結果が出るまでかなり時間がかかる。そのため、実際計算しないとわからないこと 以外は可能な限り事前にテストしておくことが重要。 ● 感覚的にパラメーターの影響をかなり受けるため、テストしておかないと処理のミスか パラメーターのチューニングの問題かわからなくなる。 ○責務分担・処理の独立化を行い、手元のテストでつぶせるバグはすべてつぶして おくこと。 ○ これを怠ると、GPUの場合お財布、CPUの場合時間に致命的なダメージを負うこ とになる ● GPUはほぼ必須(CPUの場合、いい感じかどうかわかるのに1~2日はかかる) ○ GPUインスタンスを使おう ○ OpenAI Gymを検証しているといえばAmazonから$250分もらえるらしい 61
- 62. Deep Q-learningの実装 62 Environment(gym) DQNTrainer DQNAgent observation action train 学習時 observationaction 実行時 Trainerが取 れるだけ experience buffer Q-Network Environment(gym) DQNAgent Q-Network icoxfog417/chainer_pong
- 63.
- 64.
- 65.
- 66.
- 67.
- 68.
- 69. Welcome to AI World! puhotoby Rog01
- 70. Thank you forlistening!