![[DL輪読会] マルチエージェント強化学習と心の理論](https://cdn.slidesharecdn.com/ss_thumbnails/0917imai-211210044729-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Control as Inferenceと発展](https://cdn.slidesharecdn.com/ss_thumbnails/20191004-191204055019-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...](https://cdn.slidesharecdn.com/ss_thumbnails/ahigher-dimensionalrepresentationfortopologicallyvaryingneuralradiancefields1-210924021911-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...](https://cdn.slidesharecdn.com/ss_thumbnails/20200221settransformer-200221020423-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from Masatoshi Yoshida (20)
よくわかるフリストンの自由エネルギー原理
- 4. Friston K, Breakspear M, Deco G. Perception and self- organized instability. Front Comput Neurosci. 2012 Jul 6;6:44. FIg.1 (CC BY 3.0) http://www.frontiersin.org/files/Articles/ 23035/fncom-06-00044-r4/image_m/fncom-06-00044-g001.jpg 自由エネルギー最小化原理
- 5. FEPとはなにか： いかなる自己組織化されたシステムでも環境内で平衡 状態であるためには、そのシステムの(情報的)自由エ ネルギーを最小化しなくてはならない 適応的なシステムが無秩序へ向かう自然的な傾向に抗 して持続的に存在しつづけるために必要な条件 「意識についての理論」そのものではない 自由エネルギー原理 (FEP) Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138.
- 6. 自由エネルギー「原理」である意義 FEPは脳についての理論を統一的に理解するための「原理」であり、 これまでの理論を置き換えるためのものではない。 注意 シナプス可塑性 学習・記憶 神経のコード 運動制御 価値判断 進化 ミラーニューロン 自閉症 統合失調症 Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138. Friston (2010) Fig.4の図 SlideShare用資料では省略。
- 7. レベル1: 認識による世界のモデル化 (perceptual inference) レベル2: + 行動による世界の探索 (active inference) レベル3: + 反実仮想による世界のモデル化と目的の発生 全体的な流れ 1. 自由エネルギー原理とは 2. レベル別に説明
- 8. 全体的な流れ レベル1: 認識による世界のモデル化 (perceptual inference) レベル2: + 行動による世界の探索 (active inference) レベル3: + 反実仮想による世界のモデル化と目的の発生 1. 自由エネルギー原理とは 2. レベル別に説明
- 9. 自由エネルギー原理 (FEP) ヘルムホルツ的視覚観：Agentは直接アクセス不可能な世界xを 知るために感覚入力sから「無意識的推論」を行う。 変分ベイズ推定における観測値sから隠れ値xの推定と形式的に同じ。 主体外部世界 感覚入力 s 外部世界の 原因 x 例: 網膜の 神経活動 直接は アクセス 不可能 例: 蝶 脳活動 b
- 10. 自由エネルギー原理 (FEP) 情報理論的自由エネルギーIFE: 生成モデル: Agentは感覚入力sとその原因xの関係を知識として獲得 現在の推測: イマココでの原因xの推測(脳活動からの事後分布) 主体外部世界 感覚入力 s 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 蝶 脳活動 b
- 11. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 蝶 脳活動 b 「現在の推測q」から「生成モデルp」 までの距離 = 予測誤差 F(s, b) = DKL(q(x|b)kp(x, s))情報理論的自由エネルギー:
- 12. 主体外部世界 感覚入力 s 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 蝶 脳活動 b 自由エネルギー原理 (FEP) F(b) = DKL(q(x|b)kp(x|s)) + C1(s) (1) bを変える (sは固定) - Perceptual inference = 認識 脳活動bを変えると「推測した原因q」が変わる。 「推測した原因q」が「真の原因p」と一致するとき(=正しい認識)、 DKL=0となり、Fは最小になる。 F(s, b) = DKL(q(x|b)kp(x, s)) Fを最小化するには どうすればいい？
- 13. 予測誤差 = 視覚サリエンス 予測モデル = Conscious perception Predictive coding このような考え方は「Predictive coding」としてモデル化されてき た。つまり、レベル1の説明だけでは「自由エネルギー原理」を持ち 出す必要はとくに無い。レベル2を考える必要がある。
- 14. 全体的な流れ レベル1: 認識による世界のモデル化 (perceptual inference) レベル2: + 行動による世界の探索 (active inference) レベル3: + 反実仮想による世界のモデル化と目的の発生 1. 自由エネルギー原理とは 2. レベル別に説明
- 15. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 行動 a 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 目を向ける 例: 蝶 脳活動 b
- 16. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 行動 a 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 目を向ける 例: 蝶 脳活動 b F(s, b) = DKL(q(x|b)kp(x, s)) Fを最小化するには？ (1) bを変える (sは固定) - 現在の推測のアップデート = 認識 (2) sを変える (bは固定) - 行動aで感覚sを変える = 行動
- 17. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 行動 a 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 目を向ける 例: 蝶 脳活動 b (2) sを変える (bは固定) - Active inference = 行動 F(s) = C2(b) − X x {q(x|b) ⇤ log(p(s|x))} 行動aによって感覚入力sを変える(例：対象に眼を向ける)。 これによって「推測した原因q」をより選択的に生み出す感覚入力s をサンプルしたとき、accuracyが最大化し、Fが最小になる。 accuracy Fを最小化するには どうすればいい？
- 22. 生成モデル g(x,s) 同時 確率 1 0 s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 仮定：Agentはこれまでの経験から 生成モデル(感覚入力sと原因xの同時確率)を持っている。
- 23. 2.35 (bit) 0 1 p(x|s1) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b0) 0 100 0 1 b0 (Hz) F(b) = DKL(q(x|b)kp(x|s)) + C1(s) 0.02 (bit) 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 画像が提示された直後なので まだ蝶と蛾の判別は5:5 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) 脳活動b 感覚入力s1 FEPを実例を追って理解する
- 24. 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) 0 1 p(x|s1) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b1) b1 (Hz) 脳活動b 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 0 100 0 1 2.32 (bit) F(b) = DKL(q(x|b)kp(x|s)) + C1(s) 0.00 (bit) Perceptual inference: 脳活動をb0からb1に 変えると「推測した原因q」が変わる。「推 測した原因q」が「真の原因p」と一致する とき、DKLは0になる。 感覚入力s1 FEPを実例を追って理解する
- 25. 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) 0 1 p(x|s1) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b1) b1 (Hz) 脳活動b 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 0 100 0 1 2.32 (bit) F(b) = DKL(q(x|b)kp(x|s)) + C1(s) 0.00 (bit) 原因xについてもっと良い推定 をするためには、 行動によってsを変えるしかない 感覚入力s1 FEPを実例を追って理解する
- 26. 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) 感覚入力s1 0 1 p(x|s1) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b1) b1 (Hz) 脳活動b 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 0 100 0 1 2.32 (bit) -2.30 (bit) 原因x1(蝶)をより高い確率で サンプルできるのは感覚入力s2 F(s) = C2(b) − X x {q(x|b) ⇤ log(p(s|x))} accuracy FEPを実例を追って理解する
- 27. 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) p(x|s2) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b1) b1 (Hz) 脳活動b 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 0 100 0 1 1.77 (bit) -1.75 (bit) 行動aで感覚入力s2をサンプルした らaccuracyが上がった。 (Active inference) F(s) = C2(b) − X x {q(x|b) ⇤ log(p(s|x))} accuracy 感覚入力s2 0 1 FEPを実例を追って理解する
- 28. 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) p(x|s2) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b1) b1 (Hz) 脳活動b 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 0 100 0 1 1.77 (bit) 0.44 (bit) ふたたびperceptual inferenceで DKLを下げる余地ができた。 感覚入力s2 0 1 F(b) = DKL(q(x|b)kp(x|s)) + C1(s) FEPを実例を追って理解する
- 29. 真のxの事後分布 (知識) 推測したxの事後分布 (現在の認識) p(x|s2) s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 q(x|b2) b2 (Hz) 脳活動b 仮想的な 蝶ニューロンと 蛾ニューロン bより softmax関数 で計算 1.32 (bit) 0.00 (bit) 感覚入力s2 0 1 F(b) = DKL(q(x|b)kp(x|s)) + C1(s) Perceptual inference: 脳活動をb1からb2 に変えるとDKLは0になる。 Fは最小化した。 0 1 0 100 FEPを実例を追って理解する
- 30. FEPを実例を追って理解する KLD 0.00 0.000.02 0.44 Accuracy -2.30 -1.75 F(s,b) 2.32 1.322.35 (bits) 1.77 真のx の事後分布 推測したx の事後分布 b0 b1 b1 b2 AI PI PI s1 s2 s1 s2 p(x|s) q(x|b) 感覚入力s1 行動a 感覚入力s2 脳状態b b0 b1 b1 b2 0 1 0 100 0 1 原因xのとき の感覚入力s s1 s1 s2 s2 p(s|x) 0 1 F(b) = DKL(q(x|b)kp(x|s)) + C1(s) F(s) = C2(b) − X x {q(x|b) ⇤ log(p(s|x))} accuracyKLD たしかに、F は時間をおっ て小さくなっ ている。
- 31. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 行動 a 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 目を向ける 例: 蝶 脳活動 b F(s, b) = DKL(q(x|b)kp(x, s)) Fを最小化するには？ (1) Perceptual inference: 認識 脳活動bを変える=> 「推測した原因q」を「真の原因p」に近づける (2) Active inference: 行動 感覚入力sを変える => 「推測した原因q」をより選択的に生み出す 感覚入力sをサンプルする
- 32. Active vision Active vision: 視覚とは受け身での表象形成ではなく て、行動(例えば眼球運動)によって主体が視覚情報を サンプルすることである。 FEPはactive visonをPI-AIを組み合わせて感覚入力sから 原因xを明らかにしてゆく過程として整合的に説明している エルンスト・マッハ「感覚の分析」より https://publicdomainreview.org/collections/ self-portrait-by-ernst-mach-1886/ 我々は絶えず 視線を移動 させながら 視覚シーンを 構成している。
- 33. 全体的な流れ レベル1: 認識による世界のモデル化 (perceptual inference) レベル2: + 行動による世界の探索 (active inference) レベル3: + 反実仮想による世界のモデル化と目的の発生 1. 自由エネルギー原理とは 2. レベル別に説明
- 36. 行動は賭けだから 行動aの結果が 必ずしも蝶だとは 限らない。 s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 P(x1|s1) = 0.6 P(x2|s1) = 0.4 感覚入力s1 行動は常に賭けである なのだから、行動aの 結果が蝶なのは60% の場合でしかない。
- 37. 視線を右上に向けて みたら、じつは 蛾だった。 感覚入力s3 s1 s2 s3 x1 x2 感覚 入力 s 外界の原因x 蝶 蛾 0.12 0.08 0.36 0.04 0.360.04 行動は常に賭けである P(x1|s1) = 0.6 P(x2|s1) = 0.4 ということが40%の 確率で起こる。
- 38. KLD 0.00 0.000.02 0.44 Accuracy -2.30 -1.75 F(s,b) 2.32 1.322.35 (bits) 1.77 真のx の事後分布 推測したx の事後分布 b0 b1 b1 b2 AI PI PI s1 s2 s1 s2 p(x|s) q(x|b) 感覚入力s1 行動a 感覚入力s2 脳状態b b0 b1 b1 b2 0 1 0 100 0 1 原因xのとき の感覚入力s s1 s1 s2 s2 p(s|x) 0 1 視線を右上に 向けてみたら、 蝶だった。 この場合は行動 aによってFが 下がったけど、
- 39. Divergence 0.00 0.000.02 1.08 Accuracy -2.30 -2.38 F(s,b) 2.32 1.322.35 2.40 感覚入力s のときの原因x 脳状態bから 推測した原因x b0 b1 b1 AI PI PI s1 s1 p(x|s) q(x|b) 感覚入力s1 行動a 感覚入力s3 脳状態b b0 b1 b1 0 1 0 100 0 1 原因xのとき の感覚入力s s1 s1 p(s|x) 0 1 s3 s3 s3 s3 b3 b3 視線を右上に 向けてみたら、 蛾だった。 予想していた原因 (x1=蝶)を反証する感覚入力s3をサンプルしたため、 accuracyは低下し、Fはかえって大きくなった。 こちらの場合は 行動aによってF が上がっている。
- 40. FEPは期待値でのみ成立する つまり、Agentは将来平均的にFを下げることが期待される行動aを選択している。 これは反実仮想 (まだ実現していない行動aによって蝶という原因を期待する)だ。 E(F(s,b)) 2.32 1.322.35 2.02 F(s,b) 2.32 1.322.35 1.77 感覚入力s1 行動a 感覚入力s2 F(s,b) 2.32 1.322.35 2.40 感覚入力s1 行動a 感覚入力s3 FEPはふたつの可能性(蝶と蛾)の期待値においては成立している。
- 41. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 行動 a 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 目を向ける 例: 蝶 脳活動 b これまでの説明の図では「現在の推測」だけが考慮され ていたけれど、
- 42. 自由エネルギー原理 (FEP) 主体外部世界 感覚入力 s 行動 a 外部世界の 原因 x p(x,s) 現在の推測 q(x|b) 生成モデル 推測 例: 網膜の 神経活動 直接は アクセス 不可能 例: 目を向ける 例: 蝶 脳活動 b q(x’|b’) 将来の予測 「現在の推測q」だけでなく、 「反実仮想的な将来の予測q」も生成している。 (ここではx’, b’は将来のx, bについての表示)
- 43. KLD 0.00 0.000.02 Accuracy -2.30 F(s,b) 2.32 1.322.35 真のx の事後分布 推測したx の事後分布 b0 b1 b2 b2PI s1 s2 s1 p(x|s) q(x|b) 感覚入力s1 行動a 感覚入力s2 脳状態b b0 b1 b2 b2 0 1 0 100 0 1 原因xのとき の感覚入力s s1 s1 s2 p(s|x) 0 1 反実仮想的な推測 反実仮想的な将来の予測q(x’|b’)を生成することで 行動の開始段階で脳状態が未来を先取りしている。 Fが下がって いる。 行動の時点で 脳活動が未来 を先取りする のは、神経生 理で知られて いる presaccadic remappingによ く似ている。
- 44. 自由エネルギー原理 (FEP) x (or psi)とsは時間的なシークエンス 視覚サリエンスが高い = そこを見ればqのエン トロピーを最小化する 場所 => その場所を control state u(x)のprior として採用する。 Control state u(x)によって運動aを計画 実際のモデルはこの図のようにもっと複雑なのだけど、 エッセンスはこれでつかめたと思う。 Perceptions as hypotheses: saccades as experiments. Friston K, Adams RA, Perrinet L, Breakspear M. Front Psychol. 2012 May 28;3:151.
- 45. 参考文献 Friston K, Adams RA, Perrinet L, Breakspear M. (2012) Perceptions as hypotheses: saccades as experiments. Front Psychol. 3:151. (視線移動のモデル及び反実仮想の概 念の初出) McGregor, Simon; Baltieri, Manuel; Buckley, Christopher L. (2015) A Minimal Active Inference Agent. arXiv:1503.04187 https://arxiv.org/abs/1503.04187 (このスライドの 説明の元ネタ。離散バージョンのFEPの説明などがあり、これがもっともわかりやす い。) Buckley, Christopher L.; Kim, Chang Sub; McGregor, Simon; Seth, Anil K. (2017) The free energy principle for action and perception: A mathematical review. arXiv: 1705.09156 (省略無しで丁寧な説明。) Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138. (FEPの全体像について網羅的な記述) Friston K, Rigoli F, Ognibene D, Mathys C, Fitzgerald T, Pezzulo G. (2015) Active inference and epistemic value. Cogn Neurosci. 2015;6(4):187-214. (視線移動を epistemic valueと捉えて、他のvalueと対置して扱っている) Ryota Kanai (2017) Creating Consciousness. https://www.slideshare.net/ryotakanai/ creating-consciousness (FEPの反実仮想についての言及あり。)
- 46. 背景説明 金井さんのASSC2017チュートリアルにも書かれているように、フリストンの書いたものをいきなり読 むのはハマり道(表記の統一などにも難があるし)。まずは、機械学習、とくに変分ベイズについて PRMLなどの教科書でよく理解することが大事。そのうえで、SPM12のDEM toolboxにあるmatlabコー ドを走らせ、コードを理解するという手順がよいと思われる。 FEPを正確に理解するためには: このスライドは栢森情報科学振興財団 第17回 Kフォーラム2017(http://www.kayamorif.or.jp/forum/ f.html)での発表をもとにして作成した。 以前作成したスライド「アクティブビジョンと フリストン自由エネルギー原理」 https:// www.slideshare.net/masatoshiyoshida/20170111-70980954 の更新版として作成された。以前のスライ ドについてはブログ記事(「セミナー「アクティブビジョンと フリストン自由エネルギー原理」スライ ドをアップロードしました」http://pooneil.sakura.ne.jp/archives/permalink/001607.php)にさらに情報 あり。 以下に記したように、FEPを正確に理解するためには機械学習(変分ベイズ)、そしてニューラルネット ワーク(確率的勾配降下法)についての知識が必要となる。しかしそもそもそこまでしてFEPを理解する 意義があるか、判断の材料を提供するために、神経科学者、心理学者、哲学者に向けてFEPの最小限 の理屈を説明したい、というのが本スライドを作成した動機。 ゆえに、この説明では(世界一)単純化した例を用いているということを承知しておいていただきたい。 私自身はFEPをどのくらい重要だと思っているかというと、批判的に継承したいと考えている。このあ たりについては私のブログ内の記事を参照してほしい。