変分ベイズ法の説明
Download as pptx, pdf61 likes42,334 views
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...](https://cdn.slidesharecdn.com/ss_thumbnails/20200221settransformer-200221020423-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−](https://cdn.slidesharecdn.com/ss_thumbnails/20190415dlhacks-190422075753-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Pay Attention to MLPs （gMLP）](https://cdn.slidesharecdn.com/ss_thumbnails/kobayashi-210528032327-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (12)
Similar to 変分ベイズ法の説明 (20)
More from Haruka Ozaki (11)
変分ベイズ法の説明
- 3. 概要 変分ベイズ法 • 確率モデルの潜在変数およびパラメータの事後分布を求 める手法の一種 • 事後分布を近似することで計算を簡単にしている • 因子分解可能という仮定を置く • 決定論的な手法 • MCMCなどのサンプリング法は確率的 3
- 4. 点推定とベイズ推定 例えば、 というモデルで予測分布を求めるには？ • 点推定 • 特定のパラメータの値 ( というモデル) による推定 4 • ベイズ推定 • パラメータの事後分布 を用いて周辺化 最尤推定やMAP推定で 点推定したパラメータの値 xの新しい予測値 推定に用いたデータ
- 5. 最尤推定とEMアルゴリズム 観測変数 X と潜在変数 Z があるとき、 5 を最大にするパラメータ θ を求めるのが最尤推定 この最尤推定を行うための２段階の繰り返し最適化が EMアルゴリズム
- 6. 最尤推定とEMアルゴリズム: 下界 方針: 対数尤度 の下界 を最大化する 6 ln p(X|θ)の下界 (Lower bound) Jensenの不等式より E step M step
- 7. 最尤推定とEMアルゴリズム: E step 7 のとき、下限 が最大となる KLダイバージェンス なので 0以上 qが含まれて いないので定数 はθの現在の値とする
- 10. バイオインフォマティクスと推定問題 解空間が巨大・各解の尤度は微小 • 例: RNA二次構造、系統樹 →点推定がよい予測につながらない 10Hamada, Briefings in Bioinformatics, 2013
- 11. 変分ベイズの目的と手段 最尤法 • 目的: 尤度 を最大にするパラメータを求める • 実現手段: EMアルゴリズム（二段階の繰り返し最適化） 変分ベイズ • 目的: 周辺尤度 (モデルエビデンス) を最大にするパラ メータの事後分布を求める • 手段: VB-EMアルゴリズム（二段階の繰り返し最適化） 11
- 13. 変分ベイズとVB-EMアルゴリズム: 因子分解 因子分解可能 (factorization) な分布によって、真の事 後分布を近似します • Z を独立な因子に分解し、潜在変数およびパラメ ータの同時事後分布を各因子の事後分布の積で近 似する 13 「事後分布を求める」問題から 「因子分解可能な近似分布の中でできるだけ真の事後 分布に近い分布を求める」問題に変換
- 14. 変分ベイズとVB-EMアルゴリズム: 変分下限 14 方針: 対数周辺尤度の変分下限 を最大化する 各因子について ln p(X)の変分下限
- 15. 変分ベイズとVB-EMアルゴリズム: 更新式 15 qi はZiの確率分布だから j以外の因子に関する対数同時分布の期待値 のexp()と q_j の間のKLダイバージェンス → これをゼロにすることが最大化につながる 変分下限 L(q) をq_j = q_j(Z_j) について整理する
- 20. まとめ 20 最尤法 変分ベイズ 与えられているも の 同時分布 p(X,Z|θ) 同時分布 p(X,Z) 目的 対数尤度 ln p(X|θ)を最大にする パラメー タを求める 対数周辺尤度(＝モデルエビデンス) ln p(X) を最大にする パラメータの事後分布を求 める 目的関数の分解 ln(X|θ)= L(q, θ) + KL(q||p) ln(X) = L(q) + KL(q||p) 目的の再定義 下界 L(q, θ)の q(Z)とθに関する最大化 変分下限 L(q) の q(Z) に関する最大化 手続き EMアルゴリズムによる繰り返し最適化 VB-EMアルゴリズムによる繰り返し最適化 潜在変数に関する 最適化 パラメータの現在の値を用いて 潜在変数 の事後分布を改良する パラメータの現在の事後分布を用いて 潜 在変数の事後分布を改良する パラメータに関す る最適化 潜在変数の現在の事後分布を用いて パラ メタを更新する 潜在変数の現在の事後分布を用いて パラ メータの事後分布を改良する 注目した因子以外の因子に関して同時分布の期待値を計算したものを新しい値 or 分布にする
- 21. 参考文献 C. M. ビショップ「パターン認識と機械学習 下」 9-10章 渡辺澄夫「ベイズ統計の理論と方法」 5章 • 平均場近似から自己無矛盾条件を導く形で説明している 佐藤一誠「トピックモデルによる統計的潜在意味解析」自然言語処理シリー ズ 8 コロナ社 Daichi Mochihashi “自然言語処理のための変分ベイズ法” • http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf 21
- 22. 生物学への応用 個々の遺伝子発現の状態がいくつあるか問題 • Nikaido et al., PLOS One, 2011 • 混合ガウスのKの数も推定 22 RNA-seqによる転写産物量推定問題 • Nariai et al., Bioinformatics, 2013 • 複雑な生成モデルの計算を容易にした DNA断片からのハプロタイプ推定問題 • Matsumoto et al., BMC Genomics, 2013 • 複雑な生成モデルの計算を容易にした
- 23. 余談 下界の導出方法には２通りある • Jensen の不等式を使う • 対数周辺尤度をKL divergence との和の形にする 具体的な更新式の導出方法には２通りある • 一般的な最適解の式にモデルの式を代入する • ラグランジュの未定乗数法で各パラメータについて変分 下限を最大化する 23
- 24. 「事後分布を探すのが難しい」から始まる説明 (1) ベイズ推定の問題の一つは事後分布の計算が困難であるという ことだ 代わりに、事後分布を因子分解可能という仮定を置いて近似し た近似事後分布を考える この近似事後分布 (q) をなるべく真の事後分布 (p) に近づける ために、qとpのKLダイバージェンスを考える 24
- 26. 余談 EMアルゴリズムで下界、変分ベイズで下限と呼ぶ理 由はよくわかりませんでした • 原著ではどちらも lower bound となっていた 26