MLaPP 4章 「ガウシアンモデル」
19 likes6,915 views
機械学習輪講の発表資料 教科書：Kevin Murphy "Machine Learning: a Probabilistic Perspective" (MLaPP) 内容はガウス分布とそれをもちいた機械学習手法についてです。 （判別分析の話がメイン）
MLaPP 4章 「ガウシアンモデル」
- 2. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間 ガウス分布とベイジアン
- 3. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間 ガウス分布とベイジアン 割愛します m(_ _)m
- 4. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 5. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 6. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要
- 7. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ 単変量が許されるのは 小学生まで！！！ ガウス分布とは 概要
- 8. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要
- 9. ガウス分布とは 概要 ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ
- 10. ガウス分布とは 概要 ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ 大事なのは この後ろの部分 （前半は正規化係数）
- 14. ガウス分布とは expの中を詳しく こういう v⊤Av みたいな形を「2次形式」といいます 2次形式の性質はあいだの行列の固有値で決まるので ちょっと Σ-1 を固有値分解してみましょう
- 21. ガウス分布とは expの中を詳しく この は x と μ のユークリッド距離 の分散を補正したもの（＝マハラノビス距離）の２乗
- 22. ガウス分布とは expの中を詳しく この は x と μ のユークリッド距離 の分散を補正したもの（＝マハラノビス距離）の２乗
- 23. ガウス分布とは expの中を詳しく この は x と μ のユークリッド距離 の分散を補正したもの（＝マハラノビス距離）の２乗 → ガウス分布を書き直すと
- 24. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要、再び
- 25. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要、再び
- 30. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる ガウス分布とは どの辺が王者なのか
- 31. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） ガウス分布とは どの辺が王者なのか
- 32. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 ガウス分布とは どの辺が王者なのか
- 33. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 34. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか 実際には世の中みんなガウス 分布に従っているわけじゃない 対数正規分布、パレート分布、 二項分布、ポアソン分布…… 分布に対して分かっていること があるならそれを使えばいい ないなら、ガウス分布を使おう
- 35. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 36. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 37. いま、一つのガウス分布に独立に従う N 個のデータ点 ｛x1, x2,…, xN｝ があるとする： ガウス分布とは 最尤推定法によるあてはめ
- 38. いま、一つのガウス分布に独立に従う N 個のデータ点 ｛x1, x2,…, xN｝ があるとする： このとき、 μ と Σ の最尤推定量は ガウス分布とは 最尤推定法によるあてはめ
- 39. いま、一つのガウス分布に独立に従う N 個のデータ点 ｛x1, x2,…, xN｝ があるとする： このとき、 μ と Σ の最尤推定量は ガウス分布とは 最尤推定法によるあてはめ 最尤推定量が 標本平均・標本 分散そのもの！
- 41. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 42. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 45. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 46. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 50. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 ガウス分布とは ガウス分布の変換
- 51. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる ガウス分布とは ガウス分布の変換
- 52. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 53. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 54. x1 ∼ N (μ1,Σ1) を以下のように変換すると ガウス分布とは ガウス分布の線形変換
- 55. x1 ∼ N (μ1,Σ1) を以下のように変換すると 変換後も x2 ∼ N (μ2,Σ2) となる ガウス分布とは ガウス分布の線形変換
- 56. x1 ∼ N (μ1,Σ1) を以下のように変換すると 変換後も x2 ∼ N (μ2,Σ2) となる ただし ガウス分布とは ガウス分布の線形変換
- 57. x1 ∼ N (μ1,Σ1) を以下のように変換すると 変換後も x2 ∼ N (μ2,Σ2) となる ただし ガウス分布とは ガウス分布の線形変換 x1 と同じ変換 x1 の拡大分の 2乗拡大
- 58. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 59. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 60. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の周辺分布
- 61. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の周辺分布 x2 x1 Σ = Σ12 Σ11 Σ12 Σ21 x2x1 μ2 μ1 μ = x2 x1 対応する部分を 区切っただけ
- 62. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の周辺分布
- 63. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 周辺分布は x1 ∼ N (μ1,Σ11) ガウス分布とは ガウス分布の周辺分布 対応する部分を 区切っただけ
- 64. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 周辺分布は x1 ∼ N (μ1,Σ11) x2 ∼ N (μ2,Σ22) ガウス分布とは ガウス分布の周辺分布 対応する部分を 区切っただけ
- 65. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 66. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 67. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の条件付き分布
- 68. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の条件付き分布 精度行列（分散の逆行列） を考えると見通しが良い
- 69. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の条件付き分布
- 70. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布
- 71. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布
- 72. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布 μ に x2 が入る ことだけ注意！
- 73. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布 μ に x2 が入る ことだけ注意！
- 74. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 75. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい！ ガウス分布とは ガウス分布の変換
- 76. 一言でいえば 「ガウス分布たん可愛いよ (；´Д｀)ﾊｧﾊｧ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
- 77. ガウス分布 (Gaussian Distribution) • 中心極限定理のたどり着く先である • たった２つのパラメータで定まる • しかもその２つが解釈しやすい（平均と分散） • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは まとめ
- 78. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 79. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 80. ガウス分布にもとづく判別分析 判別分析とは 分類問題に対する手法の一つ 分類問題 (classification) クラスのわかっているデータ（教師データ）をもとに、 未知のデータを分類する問題
- 81. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
- 82. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
- 83. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 生成モデルを仮定
- 84. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 生成モデルを仮定
- 85. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
- 86. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
- 87. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
- 88. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
- 89. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
- 90. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率 クラス c の 平均と分散 モデル全体のパラメータ （各 μc, Σc を含む）
- 91. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率 ついでに、下記も仮定：クラス c の出やすさは πc
- 92. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率 ついでに、下記も仮定：クラス c の出やすさは πc 各 πc も パラメータ θ の一部
- 93. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
- 94. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
- 95. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する ベイズの法則に より計算
- 96. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する ベイズの法則に より計算
- 97. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 98. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 99. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 100. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 101. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 みなさんベイズの公式 覚えてますか！？
- 102. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 103. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 尤度
- 104. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 尤度 事前分布
- 105. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 尤度 事前分布
- 106. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 107. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
- 108. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 よって x は下記のように分類される
- 109. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
- 110. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
- 111. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし QDA • 等分散 LDA • 特徴量が独立 Naïve Bayes • 等分散＆特徴量が独立 Diagonal LDA • 事前分布で正則化
- 112. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 113. ガウス分布にもとづく判別分析 ２次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は２次式になる → ２次判別分析 (QuadraticDiscriminantAnalysis)
- 114. ガウス分布にもとづく判別分析 ２次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は２次式になる → ２次判別分析 (QuadraticDiscriminantAnalysis)
- 115. ガウス分布にもとづく判別分析 ２次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は２次式になる → ２次判別分析 (QuadraticDiscriminantAnalysis)
- 117. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 118. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 119. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 122. ガウス分布にもとづく判別分析 ２次判別分析 分散が各クラスで共通だと分離境界は１次式になる → 線形判別分析 (LinearDiscriminantAnalysis) よく PCA との対比で語られること の多い LDA ですが、実は背後に 等分散なガウス分布 を生成モデルとして仮定していた！
- 123. ガウス分布にもとづく判別分析 ２次判別分析 分散が各クラスで共通だと分離境界は１次式になる → 線形判別分析 (LinearDiscriminantAnalysis) よく PCA との対比で語られること の多い LDA ですが、実は背後に 等分散なガウス分布 を生成モデルとして仮定していた！ LDAって言ってもトピックモデルの 方 (Latent Dirichlet allocation) じゃないよ！
- 124. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 125. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 126. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 127. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) 独立
- 128. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる
- 129. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり これはガウス分布による単純ベイズ (Naïve Bayes) と等価！ 独立 独立 ⇔ 同時分布を積に 分解できる
- 130. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる
- 131. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる
- 132. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる ただし
- 133. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立＝データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる ただし ガウス判別分析の観点で言うと、分散を対角行列に 制限している（無相関）ことに等しい
- 134. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 • 等分散＆特徴量が独立 • 事前分布で正則化
- 135. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 • 事前分布で正則化
- 136. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 • 事前分布で正則化
- 138. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ 正則化がかなり強く働くので、高次元データに強い
- 139. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ 正則化がかなり強く働くので、高次元データに強い Σ の推定値には合併経験分散 (PooledEmpiricalVariance) を用いることが多い
- 140. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ 正則化がかなり強く働くので、高次元データに強い Σ の推定値には合併経験分散 (PooledEmpiricalVariance) を用いることが多い クラス内分散の 不偏推定量 みたいなもの
- 141. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 • 事前分布で正則化
- 142. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 対角線形判別分析 • 事前分布で正則化
- 143. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 対角線形判別分析 • 事前分布で正則化
- 144. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 145. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 146. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布 おさらい：ベイズの公式 MAP推定では尤度だけでなく 事前分布も推定に影響を与える
- 147. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 148. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 151. ガウス分布にもとづく判別分析 正則化判別分析 分散の事前分布として逆ウィシャート分布 をおく このとき分散の推定量は以下（ λ は ν0 で定まる量） の非対角成分 を薄めている感じ (λ=1で対角LDAに一致)
- 152. ガウス分布にもとづく判別分析 正則化判別分析 分散の事前分布として逆ウィシャート分布 をおく このとき分散の推定量は以下（ λ は ν0 で定まる量） 次元が高すぎて（ D>N ）、 が計算出来ないときは データ行列 X の特異値分解 を使うとよい
- 153. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 154. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 155. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえで さらに不要な特徴量を削りたい（L0 正則化に近い） クラス平均 μc を各次元 j について、クラス共通の平均 各クラスごとのオフセットという形に分解 この Δcj が０になろうとするような事前分布 （中心０のラプラス分布）をおく → すべての c について Δcj=0 となれば特徴量 j は削れた！
- 156. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえで さらに不要な特徴量を削りたい（L0 正則化に近い） クラス平均 μc を各次元 j について、クラス共通の平均 各クラスごとのオフセットという形に分解 この Δcj が０になろうとするような事前分布 （中心０のラプラス分布）をおく → すべての c について Δcj=0 となれば特徴量 j は削れた！
- 157. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえで さらに不要な特徴量を削りたい（L0 正則化に近い）
- 158. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 159. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは２種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
- 160. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 対角線形判別分析 • 事前分布で正則化
- 161. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 対角線形判別分析 • 事前分布で正則化 正則化判別分析 Nearest Shrunken Centroids Classifier
- 162. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし ２次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散＆特徴量が独立 対角線形判別分析 • 事前分布で正則化 正則化判別分析 Nearest Shrunken Centroids Classifier
- 163. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 164. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 165. ガウス分布による補間 補間とは 補間問題 (Interpolation) 与えられたデータ点 {(xi,yi)} から定義域全体の関 数 y(x) の振る舞いを推定すること （ふつう最小点と最大点のあいだのみを扱うことが多い） 機械学習の言葉でいえば回帰 (regression) にあたる
- 168. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする
- 169. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく（両隣の平均＋ずれ）
- 170. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく（両隣の平均＋ずれ）
- 171. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく（両隣の平均＋ずれ） ただし 行列の形で 書き直した
- 172. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく（両隣の平均＋ずれ） ただし 行列の形で 書き直した D 列 D-2 行
- 173. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく（両隣の平均＋ずれ） ただし 行列の形で 書き直した
- 174. ガウス分布による補間 ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとする y ＝ 既知未知
- 175. ガウス分布による補間 ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとする すると y ＝ 既知未知
- 176. ガウス分布による補間 ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとする すると → y1が予測できる！ y ＝ 既知未知
- 177. ガウス分布による補間 ノイズのないデータの補間 y＝(y1, y2), y1:未知データ, y2:既知データとする すると → y1が予測できる！ y ＝ 既知未知
- 183. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 184. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間
- 185. きょうの話題 ガウス分布とは ガウス分布にもとづく判別分析 ガウス分布を用いた補間