勾配降下法の 最適化アルゴリズム
- 2. このスライドの目的 • 勾配降下法はDeep Learningの学習で重要な役 割を果たす最適化手法 • Deep Leaningに限らず応用分野の広いツール • ここ数年でアルゴリズムの改良が提案されて いるのでそれについて整理する 2
- 3. 勾配降下法 最適化(関数の最小値を求めること)の方法の一つ 関数が微分できることが条件 各点での微分(=勾配)をみて、一番勾配が急な方 向に降りていく* 3 * 一番原始的な「最急降下法」の場合
- 7. 二回微分の符号が異なる 関数の定義域が高次元 の場合、このパターン が圧倒的に多い。* これをうまく避けたい 7 * 10次元の時、99.8%ぐらい Identifying and attacking the saddle point problem in high-dimensional non-convex optimization https://arxiv.org/pdf/1406.2572v1.pdf
- 10. 各アルゴリズム解説 • 最急降下法 • モメンタム • Nesterov accelerated gradient • Adagrad • Adadelta • Adam 10
- 11. 最急降下法 1. 現在位置𝑥𝑡での勾配𝑔(𝑥𝑡)を計算 2. その勾配に学習率𝜂を掛けたもので位置を更新 11 𝑥 𝑡+1 = 𝑥 𝑡 − 𝜂𝑔(𝑥 𝑡)
- 12. モメンタム アイデア「慣性を付けたらいいんじゃない？」 1. 現在位置𝑥𝑡での勾配𝑔(𝑥𝑡)に学習率を掛ける 2. 前回の更新量に0.9ぐらいの減衰率を掛ける 3. 両方使って位置を更新 12 𝑥 𝑡+1 = 𝑥 𝑡 + 𝛾(𝑥 𝑡 − 𝑥 𝑡−1) − 𝜂𝑔(𝑥 𝑡)
- 13. Nesterov accelerated gradient アイデア「一歩先の地点の勾配を使おう」 13 上: モメンタム 下: NAG 青矢印が矢印根元 での勾配 図の簡略化のため 学習率や減衰率は 1にした
- 14. Nesterov accelerated gradient 数式的には 𝑣𝑡 = 𝛾 𝑥𝑡 − 𝑥𝑡−1 として モメンタム 𝑥𝑡+1 = 𝑥𝑡 + 𝑣𝑡 − 𝜂𝑔(𝑥𝑡) NAG 𝑥𝑡+1 = 𝑥𝑡 + 𝑣𝑡 − 𝜂𝑔(𝑥𝑡 + 𝑣𝑡) 14
- 16. Adagrad そこで各軸方向の勾配の二乗和を溜めておいて 学習率をその平方根*で割ることで まれな特徴に対して学習率を高めにする。 学習率は他の方法と比べて10倍くらい大きくし ておく。ゼロ除算を避けるために分母に小さい値 を足す。 16 * RMS: Root mean square
- 17. Adagradの問題点 勾配の二乗は常に非負なので 学習率は単調非増加。 学習初期に勾配のきついところを通ると それ以降ずっとその軸方向の学習率が 小さくなってしまう。 これでいいのか？ 17
- 18. Adadelta アイデア1「過去の勾配の二乗和全部を使うん じゃなくて、最近のだけ使おう」 最近n件を取っておくのはメモリ消費が大きいの で指数平滑移動平均を使う 18 ADADELTA: AN ADAPTIVE LEARNING RATE METHOD https://arxiv.org/pdf/1212.5701v1.pdf
- 21. ニュートン法 ニュートン法の場合は 「yの値をfの勾配で割ったもの」 をxの更新に使う。 先ほどの例なら「kg を kg/m で割ったもの」 でmの値の更新をすることになる。 これなら単位はおかしくない。 21
- 22. Adadeltaの単位合わせ 「過去のxの更新差分の平均」を 「過去の勾配の平均」で割って 今の勾配を掛けたものを xの更新差分とする。→単位OK 22 * RMS: Root mean square
- 25. Adam adaptive moment estimation 勾配の1乗を溜めこむモメンタム 勾配の2乗を溜めこむAdagrad これって要するに1次と2次のモーメント推定 じゃないか！というのがAdamのアイデア 25 ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION https://arxiv.org/pdf/1412.6980v8.pdf
- 26. アルゴリズム 26
- 27. 抜粋 𝑚 𝑡 ← 𝛽1 𝑚 𝑡−1 + 1 − 𝛽1 𝑔𝑡 𝑣𝑡 ← 𝛽2 𝑣𝑡−1 + 1 − 𝛽2 𝑔𝑡 2 𝜃𝑡 ← 𝜃𝑡−1 − 𝛼 𝑚 𝑡 𝑣𝑡 + 𝜖 27 mが1次のモーメント(モメンタム相当) vが2次のモーメント、これの平方を分母に置くのが Adagradの「勾配のRMSを分母に置く」に相当。 * RMS: Root mean square