![Title
Name
Date
Neural Networkのおさらい
import theano
import theano.tensor as T
from sklearn.datasets import fetch_mldata
from sklearn import preprocessing
!
# sklearnのデータセットから画像取得
mnist = fetch_mldata('MNIST original', data_home=".")
X_digits, _, _, t_digits = mnist.values()
data_size = 1000
index = np.arange(70000)
index = shuffle(index)[0:70000]
x_digits = X_digits[index[0:data_size]]
t_digits = t_digits[index[0:data_size]]
!
data_x = []
# 学習用入力データ前処理
for A in x_digits:
data_x.append(np.array([1 if x > 100 else 0 for x in A]))
!
# 学習用教師データ前処理
lb = preprocessing.LabelBinarizer()
lb.fit([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
data_t = lb.transform(Y_digits)](https://image.slidesharecdn.com/pythondeeplearning-141016064325-conversion-gate02/85/Python-Deep-Learning-13-320.jpg)
![Title
Name
Date
Neural Networkのおさらい
# 誤差関数と偏微分するパラメータを指定
grad_cost = T.grad(cost=cost_func, wrt=[wx, b, wh, c])
!
# 計算に必要な全ての変数をinputsに、更新するパラメータをupdatesに指定
grad_cost_func = theano.function(inputs=[t, wh, bh, wx, bx, x],
outputs=[],
updates={_wx: _wx - eta * grad_cost[0],
_b: _b - eta * grad_cost[1],
_wh: _wh - eta * grad_cost[2],
_c: _c - eta * grad_cost[3]})
!
train_count = 1000
# 指定した回数学習させる
for n in range(train_count):
for x, t in zip(data_x, data_t):
input = [t,
_wh.get_value(),
_bh.get_value(),
_wx.get_value(),
_bx.get_value(),
x]
grad_cost_func(input)](https://image.slidesharecdn.com/pythondeeplearning-141016064325-conversion-gate02/85/Python-Deep-Learning-15-320.jpg)
![Title
Name
Date
Auto Encoder
# decode用の変数を定義
de_x = T.dvector(“de_x")
de_b = T.dvector(“de_b")
de_wx = T.dmatrix(“de_wx”)
!
# decode用の共有変数を定義
de_wx = theano.shared(np.random.randn(784, 196), name=“_de_wx")
de_b = theano.shared(np.random.randn(784), name=“_de_b”)
!
de_x = sigmoid(T.dot(de_wx, h) + de_b)
pre1_cost_func = T.sum((de_x - x)**2)
!
# 誤差関数と偏微分するパラメータを指定
pre1_grad_cost = T.grad(cost=pre1_cost_func, wrt=[wx, b, de_wx, de_b])
!
# 計算に必要な全ての変数をinputsに、更新するパラメータをupdatesに指定
pre1_grad_cost_func = theano.function(inputs=[de_x, de_wx, de_b, wx, bx, x],
outputs=[],
updates={_wx: _wx - eta * pre1_grad_cost[0],
_b: _b - eta * pre1_grad_cost[1],
_de_wx: _wh - eta * pre1_grad_cost[2],
_de_b: _c - eta * pre1_grad_cost[3]})](https://image.slidesharecdn.com/pythondeeplearning-141016064325-conversion-gate02/85/Python-Deep-Learning-21-320.jpg)
![Title
Name
Date
Dropout
# 0 or 1の配列 [0, 1, 0, 1, 1, 1, 0, 1, …, 1]
bino_x = np.random.binomial(1, 0.8, 784)
bino_h = np.random.binomial(1, 0.5, 196)
!
h = sigmoid(T.dot(wx, bino_x * x) + b)
y = sigmoid(T.dot(wh, bion_h * h) + c)](https://image.slidesharecdn.com/pythondeeplearning-141016064325-conversion-gate02/85/Python-Deep-Learning-25-320.jpg)
PythonによるDeep Learningの実装
- 1. PythonによるDeep Learningの実装 Akiba Shinya
- 2. Title Name Date OUTLINE ○About me ○今⽇日の話 ○Neural Networkのおさらい ○Deep Learningやってみよう -‐‑‒ Auto Encoder -‐‑‒ Dropout ○おわりに
- 3. Title About me Akiba Shinya 早稲⽥田⼤大学 -‐‑‒ 機械科学専攻 M2 Name -‐‑‒ 分析のアルバイト -‐‑‒ 機械学習、物理理シミュレーション @aki_̲n1wa Date
- 4. Title Name Date 今⽇日の話 ○数年年前から話題のつきないDeep Learning(DL)の話をします。 最近はslideshare等にも、DL関連の資料料が増えてきました。 DLの概説やライブラリ紹介などが多く、実際にコードで書くときに 参考にできる資料料があまりなかったことが、発表の動機です。 (爆速ライブラリ書いたぜーとかいう話ではありません ! ○実際にコード書いてみると理理解が深まる ○pylearn2はライブラリというより、バッチ処理理ツールという感じ
- 5. Title Name Date Neural Networkのおさらい 入力データに対して、何かしらの出力データが得られる装置。 他の神経細胞からの入力 ある閾値を超えると発火して、 他の神経細胞へ入力を与える http://thinkit.co.jp/article/30/3/ 入力： 重み： 閾値： 出力： モデル化 閾値を超えたら1 ! 超えなかったら0 「パーセプトロン」
- 6. Title Name Date Neural Networkのおさらい 簡単な分類問題 入力データの特徴量が1個 0 1 入力データの特徴量が2個 1 一次元空間での線形分類二次元空間での線形分類 0
- 7. Title Name Date Neural Networkのおさらい ⼊入⼒力力データが画像(数値)のときは、 どんなNNを設計しよう… 28×28ピクセルのデータ = 特徴量量784個 from MNIST database (Mixed National Institute of Standards and Technology database) http://yann.lecun.com/exdb/mnist/
- 8. Title Name Date Neural Networkのおさらい 3層のNeuralNetwork … … 784個 196個 … 10個 入力層:x 画像データ 隠れ層:h 出力層:y 重み：Wx, Wh バイアス項：b, c シグモイド関数： 注)MNISTの画像データに対するNNは 784-800-800-10とかで設計されますが、 計算大変なので、小さめのNNとなっております。 (ラップトップでNNつらい)
- 9. Title Name Date Neural Networkのおさらい 3層のNeuralNetwork … … 784個 196個 出力 … 1 10個 0 0 0 0 0 0 0 0 0 正解 0 0 0 0 0 0 0 1 0 0 出力が計算できたら、 誤差を求めて、パラメー タを修正する。 修正するパラメータで 誤差関数を偏微分する。 ηは学習係数
- 10. Title Name Date Neural Networkのおさらい NNの学習過程まとめ 1. 入力データに対して、何かしらの出力データを得る。 2. 出力データと教師データを比べて、 間違っていたら、誤差関数を微分してパラメータを修正する。
- 11. Title Name Date Neural Networkのおさらい NNの学習過程まとめ 1. 入力データに対して、何かしらの出力データを得る。 2. 出力データと教師データを比べて、 間違っていたら、誤差関数を微分してパラメータを修正する。 ここが面倒くさい。 3層NNだと, Wx, b, Wh, c, それぞれについて 偏微分の式を計算して、コードに書き下さなきゃなんない。 →Theanoを使うよ
- 12. Title Name Date Neural Networkのおさらい 【Theano】 Pythonライブラリ 微分演算が楽 再帰的な処理はちょっと弱い GPUでの実行 http://deeplearning.net/software/theano/
- 13. Title Name Date Neural Networkのおさらい import theano import theano.tensor as T from sklearn.datasets import fetch_mldata from sklearn import preprocessing ! # sklearnのデータセットから画像取得 mnist = fetch_mldata('MNIST original', data_home=".") X_digits, _, _, t_digits = mnist.values() data_size = 1000 index = np.arange(70000) index = shuffle(index)[0:70000] x_digits = X_digits[index[0:data_size]] t_digits = t_digits[index[0:data_size]] ! data_x = [] # 学習用入力データ前処理 for A in x_digits: data_x.append(np.array([1 if x > 100 else 0 for x in A])) ! # 学習用教師データ前処理 lb = preprocessing.LabelBinarizer() lb.fit([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) data_t = lb.transform(Y_digits)
- 14. Title Name Date Neural Networkのおさらい # 使用する変数を定義 b, c = T.dvectors("b", "c") wx, wh = T.dmatrices("wx", "wh") t, y, x, h = T.dvectors('t', 'y', 'x', 'h') ! # パラメータは共有変数として値をもつ _wx = theano.shared(np.random.randn(196, 784), name="_wx") _wh = theano.shared(np.random.randn(10,196), name="_wh") _b = theano.shared(np.random.randn(196), name="_b") _c = theano.shared(np.random.randn(10), name=“_c”) ! def sigmoid(x): return 1./(1+T.exp(-x)) ! h = sigmoid(T.dot(wx, x) + b) y = sigmoid(T.dot(wh, h) + c) ! # 学習係数 eta = 0.01 # 誤差関数 cost_func = T.sum((t - y)**2)
- 15. Title Name Date Neural Networkのおさらい # 誤差関数と偏微分するパラメータを指定 grad_cost = T.grad(cost=cost_func, wrt=[wx, b, wh, c]) ! # 計算に必要な全ての変数をinputsに、更新するパラメータをupdatesに指定 grad_cost_func = theano.function(inputs=[t, wh, bh, wx, bx, x], outputs=[], updates={_wx: _wx - eta * grad_cost[0], _b: _b - eta * grad_cost[1], _wh: _wh - eta * grad_cost[2], _c: _c - eta * grad_cost[3]}) ! train_count = 1000 # 指定した回数学習させる for n in range(train_count): for x, t in zip(data_x, data_t): input = [t, _wh.get_value(), _bh.get_value(), _wx.get_value(), _bx.get_value(), x] grad_cost_func(input)
- 16. Title Name Date Neural Networkのおさらい ここまでで作ったNNを実行すると… 手法学習データ検証データ NN 100.0% 75.6% NNの問題点 ○パラメータの初期値 ○過学習
- 17. Title Name Date Neural Networkのおさらい ここまでで作ったNNを実行すると… 手法学習データ検証データ NN 100.0% 75.6% NNの問題点 ○パラメータの初期値 → Auto Encoderを使おう ○過学習 → Dropoutを使おう
- 18. Title Name Date Auto Encoder Auto Encoderとは、BackpropagationでNN全体の学習(パラメータの更更新)を ⾏行行う前に、事前に⾏行行う学習。 ! ⼊入⼒力力データを再現するような重みの学習を各層ごとに⾏行行う教師無し学習である。 ! ランダムに初期パラメータを決めるのではなく、Auto Encoderを⾏行行った後で、 NN全体の学習を⾏行行うと精度度が上がると⾔言われている。
- 19. Title Name Date Auto Encoder … … ’ ’ ’ … 196個 784個784個 仮想的な出⼒力力xʼ’を教師データとして xとの誤差関数を定義し、 Wx, b, Wxʼ’, bʼ’のパラメータを更更新する。 (Wxʼ’, bʼ’はNN全体の学習には使わない)
- 20. Title Name Date Auto Encoder … … ’ ’ … 196個 784個784個 … … ’ ’ … ’ 196個10個’196個 全てのパラメータに ついて、事前学習を⾏行行う
- 21. Title Name Date Auto Encoder # decode用の変数を定義 de_x = T.dvector(“de_x") de_b = T.dvector(“de_b") de_wx = T.dmatrix(“de_wx”) ! # decode用の共有変数を定義 de_wx = theano.shared(np.random.randn(784, 196), name=“_de_wx") de_b = theano.shared(np.random.randn(784), name=“_de_b”) ! de_x = sigmoid(T.dot(de_wx, h) + de_b) pre1_cost_func = T.sum((de_x - x)**2) ! # 誤差関数と偏微分するパラメータを指定 pre1_grad_cost = T.grad(cost=pre1_cost_func, wrt=[wx, b, de_wx, de_b]) ! # 計算に必要な全ての変数をinputsに、更新するパラメータをupdatesに指定 pre1_grad_cost_func = theano.function(inputs=[de_x, de_wx, de_b, wx, bx, x], outputs=[], updates={_wx: _wx - eta * pre1_grad_cost[0], _b: _b - eta * pre1_grad_cost[1], _de_wx: _wh - eta * pre1_grad_cost[2], _de_b: _c - eta * pre1_grad_cost[3]})
- 22. Title Name Date Auto Encoder Auto Encoderの実装 手法学習データ検証データ NN 100.0% 75.6% AE 99.7% 82.1%
- 23. Title Name Date Dropout Dropoutとは、NNに汎化性能をもたせる⼿手法。 ! NNは層同⼠士がフルに繋がっているため、過学習に陥りやすいと⾔言われている。 Dropoutによって、アンサンブル学習のような効果が得られる。 ! 学習時にいくつかの特徴量量を0にする。 推定時にはすべての特徴量量を使⽤用するが、出⼒力力をある割合で⼩小さくする。
- 24. Title Name Date … … 784個 196個 … 10個 各層の⼊入⼒力力データをランダムに0にする。 ⼊入⼒力力データは20%を0に、 隠れ層のデータは50%を0にすると うまく学習できると⾔言われている。 (NNの構造によるかも) ! 学習ごとに異異なるNNの構造が得られるため、 汎化性能が向上する。(計算時間は増える) ! 学習ごとに結構学習精度度が暴暴れるので、 L2正則化などと組み合わせることが多い。 20%削減 50%削減 Dropout
- 25. Title Name Date Dropout # 0 or 1の配列 [0, 1, 0, 1, 1, 1, 0, 1, …, 1] bino_x = np.random.binomial(1, 0.8, 784) bino_h = np.random.binomial(1, 0.5, 196) ! h = sigmoid(T.dot(wx, bino_x * x) + b) y = sigmoid(T.dot(wh, bion_h * h) + c)
- 26. Title Name Date Dropout Auto Encoder + Dropoutの精度 手法学習データ検証データ NN 100.0% 75.6% AE 99.7% 82.1% AE+Dropout 96.4% 84.2%
- 27. Title Name Date おわりに MNISTのデータセットは、学習データに60,000枚、 検証データに10,000枚使い、4層以上のNNで学習を行う論文が多いです。 今回のコードはスペースの都合上ミニバッチ処理を省略しています。 ! DLの一手法であるAuto EncoderとDropoutに関する発表でしたが、他にもDL と呼ばれる手法はたくさんあります。 ! 特に、畳み込みNNは、プレトレーニングやDropoutのような手法無しでも、 汎化性能が高く、計算量もそんなに多くないのでおすすめです。 (今回発表してないけど…
- 28. Title Name Date G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov, University of Toronto 2012, Improving neural networks by preventing co-adaptation of feature detectors http://arxiv.org/pdf/1207.0580.pdf ! Marc’Aurelio Ranzato, Y-Lan Boureau, Yann LeCun New York University Sparse Feature Learning for Deep Belief Networks http://yann.lecun.com/exdb/publis/pdf/ranzato-nips-07.pdf