Lisp meetup #29 cl-online-learningの紹介

Lisp meetup #29 cl-online-learningの紹介

• 1.
  cl-online-learningの紹介 Satoshi Imai /今井 悟士 Twitter: @masatoi0 Github: masatoi
• 2.
  これは何か ● cl-online-learning ● 書籍「オンライン機械学習」に出てくる線形 識別器のアルゴリズムからいくつか実装 ● 2値分類と多値分類ができる ●githubにあります – https://github.com/masatoi/cl-online-learning.git
• 3.
  インストール ● シェルから ● Lisp処理系から – SBCL、CCL、ECL、CLISPで動作確認済み (ql:quickload :cl­online­learning)  ＄cd ~/quicklisp/local­projects/  ＄ git clone https://github.com/masatoi/cl­online­learning.git
• 4.
  オンライン学習 ● バッチ学習： 訓練データをまとめて学習する ● オンライン学習： 訓練データを逐次的に学習する –とにかく速い： 収束が速い、データ数に対して線形時間、省メモリ – リアルタイム処理に組込める – 実装が簡単 – 偏りのあるデータ、ノイズのあるデータに弱い → 対策されたアルゴリズムが出てきた (AROW, SCW)
• 5.
  線形識別器 ● 線形分離可能なデータに対して有効な二値分類器 ● 識別関数f(x)が正か負かでクラスを分ける（xは入力データ点） ● 上手く分けられるようにパラメータ（wとb）を調整する 決定境界f(x)=0 線形分離可能 線形分離不可能
• 6.
  非線形SVM（バッチ学習） ● 線形分離不可能なデータを高次元の特徴空間に射影して線形分離し ている様子 – https://www.youtube.com/watch?v=3liCbRZPrZA ● 計算量はO(mn^2)（m: データの次元数、 n: データ数） – データ数が増えてくると無理 – オンライン線形分類器だとO(mn) ● Common Lisp Machine Learningからフォーク – clml-svm (github.com/masatoi/clml-svm)
• 7.
  cl-online-learningで実装している 二値分類アルゴリズム ● 二値分類 – パーセプトロン – 平均化パーセプトロン –線形SVM – AROW – SCW-I、SCW-II 精度 良い 悪い メタパラメータの数 なし なし 2 1 2
• 8.
  パーセプトロン ● 学習データ： 入力xと 教師信号y の組 ● パーセプトロン： 以下のルールでwを更新する ● 直近の学習データの影響を受けすぎる → 過去の w の更新差分を平均化 （平均化パーセプトロン） の正負と y を比べてみて、分類に失敗していれば w ← w + y x
• 9.
  AROW ● パラメータ wが、正規分布からサンプリングされたものと考える – その正規分布の平均 μ と分散 Σ を更新する ● 精度良い、収束速い、学習も安定している ← おすすめ！ ● メタパラメータとして正則化パラメータ γ を持つ
• 10.
  AROWは頑健 ● マージン最大化 – 決定境界から一番近いデータとの距離（マージン）を大きくとる ● 特徴量ごとに信頼度をつける – 頻繁に出てきた特徴量の更新量は減らしていく
• 11.
  cl-online-learningで実装している マルチクラス分類アルゴリズム ● 複数個の二値分類器を組み合わせてマルチクラス分類できる ● マルチクラス分類 – 1対多 (one-vs-rest) –1対1 (one-vs-one) – 誤り訂正出力符号(ECOC) ↑（予定） 必要な二値分類器の数 K個 K(K-1)/2個 K個とK(K-1)/2個の間
• 12.
  one-vs-rest ● クラスの数だけ二値分類器を用意: K個 ● 学習時：観測されたデータのクラスに対応する学習器では正例、そうで なければ負例として学習 ● 予測時： 全部の学習器で識別関数 を計算して最大の ものに対応するクラスを出力する 1 2 3 各クラスに対応する 学習器 クラス2と ラベルのついた データ 教師信号を -1 として学習 教師信号を +1 として学習 教師信号を -1 として学習
• 13.
  one-vs-one ● 2つのクラスの組合せの数だけ二値分類器を用意： K(K­1) / 2個 ● 学習時： 観測されたクラスのノードに接続する学習器を学習 ● 予測時： 全部の学習器で分類。多数決して一番多かったクラスを出力 1 5 2 4 3 エッジが学習器に対応 1 5 2 4 3 クラス2が観測されたとき +1 -1 +1 -1 +1-1 +1 -1 ノードの数字が若い方を+1とした
• 14.
  使い方（二値分類） ● 学習器をつくる ● データを1個用意 （double-float型のsimple-array） ● 更新する ● 予測する (defparameter input    (make­array 3 :element­type 'double­float                 :initial­contents '(1d0 2d0 3d0))) (defparameter plearner (make­perceptron 3)) (update plearner input 1d0) (predict plearner input) ⇒1.0d0 教師信号 入力次元数
• 15.
  使い方（マルチクラス分類） ● 学習器をつくる ● データを1個用意 （double-float型のsimple-array） ● 更新する ● 予測する (defparameter input    (make­array 3 :element­type 'double­float                 :initial­contents '(1d0 2d0 3d0))) (defparameter mlearner (make­one­vs­one 4 3 'arow 1d0)) (update mlearner input 2) (predict mlearner input) ⇒1.0d0 教師信号（整数） 入力次元数 クラス数 学習器の型 学習器のメタパラメータ
• 16.
  データセットの学習 ● データセット： 教師信号と入力ベクトルのドット対のリスト – Libsvmのサイトで公開されているデータセットを読み込む ● 訓練データをまとめて訓練する ● テストデータをまとめて予測する (defparameter a9a­dim 123) (defparameter a9a­train (read­libsvm­data "/path/to/a9a" a9a­dim)) (defparameter a9a­test (read­libsvm­data "/path/to/a9a.t" a9a­dim)) (train plearner a9a­train) (test plearner a9a­test) ; Accuracy: 79.988945%, Correct: 13023, Total: 16281
• 17.
  使用上の注意 ● スケーリング大事 – 入力の各次元が [-1,1] の範囲に入るようにする ● データの順序大事 – 同じクラスのデータが延々と続くような場合は性能悪化 ● 必要なら順序をシャッフルする
• 18.
  iris ● 入力データ： アヤメの花びらとがくの大きさ（4次元） ● クラス数3、データ数150
• 19.
  番外：深層学習 ● 特徴選択をどうするかは職人芸 → 深層学習 ● ニューラルネットはオンライン学習できるが、更新ごとの計算量が大きい – ミニバッチをつくってまとめて計算 ●GPU向きの計算（大きな行列×行列の計算） ● cl-cudaベースの深層学習ライブラリ – github.com/melisgl/mgl
• 20.
  今後の課題 ● 疎ベクトルの演算を実装 ● 誤り訂正出力符号（ECOC）にもとづくマルチクラス分類を実装 ● cl-online-learningから流用してclml-svmもマルチクラス分類できるよ うにする