機械学習をビジネスに利活用する人たちに対してモデル開発後の実運用フェーズにおける課題とその対策方法
0 likes241 views
2020年7月15日 日本ディープラーニング協会主催 CVPR2020技術報告会 諏訪佑介 株式会社GRID リサーチャ、画像認識アプリ開発 担当 AI-SCHOLAR所属 https://jdla.connpass.com/event/177973/
![7/15_CVPR2020_技術報告会
5
問題設定
1. ⼀般的に機械学習モデルは学習データと同じ分布からサンプルされたデータに対しては、
⾼い精度で予測が可能である。
機械学習
モデル
学習データの
確率分布
学習データと
異なる確率分布
予測精度
99.9 [%] !
予測精度
&4%# [%] ...
😁
😵
＊この例のように、そもそも⼊⼒されたデータが予測対象ではない
データかもしれない。その場合、上記のように予測精度すら出せない
予測精度
85.2 [%] 🤔](https://image.slidesharecdn.com/cvpr2020suwa-200717122825/85/-6-320.jpg)
![7/15_CVPR2020_技術報告会
9
さらなる課題
「Softmax関数の最⼤出⼒値が閾値以上だからこの予測結果は信頼できる」
と考える⽅法はあまり有効ではない[参考⽂献: 1, 3]
True Positive Rateが
95%になるように
閾値を設定
max Softmax(x)
閾値
データ
1
0
CIFAR-10の
データ分布
CIFAR-10以外の
データ分布
①CIFAR-10で学習
したDenseNet
②CIFAR-10以外の
データも⼊⼒してみる
③ある閾値以下のソフトマックス値を
出⼒するデータは「未知のデータ」と
仮定した場合。。。
④95%のCIFAR-10データを既知のデータと判断できるが、
34%のTinyImagenetデータをCIFAR-10のデータと判断してしまう
=> 未知のデータに対しても
⾼いsoftmax値が出⼒される](https://image.slidesharecdn.com/cvpr2020suwa-200717122825/85/-10-320.jpg)
![[DL輪読会]ICLR2020の分布外検知速報](https://cdn.slidesharecdn.com/ss_thumbnails/iclr2020ood-190927011524-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]A Simple Unified Framework for Detecting Out-of-Distribution Samples a...](https://cdn.slidesharecdn.com/ss_thumbnails/20181005misono2-181009052706-thumbnail.jpg?width=560&fit=bounds)
![[ICLR/ICML2019読み会] Data Interpolating Prediction: Alternative Interpretation ...](https://cdn.slidesharecdn.com/ss_thumbnails/20190721shimada-190721024027-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks20170728-170728025901-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to 機械学習をビジネスに利活用する人たちに対してモデル開発後の実運用フェーズにおける課題とその対策方法 (20)
More from 日本ディープラーニング協会（JDLA） (14)
機械学習をビジネスに利活用する人たちに対してモデル開発後の実運用フェーズにおける課題とその対策方法
- 2. 7/15_CVPR2020_技術報告会 1 自己紹介 u 教師データを使わないAIの予測精度監視！データセットシフトとドメインシフトを完全に理解しろ！ https://ai-scholar.tech/articles/domain-shift/ai-domain-shift-dataset-shfit u より⾼品質な画像特徴量を獲得する⽅法:Supervised Contrastive Learning https://ai-scholar.tech/articles/contrastive-learning/supervised-contrastive-learning AI-SCHOLORさんで書かせていただいた記事 名前 : 諏訪 佑介 所属 : 株式会社 GRID 職種 : リサーチャ、エンジニア、7⽉からプロダクトマネジャー 現在興味あるリサーチ分野 : 機械学習モデルの運⽤に関わるもの全て (データシフト検知、⾃動アノテーション、⾃⼰学習など)
- 3. 7/15_CVPR2020_技術報告会 2 紹介論文 論⽂タイトル : Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data Yen-Chang Hsu, Yilin Shen, Hongxia Jin, Zsolt Kira. CVPR 2020 https://arxiv.org/abs/2002.11297 カテゴリ : Out of distribution data detection. Anomaly detection. 学習したデータ既知の分布外からサンプルされたデータを検出
- 4. 7/15_CVPR2020_技術報告会 3 論文が解決する課題領域 モデル ストア データ処理 モデル開発 デプロイ データ 再利⽤ 精度管理 再学習 予測& 結果利⽤要求分析 ⽬的定義 運⽤開発 AI開発/運⽤ プロセス 予測サーバ 監視 クライアント 再学習 モデル開発 データ ストレージ ⑪ バージョン管理 ② シームレスなデプロイ ③ データシフト、OoD ④ 低レイテンシな予測 ⑤ 予測が外れたときの対応 ⑨ 予測の説明性 ⑧ モデル評価⑦ 予測精度低下 ⑥ 教師データがすぐに⼿に⼊らない ⑩ 再現性 ① ⽇々更新されるアルゴリズム
- 5. 7/15_CVPR2020_技術報告会 4 モデル ストア データ処理 モデル開発 デプロイ データ 再利⽤ 精度管理 再学習 予測& 結果利⽤要求分析 ⽬的定義 運⽤開発 AI開発/運⽤ プロセス 予測サーバ 監視 クライアント 再学習 モデル開発 データ ストレージ ③ データシフト、OoD 論文が解決する課題領域 OoD: Out of Distribution Data (未知のデータ分布)
- 6. 7/15_CVPR2020_技術報告会 5 問題設定 1. ⼀般的に機械学習モデルは学習データと同じ分布からサンプルされたデータに対しては、 ⾼い精度で予測が可能である。 機械学習 モデル 学習データの 確率分布 学習データと 異なる確率分布 予測精度 99.9 [%] ! 予測精度 &4%# [%] ... 😁 😵 ＊この例のように、そもそも⼊⼒されたデータが予測対象ではない データかもしれない。その場合、上記のように予測精度すら出せない 予測精度 85.2 [%] 🤔
- 7. 7/15_CVPR2020_技術報告会 6 問題設定 2. 本番環境では、ほぼ必ずデータ分布が常に変化している 学習データの 確率分布 冬季における データ確率分布 お盆時期における データ確率分布 新しい現場オペレータに 変わった後の確率分布 本番環境において確率分布が変化する要因は様々 ü 気温の変化 ü 装置の摩耗 ü オペレータの⼊れ替わり ü 教師データ作成者の⼊れ替わり ü 光量の変化 ü 撮像装置の換装 ＊ハードウェア構成やワークフロー策定により、これらの分布変化を 極⼒抑えることは可能であり、今回紹介しているようなアルゴリズムに 基づくソフトな対策よりも優先度は⾼い
- 9. 7/15_CVPR2020_技術報告会 8 解決策? 機械学習 モデル 予測の信頼度 低い？ 予測の信頼度 ⾼い？ Soft max ⼊⼒ 出⼒ 0 1 0.1 0.2 0.4 0.3 A B C D 分類クラス 出⼒値 0 1 0.01 0.02 0.02 0.95 出⼒値 分類クラス A B C D 機械学習 モデル Soft max n クラス分類モデルにて、簡単に予測の信頼性を確認できるとされている⽅法 => Softmax関数の出⼒結果の最⼤値を確認する
- 10. 7/15_CVPR2020_技術報告会 9 さらなる課題 「Softmax関数の最⼤出⼒値が閾値以上だからこの予測結果は信頼できる」 と考える⽅法はあまり有効ではない[参考⽂献: 1, 3] True Positive Rateが 95%になるように 閾値を設定 max Softmax(x) 閾値 データ 1 0 CIFAR-10の データ分布 CIFAR-10以外の データ分布 ①CIFAR-10で学習 したDenseNet ②CIFAR-10以外の データも⼊⼒してみる ③ある閾値以下のソフトマックス値を 出⼒するデータは「未知のデータ」と 仮定した場合。。。 ④95%のCIFAR-10データを既知のデータと判断できるが、 34%のTinyImagenetデータをCIFAR-10のデータと判断してしまう => 未知のデータに対しても ⾼いsoftmax値が出⼒される
- 11. 7/15_CVPR2020_技術報告会 10 Softmax関数の出力値の信頼度を向上させる Shiyu Liangらから ODIN (Out-of-DIstribution detector for Neural networks)が提案される 学習済 クラス分類 モデル f(𝑥) 𝑥 Soft max 𝑆(𝑥) 0 1 0.3 0.03 0.02 0.65 出⼒値 分類クラス A B C D ⼀般的なクラス分類Neural Networkの予測フロー
- 12. 7/15_CVPR2020_技術報告会 11 Shiyu Liangらから ODIN (Out-of-DIstribution detector for Neural networks)が提案される 学習済 クラス分類 モデル f(𝑥) 𝑥 Soft max 𝑆(𝑥; 𝑇) 前処理 "𝑥 !𝑥 = 𝑥 − 𝜀 sign(−𝛻!log S"#(𝑥; 𝑇)) 𝑆$ 𝑥; 𝑇 = exp(𝑓$(𝑥)/𝑻) ∑%&' ( exp(𝑓%(𝑥)/𝑻) S!" 𝑥; 𝑇 = max # 𝑆$(𝑥; 𝑇) Softmaxの最⼤出⼒変数を⼊⼒𝑥で微分した 「勾配の符号 x 𝝐 」を⾜す。 => つまり前処理として、Softmaxの出⼒値が⼤きくなる ように摂動を加える. Exp関数への⼊⼒を係数 T でスケーリングする。 => 学習時はT=1、本番環境へデプロイする前にInDとOoDデータでパ ラメータ T を調整する。 0 1 0.01 0.02 0.02 0.95 出⼒値 分類クラス A B C D => 既知の分布から得られたデータに対するSoftmax出⼒が、より⾼い値となるような⼯夫を提案 Softmax関数の出力値の信頼度を向上させる
- 13. 7/15_CVPR2020_技術報告会 12 Shiyu Liangらから ODIN (Out-of-DIstribution detector for Neural networks)が提案される !𝑥 = 𝑥 − 𝜀 sign(−𝛻!log S"#(𝑥; 𝑇)) 𝑆$ 𝑥; 𝑇 = exp(𝑓$(𝑥)/𝑻) ∑%&' ( exp(𝑓%(𝑥)/𝑻) これらのハイパーパラメータを、既知データと未知データを 使って調節する必要があった。 => 本番環境において未知データを想定することは難しい 閾値 データ 1 0 既知の分布 未知の分布 しかし、 Softmax関数の出力値の信頼度を向上させる
- 14. 7/15_CVPR2020_技術報告会 13 Yen-Chang らが、CVPRにて未知データを使わずに構築できるODINを提案 𝑆𝑜𝑓𝑡𝑚𝑎𝑥# 𝑓(𝑥) = 𝑃 𝑦 𝑥 = 𝑃 𝑦, 𝑥 𝑃 𝑥 𝑃 𝑦 𝑑$), 𝑥 = 𝑃(𝑦, 𝑑$), 𝑥) 𝑃(𝑑$), 𝑥) = 𝑃 𝑦, 𝑑$)|𝑥 𝑃(𝑥) 𝑃 𝑑$)|𝑥 𝑃(𝑥) = 𝑃 𝑦, 𝑑$)|𝑥 𝑃 𝑑$)|𝑥 (分⼦)𝑥が与えられた時に、それが既知の 確率分布から得られたもので出⼒がyである確率 (分⺟)𝑥が与えられた時に、それが既知の 確率分布から得られたものである確率 ソフトマックス関数の出⼒を𝑃 𝑦 𝑥 とし、 「データ𝑥が、既知の確率分布からサンプルされた」ことを表す確率変数𝑑$%を明⽰的に書く 𝑃 𝑦, 𝑑/0|𝑥 𝑃 𝑑/0|𝑥 考え⽅ 既知の分布に 対する予測結果 未知の分布に 対する予測結果 𝑃 𝑦, 𝑑$%|𝑥 分⼦ ⼤ ⼩ 𝑃 𝑑$%|𝑥 分⺟ ⼤ ⼩ 𝐏 𝐲 𝐱 Softmax出⼒ ⼤ ⼤ ＊普段は𝑑!"は普遍であると仮定 しているので、省略されている (独⽴同分布仮定) 論文紹介
- 15. 7/15_CVPR2020_技術報告会 14 既知の分布に 対する予測結果 未知の分布に 対する予測結果 𝑃 𝑦, 𝑑$%|𝑥 分⼦ ⼤ ⼩ 𝑃 𝑑$%|𝑥 分⺟ ⼤ ⼩ 𝐏 𝐲 𝐱 Softmax出⼒ ⼤ ⼤ つまり Softmax値を基準に予測を検証せず、ソフトマックス関数への⼊⼒を𝑃 𝑦, 𝑑$%|𝑥 、𝑃 𝑑$%|𝑥 と モデリングし、その出⼒をよって予測の信頼度とする。 𝑆𝑜𝑓𝑡𝑚𝑎𝑥" 𝑓(𝑥) = 𝑃 𝑦, 𝑑$%|𝑥 𝑃 𝑑$%|𝑥 論⽂の提案 予測の検証には、これらの値を確認する 論文紹介
- 16. 7/15_CVPR2020_技術報告会 15 ① ℎ$ * 𝑥 = 𝒘$ + 𝑓, 𝑥 + 𝑏$ ② ℎ$ - 𝑥 = − 𝑓, 𝑥 − 𝒘$ . ③ ℎ$ / 𝑥 = 𝒘𝒊 " 1#(!) 𝒘$ 1#(!) 𝑔 𝑥 = 𝜎(𝐵𝑁(𝒘4 + 𝑓, 𝑥 + 𝑏4)) 学習済 クラス分類 モデル fK (𝑥) 𝑥 Soft max 𝑆(𝑥) 𝑓(𝑥) = ℎ(𝑥) 𝑔(𝑥) 𝑃 𝑦, 𝑑$%|𝑥 、𝑃 𝑑$%|𝑥 を以下のh#(x)、g(x)によってモデリングしE2Eで学習する。 論⽂の提案するメソドロジー 論文紹介 Decompose Confidence Scoring レイヤ 𝒘: 学習対象重み 𝐵𝑁: バッチ正規化関数 𝝈: シグモイド関数 𝑖: クラスID 𝑓# (𝑥): クラス分類NNの出⼒ ①~③の、3種類の類似性評価関数を 使ってモデリングを試みている ① ℎ! $ 𝑥 : 内積 ② ℎ! % 𝑥 : ユークリッド距離 ③ ℎ! & 𝑥 : コサイン距離
- 17. 7/15_CVPR2020_技術報告会 16 学習済 クラス分類 モデル fK (𝑥) 𝑥 Soft max 𝑆(𝑥) 前処理 "𝑥 !𝑥 = 𝑥 − 𝜀 sign(−𝛻!log S"#(𝑥)) S!" 𝑥 = max # 𝑆$(𝑥) 0 1 0.01 0.02 0.02 0.95 出⼒値 分類クラス A B C D ℎ(𝑥) 𝑔(𝑥) 予測実⾏時のフロー 論文紹介 元祖ODINと同じ前処理⽅法を採⽤ ＊Gen-ODINではハイパーパラメータ 𝜀 を既知データのみで 選択するため、 𝜀 を決定する⽅法がODINと異なるが、今回 は割愛 🙇 学習したDecomposeレイヤを使⽤して予測を実⾏ ODINではハイパーパラメータ𝐓を⽤いて、f' (𝑥)をスケーリングしていたが、 GEN-ODINでは𝐠(𝐱)がスケーリング因⼦となる。 => 未知データを使ってスケーリング因⼦を調節しなくてよくなった。
- 19. 7/15_CVPR2020_技術報告会 18 Yen-Chang らが、CVPRにてOoDを使わずに構築できるODINを提案 閾値 データ 1 0 閾値 データ 1 0 TRP⾼TRP低 論文紹介 ＊TNR = 1 − FRP
- 20. 7/15_CVPR2020_技術報告会 19 所感 私が感じたODINを⽤いるメリット： ✓ クラス分類モデルの学習を拡張するだけでデータ検証が可能 Þ データ検証⽤のモジュールやモデルを新たに作る必要がない ✓ 予測スコアに対して判断が容易 Þ 予測スコアの範囲は0 ~ 1で、1に近いなら信頼できる(シンプル!) デメリット： ✗ クラス分類モデル(Softmax関数の使⽤)を前提としているので、汎⽤性が弱い ✗ 勾配を計算する必要がある Þ 単純に考えて予測の計算量 2 ~ 3 倍
- 21. 7/15_CVPR2020_技術報告会 1. Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data Yen-Chang Hsu, Yilin Shen, Hongxia Jin, Zsolt Kira. CVPR 2020. https://arxiv.org/abs/2002.11297 2. Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks Shiyu Liang, Yixuan Li, R. Srikant. ICLR 2018. https://arxiv.org/abs/1706.02690 3. A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks Dan Hendrycks, Kevin Gimpel. https://arxiv.org/abs/1610.02136 4. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images Anh Nguyen, Jason Yosinski, Jeff Clune. https://arxiv.org/abs/1412.1897 20 参考文献