人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術（NTTデータ テクノロジーカンファレンス 2020 発表資料）
- 1. 人と機械の協働によりデータ分析作業の 効率化を目指す協働型機械学習技術 2020/10/14 NTTデータテクノロジーカンファレンス 2020 NTT ソフトウェアイノベーションセンタ 税所 修
- 2. • ソフトウェアイノベーションセンタは IoT/AIサービスを支える革新的基盤技術創出に向け， モデリング データ活用分析 クラウド・IoT基盤構築・運用 ソフトウェア開発・運用支援 を中心に研究に取り組むNTTの研究所の1つです • 本日は，研究開発中の「協働型機械学習技術」を ご紹介します • 本技術はAblerTMをはじめ，NTTデータの データ分析ソリューションへの活用を見据えています 2 イントロダクション https://www.sic.ecl.ntt.co.jpから引用 https://abler.nttdata.comから引用
- 4. 4 本日扱うデータ分析における問題 解法2 機械学習による自動化を試みる 大量のデータを… 分類したい 名寄せしたい 一致 教師あり学習 半教師あり学習，データ拡張， 転移学習，少数ショット学習 etc.
- 5. 5 本日扱うデータ分析における問題 解法2 機械学習による自動化を試みる 大量のデータを… 分類したい 名寄せしたい 一致 教師あり学習 半教師あり学習，データ拡張， 転移学習，少数ショット学習 etc.
- 7. 7 人と機械の協働における課題 人，機械各々のいいところを足してみる 人 機械 作業経験上の様々な知見 （暗黙知）を持っている 与えられた情報を元に莫 大な計算量を処理できる 課題1 冗長な作業を繰り返さず， 知見をそのまま機械に組み込めないか 課題2 人の作業を最小化するために， 機械がその作業を支援できないか
- 8. 8 人と機械(学習)のインタラクション 人 機械 課題1 冗長な作業を繰り返さず， 知見をそのまま機械に組み込めないか 課題2 人の作業を最小化するために， 機械がその作業を支援できないか 知見を分割し，矛盾や重複を許容しつつ 単純な関数として実装できる手法を導入 学習器の精度を効率的向上に有効な知見を導くための情報を提示
- 9. 9 教師あり学習におけるラベリング 画像分類 • 画像に写っているものが何かという情報を 予めセットとして準備する 文章分類 • レビューの文章がポジティブなのかネガティブなのかという情報を 予めセットとして準備する bird deer https://www.cs.toronto.edu/~kriz/cifar.htmlから引用 https://nijianmo.github.io/amazon/index.htmlから引用 Great product and price! Was terribly disappointed, the pants were way too large in ... positive negative
- 10. 10 本日の例題 文章分類 英語疑問文の質問対象を分類する • 分類クラスは下記6クラス 「場所」「人」「数字」「物」「略語」「記述」 • 例えば How many people in the world speak French? → 数字 What does S.O.S. stand for? → 略語 How can I find out what year a Beanie Baby was introduced? → 記述 データセットはTREC6(https://cogcomp.seas.upenn.edu/Data/QA/QC/)より
- 11. 11 ラベリングミニチャレンジ(30秒) 皆さんはいくつの疑問文を分類できますか？ • 選択肢 A. 0~1 B. 2~4 C. 5~7 D. 8~10 • 疑問文 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. クラス 場所 人 数字 物 略語 記述
- 12. 12 ラベリングミニチャレンジ(30秒) 皆さんはいくつの疑問文を分類できますか？ • 選択肢 A. 0~1 B. 2~4 C. 5~7 D. 8~10 • 疑問文 1. How many feet are there in a fathom? 2. How do doctors diagnose bone cancer? 3. Why did the chicken cross the road? 4. What is the normal resting heart rate of a healthy adult? 5. A corgi is a kind of what? 6. How long after intercourse does it take to find? 7. Who was the 16th President of the United States? 8. Where can I buy movies on videotape online? 9. Why do rooftops give off steam after a big rainstorm? 10. Where does chocolate come from? クラス 場所 人 数字 物 略語 記述 データセットはTREC6(https://cogcomp.seas.upenn.edu/Data/QA/QC/)より
- 13. 13 答え合わせ • 選択肢 A. 0~1 B. 2~4 C. 5~7 D. 8~10 1. How many feet are there in a fathom? （数字） 2. How do doctors diagnose bone cancer? （記述） 3. Why did the chicken cross the road? （記述） 4. What is the normal resting heart rate of a healthy adult? （数字） 5. A corgi is a kind of what? （物） 6. How long after intercourse does it take to find? （数字） 7. Who was the 16th President of the United States? （人） 8. Where can I buy movies on videotape online? （場所） 9. Why do rooftops give off steam after a big rainstorm? （記述） 10. Where does chocolate come from? （場所）
- 14. 14 答え合わせの深堀り 何をもとにクラスを判断しましたか 1. How many feet are there in a fathom? （数字） 2. How do doctors diagnose bone cancer? （記述） 3. Why did the chicken cross the road? （記述） 4. What is the normal resting heart rate of a healthy adult? （数字） 5. A corgi is a kind of what? （物） 6. How long after intercourse does it take to find? （数字） 7. Who was the 16th President of the United States? （人） 8. Where can I buy movies on videotape online? （場所） 9. Why do rooftops give off steam after a big rainstorm? （記述） 10. Where does chocolate come from? （場所）
- 15. 15 答え合わせの深堀り 何をもとにクラスを判断しましたか 1. How many feet are there in a fathom? （数字） 2. How do doctors diagnose bone cancer? （記述） 3. Why did the chicken cross the road? （記述） 4. What is the normal resting heart rate of a healthy adult? （数字） 5. A corgi is a kind of what? （物） 6. How long after intercourse does it take to find? （数字） 7. Who was the 16th President of the United States? （人） 8. Where can I buy movies on videotape online? （場所） 9. Why do rooftops give off steam after a big rainstorm? （記述） 10. Where does chocolate come from? （場所） • Whereがあれば「場所」？ Whyがあれば「記述」？ • Howは「記述」，How+数の形容詞なら「数字」？
- 16. 16 課題1へのアプローチ 人→機械 ラベリング関数を導入 • Whereがあれば「場所」？ Whyがあれば「記述」？ 3. Why did the chicken … ? （記述） 9. Why do rooftops … ? （記述） 課題1 冗長な作業を繰り返さず， 知見をそのまま機械に組み込めないか <キーワード> 弱教師あり学習 <OSS> Snorkel (https://www.snorkel.ai) <論文> A. Ratner et al., ”Data Programming: Creating Large Training Sets, Quickly,” NeurIPS2016 A. Ratner et al., “Training Complex Models with Multi- Task Weak Supervision,” AAAI2019 Snorkelを用いた Pythonコードの例 LF why
- 17. 17 課題1へのアプローチ 人→機械 ラベリング関数間の矛盾や重複を自動で解決 • Howは「記述」，How+数の形容詞なら「数字」？ 1. How many feet … ? 2. How do doctors … ? 6. How long after … ? 課題1 冗長な作業を繰り返さず， 知見をそのまま機械に組み込めないか <キーワード> 弱教師あり学習 <OSS> Snorkel (https://www.snorkel.ai) <論文> A. Ratner et al., ”Data Programming: Creating Large Training Sets, Quickly,” NeurIPS2016 A. Ratner et al., “Training Complex Models with Multi- Task Weak Supervision,” AAAI2019 LF how (記述) (記述) (記述) (数字) ( - ) (数字) LF num LF aggr (数字) (記述) (数字) 広いが 低信頼な知見 狭いが 高信頼な知見 ラベリング関数”群”
- 18. 18 課題1の解決事項と残課題 解決事項 • ラベリング関数群により人の知見を機械に投入できるようになった • データ1つ1つに直接ラベリングせずに済むようになった 残課題 • 何千何万ものデータを目の前にして有効な知見を人は見いだせるか 課題1 冗長な作業を繰り返さず， 知見をそのまま機械に組み込めないか LFs 教師あり学習における ラベリング
- 19. 19 課題2へのアプローチ 人←機械 ラベリングすべきデータを人に提示 • ラベリングにより得られる効用は各データで異なる 課題2 人の作業を最小化するために， 機械がその作業を支援できないか <キーワード> （双方向）能動学習 <論文> B. Settles, “Active learning literature survey,” 2009 F. Tang, “Bidirectional active learning with gold-instance- based human training,” IJCAI2019
- 20. 20 課題2へのアプローチ 人←機械 ラベリングすべきデータを人に提示 • ラベリングにより得られる効用は各データで異なる • 実際にはこの効用の差や分布は直接観測できない 課題2 人の作業を最小化するために， 機械がその作業を支援できないか <キーワード> （双方向）能動学習 <論文> B. Settles, “Active learning literature survey,” 2009 F. Tang, “Bidirectional active learning with gold-instance- based human training,” IJCAI2019 おそらく だろうし，ラベリングして もあまり効果がなさそう 現時点ではどのクラスとも言えなさそ うだから，ラベリングの効果が大きい
- 21. 21 課題2へのアプローチ 人←機械 分類の不確かさを基に優先度を算出 • 既存のラベル付きデータで学習した分類器の 出力確率のばらつき具合は分かる 課題2 人の作業を最小化するために， 機械がその作業を支援できないか <キーワード> （双方向）能動学習 <論文> B. Settles, “Active learning literature survey,” 2009 F. Tang, “Bidirectional active learning with gold-instance- based human training,” IJCAI2019 11% 73% 16% 33% 42% 25%
- 22. 22 課題2へのアプローチ 人←機械 分類の不確かさを基に優先度を算出 • 既存のラベル付きデータで学習した分類器の 出力確率のばらつき具合は分かる • 機械がラベリングの効用が大きいと提示したデータ のみを逐次的にラベリングすれば良くなる 課題2 人の作業を最小化するために， 機械がその作業を支援できないか <キーワード> （双方向）能動学習 <論文> B. Settles, “Active learning literature survey,” 2009 F. Tang, “Bidirectional active learning with gold-instance- based human training,” IJCAI2019 11% 73% 16% 33% 42% 25%
- 24. 24 ラベリングにおける協働型手法 組み込むべき知見を導く少数データの提示 LFs 1. ラベリング関数群 2. ラベリング優先度 LFs LF 既存ラベリング関数群によりラベル付け 分類器を学習 両者の出力からラベリング優先度を算出し， 優先度上位少数データを機械が提示 提示データを基にラベリング関数を人が追加
- 25. 25 ラベリングにおける協働型手法 ラベリング関数群を考慮した優先度の設計 1. ラベリング関数群も1つの分類器と見なす（確率を出力させる） 例：全ラベリング関数が適用できないデータの出力は全クラス等確率 2. 分類器は「課題2へのアプローチ」と同様 3. 上記2つの分類器の出力確率が大きく異なる場合，優先度を高くすべき LFs LF 1 2 3 これら3つの指標からラベリング優先度を算出する
- 27. 27 ラベリングにおける協働型手法 本日の例題に即して具体化すると LF why LF how LF num クラス 場所 人 数字 物 略語 記述 What does CNN stand for? What is Greek pita? What does the ''c'' stand for in the equation E=mc2? What does IOC stand for? What jockey won 17 Triple Crown races?
- 28. 28 ラベリングにおける協働型手法 本日の例題に即して具体化すると LF why LF how LF num クラス 場所 人 数字 物 略語 記述 What does CNN stand for? What is Greek pita? What does the ''c'' stand for in the equation E=mc2? What does IOC stand for? What jockey won 17 Triple Crown races? LF stand
- 30. 30 ラベリングにおける協働型手法 本日の例題に即して具体化すると What caused the Titanic to sink? What state is Niagara Falls located in? Name Pittsburgh 's baseball team. What sea surrounds the Cayman Islands? What state produces the best lobster to eat ? LF why LF how LF num クラス 場所 人 数字 物 略語 記述 LF stand
- 31. 31 ラベリングにおける協働型手法 本日の例題に即して具体化すると What caused the Titanic to sink? What state is Niagara Falls located in? Name Pittsburgh 's baseball team. What sea surrounds the Cayman Islands? What state produces the best lobster to eat ? LF why LF how LF num クラス 場所 人 数字 物 略語 記述 LF stand LF place
- 32. 32 本日の例題における本手法の効果 評価ポイント 1. 効率的なラベリング関数の実装ができているか 下記3手法と比較 2019年発表の類似手法（説明省略） ランダムに疑問文を提示した場合 何も見ずにランダムに実装した場合 2. 従来どおりに1つ1つラベリングした場合の いくつ分に相当する性能か下記2手法と比較 優先度をベースにラベリングした場合 ランダムにラベリングした場合 <論文> B. Wang et al., “Interactive programmatic labeling for weak supervision,” KDD adj. 2019
- 33. 実験結果 1. 効率的なラベリング関数の実装ができているか 33 本日の例題における本手法の効果 0.4 0.5 0.6 F値（識別性能の良さ） 10 20 30 ラベリング関数の数 本手法 既存類似手法(2019) 文ランダム ランダム 本手法が他の比較手法より 少数のラベリング関数で高いF値を実現 効率的な実装ができていると言える
- 34. 実験結果 1. 効率的なラベリング関数の実装ができているか 34 本日の例題における本手法の効果 0.4 0.5 0.6 F値（識別性能の良さ） 10 20 30 ラベリング関数の数 本手法 既存類似手法(2019) 文ランダム ランダム 本手法が他の比較手法より 少数のラベリング関数で高いF値を実現 効率的な実装ができていると言える Good!!
- 35. 実験結果 2. ラベリングいくつ分に相当する性能か 35 本日の例題における本手法の効果 0.4 0.5 0.6 10 20 30 ラベリング関数の数 F値 本手法 優先度ベース ランダム 0.4 7 190 220 0.5 11 470 460 0.6 15 780 1010 ラベリング 関数の数 ラベル付きデータ の数 15のラベリング関数が1010のラベリングに匹敵 本手法の効果の大きさを示している F値（識別性能の良さ）