Supervised Machine Learning of Elastic Stack

1Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Elastic Stack7.6における
教師あり機械学習の紹介
Acroquest Technology株式会社
Senior Consultant / Elastic Certified Engineer
吉岡洋 @Hirosh_Yoshioka

はじめに
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
1. 今日話すこと
①Anomaly Detectionの概要
②Data Frame Analyticsの概要 ← 教師あり機械学習はここ
2. 今日話さないこと
①機械学習のアルゴリズムや評価手法の詳細

目次
1. Elastic MLにおける2種類の機械学習機能
1-1. Anomaly Detection
1-2. Data Frame Analytics
2. デモ
2-1. 分類による不良品予測

自己紹介
⚫ 名前：吉岡洋（よしおかひろし）
⚫ 所属：Acroquest Technology株式会社
(シニアコンサルタント)
⚫ 領域：全文検索／ビッグデータ分析／可視化
⚫ その他：
─Microsoft MVP for Powershell（2006～2010）
─「Windows PowerShell宣言！」(2007)
─IBM Certified Specialist
IBM SPSS Modeler Professional（2014～）
─Elastic Certified Engineer（2018～）

Acroquest Technology株式会社
1. 新横浜にあるITベンチャー
①Great Place To Work(R) Institute Japan実施
働きがいのある会社ランキング第1位(3回受賞)
2. 事業（データ活用ビジネス）
①Elastic Stack活用コンサルティングサービス
– 検証／設計／構築／運用支援など
– Elastic Certified Engineer：5名
②IoTデータ分析プラットフォーム
③機械学習／AI

1. Elastic MLにおける
2種類の機械学習機能

1-1. Anomaly Detection（Ver.5.5でGAリリース）
1. 特徴
①時系列データの異常検知
②教師なし機械学習
– 閾値判定で検知できない異常を
判定／検知可能
2. サポートする異常検知
①トレンド異常検知
– 特定の周期を持った時系列データが過去と異なる振る舞いをしている
②Population Analysis
– グループ内の特定の個体が他とは異なる挙動をしている
例）特定のIPアドレスからのアクセスだけ404レスポンスの数が多い
閾値判定だと
異常検知できない

1-1. Anomaly Detection（機能強化）
1. 分析プロセスの効率化
① Data Visualizer（v6.1）
② CSVファイルのインポート機能（v6.5）
③ Annotation（v6.6）
2. モデル精度の向上
① Calendar Management（学習対象除外日の設定、v6.2）
② Custom Rule（モデル更新条件/異常検知判定のルール制御、v6.4）
③ スコア計算アルゴリズムの改善（v6.5）
– パーティション毎のスコア正規化／マルチバケット分析
3. 将来予測
① Forecast（v6.1）

1-2. Data Frame Analytics（Ver.7.3～）
1. 特徴
① 非時系列データの様々な分析
② Elastic Stack単体で学習／推論が可能
– 学習：Data frame analytics APIまたはKibana UIで実施
– 推論：Ingest Node(Inference Processor)を利用する。（v7.6）
2. サポートする分析手法
No 分析タイプ学習推論 Version 備考
1 Outlier Detection(外れ値検知) なしー v7.3
2 Regression(回帰) あり可能 v7.4
3 Classification(分類) あり可能 v7.5 二項分類にのみ対応
4 Language identification
(言語識別)
あり
(プリセット)
可能 V7.6 109言語に対応

1-2. Data Frame Analytics（ユースケース）
1. 教師あり機械学習はBusiness Analytics領域で有用
Regression
(回帰)
Classification
(分類)
Language identification
（言語識別）
[信用リスク分析→未払いリスク低減]
債務者データから格付けスコアモデルを作成。
[アプリユーザ解約予測→解約防止キャンペーン]
顧客動向データから解約予測モデルを作成。
[問い合わせ言語判定→アサイン効率化]
問い合わせ内容を言語判定。適切な担当者をアサイン。

1-2. Data Frame Analytics（処理の流れ）
④推論
新規
インデックス
②Reindex 学習データ
インデックス
②分析
モデル
学習データ
インデックス
学習データ
(検証データ)
①データ登録
Ingest Node
(Inference Processor)
テストデータ
③データ登録
※②は以下のAPI
・Create data frame analytics jobs API
・Start data frame analytics jobs API
学習データ
インデックス
(+分析結果)

2. デモ

1. デモデータ（製造／試験データ：1000件）
① p1～p12：12ステップある各製造過程での評価値
② result：製造後の負荷試験結果（NGは不良品）
2. 分類を利用して不良品を予測する
① 説明変数：p1～p12
② 目的変数：result
p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 p12 result
1 28 1 0 1 65 158 1 12 5 B A NG
1 41 1 0 0 197 479 4 6 11 B B OK
1 44 1 0 0 0 651 6 3 7 B C OK
1 50 1 0 1 189 454 5 6 10 B C OK
1 25 1 0 1 153 368 7 4 5 B B OK

1. 作成したモデルに対する推論のテスト（正解はNG）
POST _ingest/pipeline/_simulate
{
"pipeline": {
"processors": [
{
"inference": {
"model_id": "★model_id★",
"inference_config": {
"classification": {}
},
"field_mappings": {}
}
}
]
},
"docs": [
{
"_source": {
"p1" : 1,
"p2" : 28,
"p3" : 1,
"p4" : 0,
"p5" : 1,
"p6" : 65,
"p7" : 158,
"p8" : 1,
"p9" : 12,
"p10" : 5,
"p11" : "B",
"p12" : "A"
}
}
]
}

まとめ
1. Elastic MLには2種類の機械学習機能がある
①Anomaly Detection（教師なし機械学習）
②Data Frame Analytics（教師あり機械学習）
※一部例外あり（Outlier Detectionは教師なし）
2. v7.6から教師あり機械学習の推論をサポート
①Elastic Stack単体での学習／推論が可能
②Data Frame Analyticsが導入されたことで、
Business Analytics領域での活用が期待できる

ご清聴ありがとうございました。
Evolve the Earth with Emotion of Technology

Supervised Machine Learning of Elastic Stack

Recommended

More Related Content

What's hot (20)

Similar to Supervised Machine Learning of Elastic Stack (20)

Supervised Machine Learning of Elastic Stack