Salesforce Einstein - SaaS企業のAI戦略とテクノロジ -
4 likes•1,629 views
2016年11月11日Sapporo Java Festaでの発表資料
![§ 特徴選択
– 特徴の教師あり学習
§ 特徴抽出の自動化
– 欠損値の処理
– スマートビニング
– 特徴の正規化
– 特徴の相関
特徴エンジニアリングの自動化
解決 #4 : プラットフォームカスタマイゼーション
val age = new NumericFeatureBuilder[Titanic]
.setFeatureName(“age”)
.setExtractMethod(record => record.age)
val pclass = new CategoricalFeatureBuilder[Titanic]
.setFeatureName(“pclass”)
.setExtractMethod(record => record.pclass)
.build()
val survived = new BinaryFeatureBuilder[Titanic]
.setFeatureName(“survived”)
.setExtractMethod(record => record.survived)
.asResponse
.build()](https://image.slidesharecdn.com/jpeinsteindev-161111053330/85/Salesforce-Einstein-SaaS-AI-42-320.jpg)
Salesforce Einstein - SaaS企業のAI戦略とテクノロジ -
- 1. Salesforce Einstein - SaaS企業のAI戦略とテクノロジー - Mitsuhiro Okamoto @mitsuhiro
- 2. Statement under the Private Securities Litigation Reform Act of 1995: This presentation may contain forward-looking statements that involve risks, uncertainties, and assumptions. If any such uncertainties materialize or if any of the assumptions proves incorrect, the results of salesforce.com, inc. could differ materially from the results expressed or implied by the forward-looking statements we make. All statements other than statements of historical fact could be deemed forward-looking, including any projections of product or service availability, subscriber growth, earnings, revenues, or other financial items and any statements regarding strategies or plans of management for future operations, statements of belief, any statements concerning new, planned, or upgraded services or technology developments and customer contracts or use of our services. The risks and uncertainties referred to above include – but are not limited to – risks associated with developing and delivering new functionality for our service, new products and services, our new business model, our past operating losses, possible fluctuations in our operating results and rate of growth, interruptions or delays in our Web hosting, breach of our security measures, the outcome of any litigation, risks associated with completed and any possible mergers and acquisitions, the immature market in which we operate, our relatively limited operating history, our ability to expand, retain, and motivate our employees and manage our growth, new releases of our service and successful customer deployment, our limited history reselling non-salesforce.com products, and utilization and selling to larger enterprise customers. Further information on potential factors that could affect the financial results of salesforce.com, inc. is included in our annual report on Form 10-K for the most recent fiscal year and in our quarterly report on Form 10-Q for the most recent fiscal quarter. These documents and others containing important disclosures are available on the SEC Filings section of the Investor Information section of our Web site. Any unreleased services or features referenced in this or other presentations, press releases or public statements are not currently available and may not be delivered on time or at all. Customers who purchase our services should make the purchase decisions based upon features that are currently available. Salesforce.com, inc. assumes no obligation and does not intend to update these forward-looking statements. Forward-Looking Statement
- 3. Agenda § Salesforce.com とEinstein § マルチテナントMLサービスを提供するための課題 § Salesforce の場合の解決策
- 5. § マルチテナントクラウドサービス § CRMを中心としたSaaSを提供 – 営業支援 – マーケティング – サポート – 分析 § Platform機能もあり – Force.com – Heroku AppExchange Force.com Heroku アプリ アナリティクス コミュニティ マーケティング サービスセールス マルチテナントクラウドインフラストラクチャ Salesforceとは L i g h t n i n g
- 6. Salesforceとは
- 7. Salesforceとは
- 8. Salesforceとは
- 10. AI はすでに生活に深く浸透 つながり・類似点の抽出 深層学習(Deep Learning) 1-to-1のコネクション 機械学習(Machine Learning) 直感的につながる 自然言語処理(Natural Language Processing) Apple Amazon Facebook Marc Benioff Parker Harris
- 11. ビジネスの場合、AI は非常に複雑 データ準備 & スケーラブルにイ ンテグレーション モデリング & データサイエンス インフラストラクチャ ビジネスコンテキスト 隠された複雑性 ビジネス上に求められる成果
- 13. AI in the Salesforce Platform Salesforce Einstein Machine Learning • Deep Learning • Predictive Analytics • NLP • Smart Data Discovery 世界で最も 賢いCRM セールス, サービス, マーケティング & ITにパワーを 誰でもAIのパワー を使ったアプリを 素早く作れる
- 14. 世界で最も賢いCRMのために Sales Cloud Einstein 予測リードスコアリング 商談インサイト 自動活動キャプチャ Service Cloud Einstein Case分類レコメンデーション レスポンスレコメンデーション 予測クローズ時間 Commerce Cloud Einstein 商品レコメンデーション 予測ソート コマースインサイト App Cloud Einstein Heroku + PredictionIO ビジョンサービス 感情分析サービス Analytics Cloud Einstein 予測Waveアプリ スマートデータディスカバリ 自動分析および抽出 IoT Cloud Einstein 予測デバイススコアリング ベストネクストアクションレコメンデーション 自動IoTルール最適化 Community Cloud Einstein エキスパート、記事 & トピックレコメンデーション 自動サービスエスカレーション ニュースフィードインサイト Marketing Cloud Einstein 予測スコアリング 予測オーディエンス 自動送信時間最適化
- 15. AppExchange Force.com Heroku アプリ アナリティクス コミュニティ マーケティング サービスセールス マルチテナントクラウドインフラストラクチャ Einsteinを既存のPlatformの中に組み込む L i g h t n i n g
- 16. Einsteinを既存のPlatformの中に組み込む E i n s t e i n L i g h t n i n g Force.com Heroku AppExchange T h u n d e r セールス サービス マーケティング 分析コミュニティ アプリ コマース IoT 予測分析 機械学習 & 深層学習 自然言語処理 & 音声処理 マルチテナント インフラ 開発 プラットフォーム AIサービス Eメール, カレンダー & ソーシャルデータ CRM データ IoT イベント データ サービス アプリケーション
- 20. AI 用語集 応答 (Response) : 予測したいものの結果 例 : どの見込み客をコンバートすべきか？ 特徴 (Features) : より正確な予測の応答をを得るための要素 例 : 業界、郵便番号など モデル (Model) : 特徴から応答を導き出すためのアルゴリズム 例 : (x, y) = x1, x2, x3…、 xk, y）, p(G | E) = p(G) p(E | G) / p(E)
- 22. 一般的なMLアプリケーションの開発 § 1つのビジネスプロセスにフォーカス – 似たようなユーザ体験 • 同じ方法でユーザは製品を使う – 固定化した特徴セット • データポイントおよびスキーマ はあらかじめ定義済み – KPIおよびメトリクスは あらかじめ定義済み – モデルの調整をデータ サイエンティストが行う
- 24. 3つめのアプリを開発する場合 App #1 +データサイエンティスト App #2 +データサイエンティスト App #3 +データサイエンティスト
- 25. Salesforceでこの方法を採用して開発した場合 x 数十万社の顧客 Lead Opportunity Case Lead Opportunity Case Lead Opportunity Case Social App X App X AppX App X App X Social App X App X AppX App X App X Social App X App X AppX App X App X
- 26. 世界中のデータサイエンティストを雇い入れる? 機械学習の機能の数 x 顧客数 Sales Cloud Einstein 予測リードスコアリング 商談インサイト 自動活動キャプチャ Service Cloud Einstein Case分類レコメンデーション レスポンスレコメンデーション 予測クローズ時間 Commerce Cloud Einstein 商品レコメンデーション 予測ソート コマースインサイト App Cloud Einstein Heroku + PredictionIO ビジョンサービス 感情分析サービス Analytics Cloud Einstein 予測Waveアプリ スマートデータディスカバリ 自動分析および抽出 IoT Cloud Einstein 予測デバイススコアリング ベストネクストアクションレコメンデーション 自動IoTルール最適化 Community Cloud Einstein エキスパート、記事 & トピックレコメンデーション 自動サービスエスカレーション ニュースフィードインサイト Marketing Cloud Einstein 予測スコアリング 予測オーディエンス 自動送信時間最適化
- 28. 課題リスト 1. インフラストラクチャーとテクノロジー 2. 信頼性とプライバシー 3. 特殊なビジネスユースケース 4. プラットフォームカスタマイゼーション 5. 予測成功の基準 6. 測定とモニタリング
- 29. 課題 #1 : インフラストラクチャーとテクノロジー § どのツールを使うか？ – データI/O – スケジューラ – プロセスエンジン – モデル管理 – 監視 – などなど・・・
- 30. 課題 #2 : 信頼性とプライバシー § 信頼性 – データは常にセキュアに保つ 必要がある § プライバシー – それぞれの顧客のデータは 分離してハンドリングする 必要がある “Nothing is more important to our company than the privacy of our data” - Parker Haris, CTO Salesforce
- 31. 課題 #3 : 特殊なビジネスユースケース § 数百数千もの企業のデータをハンドリングする – ビジネスユースケースが それぞれ違う • カスタマイズして使っている • B2B vs B2C • 小売、ホテル、SaaSプロバイダ などなど… – 利用サービスがそれぞれ違う • それぞれの企業が必要なサービスを利用
- 32. § 特徴エンジニアリングは良いモデル生成の鍵 – Salesforceカスタムオブジェクト • ユーザ自身が必要に応じて追加可能 – 高次元 • 特徴セットのコントロールが困難 – 特徴の相関係数 • 任意のタイミングにユーザが 特徴を追加可能 課題 #4 :カスタマイゼーション : 豊富な機能
- 33. 課題 #5 :予測成功の基準 § 顧客ごとにスコア分布が異なる – 柔軟にランク付けをする必要がある § 90% - 10% 問題 – モデルが多くの場合良く機能したとしても 少量の例外はある § 顧客に提供して実際に機能するか
- 34. 課題 #6 : 測定とモニタリング § データの量の格差 – 顧客ごとにデータのサイズは違う – 特徴が異なる § データ収集の方法 § アラート § ログ – デバッグ
- 35. 再掲 : 課題リスト 1. インフラストラクチャーとテクノロジー 2. 信頼性とプライバシー 3. 特殊なビジネスユースケース 4. プラットフォームカスタマイゼーション 5. 指標となる成功の定義 6. 測定とモニタリング
- 37. “Metadata Science” o AI を Platform 化する o 自動化、そして自動化 o コンピュータにデータサイエンスを教える o 日々サイエンティストが行っている作業 をマシンが行う
- 38. 新たにEinstein専用レイヤーを用意し既存サービスに連携 解決 #1 : インフラストラクチャーとテクノロジー Sales Cloud Marketing Cloud などなど モデリング スコアリング データ 処理 Einstein Platform モデル 管理
- 39. 車輪の再発明にコストをかけない 解決 #1 : インフラストラクチャーとテクノロジー • AWSベース • マイクロサービス • アーキテクチャ • データI/Oおよびプロ セシングに Spark & Akka • スケジューラおよび ワークフローマネー ジャーにChronos • マルチテナント・マル チモデル CLI Web UI 診断ツール モニタリングツール プロビジョニング サービス 管理・認証サービス Executor データ収集 データ準備 データ送信 モデリング /スコアリング データストア サービス S3 Control System スケジューラ モデル管理 補助サービス モニタリング サービス CIサービス EM R データソース Einstein Platform
- 40. § データサイズに応じてリソースを準備 § モデルのリソース利用状況 – 基本的な企業の規模 (大 中 小) – 以前のパフォーマンスに基づいて 動的にアロケーション § セルフヒーリングプロセス – リソースの増加 – レポーティング § Bots for DevOps – Slack Botを使ってオペレーションを円滑化 インフラのデプロイおよびチューニングを自動化 解決 #1 : インフラストラクチャーとテクノロジー
- 41. Einsteinは顧客のアプリごとにそれぞれモデルを生成する 解決 #2 & #3 :信頼性 , プライバシー , ユースケース EinsteinPlatform Model1 for Uber Model2 for Uber ModelN for Uber Best Model for Uber = Model8 Model1 for AXA Model2 for AXA ModelN for AXA Best Model for AXA = Model3 Model1 for Timberland Model2 for Timberland ModelN for Timberland Best Model for Timberland = Model2 個別の組織 モデルのマッチング モデルの選択
- 42. § 特徴選択 – 特徴の教師あり学習 § 特徴抽出の自動化 – 欠損値の処理 – スマートビニング – 特徴の正規化 – 特徴の相関 特徴エンジニアリングの自動化 解決 #4 : プラットフォームカスタマイゼーション val age = new NumericFeatureBuilder[Titanic] .setFeatureName(“age”) .setExtractMethod(record => record.age) val pclass = new CategoricalFeatureBuilder[Titanic] .setFeatureName(“pclass”) .setExtractMethod(record => record.pclass) .build() val survived = new BinaryFeatureBuilder[Titanic] .setFeatureName(“survived”) .setExtractMethod(record => record.survived) .asResponse .build()
- 43. § 過剰適合の防止 – 特徴相関の除去 • leakageを分析 – バリデーション方法 • CV スコア • テスト統計 #5.1 サニティチェックの自動化 解決 #5 :予測成功の基準
- 44. § 企業によって コンバージョン率は違う § 企業サイズが違うと データセットのサイズも違う § モデルの精度はトレーニングセット のサイズに依存する 5.2 アンバランスなトレーニングデータの自動再バランシング 解決 #5 :予測成功の基準 val (trainingSet,testSet) = TrainingSetGenerator.generate( reader = TitanicReader, predictiors = allPredictors, response = survived, positiveResponseRatio = Array(0.1, 0.25, 0.5), testToTrainRatio = 0.1, sanityCheck = true )
- 45. § ハイパーパラーメータのチューニングは(うまくいけば)モ デルに大きな改善を与える § 方法: – グリッドサーチ – ランダムサーチ – ベイズ最適化 – 転移学習 5.3 ハイパーパラメータのチューニングと最適化 解決 #5 :予測成功の基準 val modelsToTry = Seq( LogisticRegression(maxlter = 20, regParam = Array(0.01, 0.1), elasticNetParam = Array(0.05, 0.5)), RandamForest(impurity = Array(“gini”), maxDepth = Array(3, 6), minInstancesPerNode = Array(10, 20), numTrees = Array(10, 20)) )
- 46. § 異なるモデルを複数使用 – ランダムフォレスト – ニューラルネットワーク – 線形判別分析 – ロジスティクス回帰 – などなど… § 課題の解決: – 分類問題、回帰問題 – 画像認識 – 感情分析 5.2 モデル選択の自動化 解決 #5 :予測成功の基準 val bestModel = SparkMLPredictiveModelSelector.tryModels( trainingData = trainingSet, testDate = testSet, models = modelsToTry, evaluationMetric = Metrics.auROC, numFolds = 10, )
- 47. § 予測スコアの自動調整 § スコアのビジュアライゼーション § 複数のパフォーマンスメトリクス – 正確性、精度、利益曲線 § アラートシステム – モデルの失敗 – モデルの精度の低下 – ETLプロセスの失敗 評価の自動化 解決 #6 : 測定とモニタリング
- 48. Take a Look
- 49. § AIを Platform 化 § Spark上にScalaを使って実装 § データ準備とETLを自動化 § 特徴エンジニアリングを自動化 § モデルの選択を自動化 § 学習およびデプロイを自動化 “Metadata Science” Einstein マルチテナント ML 実現の鍵
- 51. § 機械学習は大変 § 通常の開発と同様、アプリを注意深く設計・実装する – ML Coreだけではサービスにはならない § 再利用可能なデザインと転移学習 § 可能な限り自動化 § 多くの成熟したテクノロジーをうまく利用する – 例 : Spark や Scala など § 実際のビジネスユースケースから何が必要かを知る 機械学習を製品に組み込むことは非常に多くの課題を解決する必要がある まとめ
- 52. § Einsteinを利用する – Force.comをサインアップ (来年2月, Spring ‘17リリース予定) – すでに有償でご利用の場合は担当営業へ § Einsteinの要素技術を使う – PredictionIO on Heroku • Heroku上ですぐに展開可能なビルドパックを提供 – Metamind.io • Vision API • Sentiment Analytics Salesforce Einsteinを利用するには？ 追加のリソース
- 53. Thank You