DB TechShowcase Tokyo - Intelligent Data Platform
Download as pptx, pdf2 likes676 views
AI (Artificial Intelligence) が様々なアプリケーション/サービスに組み込まれ始めて、それをうみだす原動力ともいえるデータプラットフォームもその立ち位置を変えてきています。次期SQL Server 2017には、Machine Learning Servicesが同梱され、まさに次世代のデータプラットフォームの一つの形といえるでしょう。このセッションでは、System of Record から、System of Insight へとその価値を変えていく最新のData Platformの世界をご紹介します。
![execute sp_execute_external_script
@language = N'R'
, @script = N'
x <- as.matrix(InputDataSet);
y <- array(dim1:dim2);
OutputDataSet <- as.data.frame(x %*% y);'
, @input_data_1 = N'SELECT [Col1] from MyData;'
, @params = N'@dim1 int, @dim2 int'
, @dim1 = 12, @dim2 = 15
WITH RESULT SETS (([Col1] int, [Col2] int, [Col3] int, [Col4] int));
‘R’ もしくは ‘Python’
R file や Python file の
読み込みも
入力データ。 T-SQL SELECT も使
えるスクリプト用のパラメーター。”OUTPUT” もサポー
ト。
トレーニング済みのモデルには varbinary(max) を
使用
Result set のバインド(Optional)
STDOUT や STDERR と一緒に
メッセージ文字列も
R dataframe もしくは
Python Pandas dataframe](https://image.slidesharecdn.com/20170906dbtechshowcasemsintelligentdataplatformpublic-170905235608/85/DB-TechShowcase-Tokyo-Intelligent-Data-Platform-30-320.jpg)
![[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装](https://cdn.slidesharecdn.com/ss_thumbnails/di12-170616053736-thumbnail.jpg?width=560&fit=bounds)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinarsqldw20170726-180220004900-thumbnail.jpg?width=560&fit=bounds)
![[Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://cdn.slidesharecdn.com/ss_thumbnails/20160719hortonworksmeetupazuredata-160721074638-thumbnail.jpg?width=560&fit=bounds)
![[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例](https://cdn.slidesharecdn.com/ss_thumbnails/cassandraamazondynamodb-140216194358-phpapp01-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to DB TechShowcase Tokyo - Intelligent Data Platform (20)
![[Japan Tech summit 2017] MAI 005](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfmai005-171116071451-thumbnail.jpg?width=560&fit=bounds)
More from Daiyu Hatakeyama (20)
DB TechShowcase Tokyo - Intelligent Data Platform
- 11. 機械学習 深層学習 深層強化学習 画像解析 音声解析 データ分類 異常検知, 顧客グルーピング 数値予測 売上予測, 需要予測, 品質管理 ラベル分類 不良品分析, 故障予測, チャーン分析 より強力な分析 自律学習型ロボット 自動運転車 テキストや画像等の自動生成 活用例 主に多層のニューラルネットワーク を用いた手法での分析 分析のためには、莫大なデータ量、 計算量、知識・スキルを要する 統計に基づいた手法での分析 そのため、比較的少ないデータ量と 計算量で分析を行うことができる 定義したあるべき姿に従い試行錯誤 をして自ら学習を行うための分析手 法である 強化学習と、深層学習を組み合わせ た 分析 Azure Machine Learning Cognitive Toolkit / GPU Instance (N-Series) マイクロソフトが提供する技術
- 15. Video Indexer Cognitive Services Labs
- 16. Video Indexer Cognitive Services Labs Custom Custom CustomCustom Custom
- 17. 従来の Database + App Intelligence Database + App Application + Intelligence Database Application Intelligence + Database VS
- 18. Image Video Lang. Predictive Deploy Training Data Process Gathering Model Model Model Lang. Image Video Developer Data Scientist Developer Model Training Dataset
- 19. Azure Data Lake service 無限にデータをストア・管理 Row Data を保存 高スループット、低いレイテンシの分析ジョ ブ セキュリティ、アクセスコントロール Azure Data Lake store HDInsight & Azure Data Lake Analytics
- 20. 多くの SQL & .NET DEVELOPERS 宣言型言語の SQL と 逐次実行型である C# のパワーを融合 構造化、一部構造化、非構造化データの融合 全てのデータに分散クエリの実施 U-SQL Big Data のための新しい言語
- 21. 1. 顔の解析 2. 画像への タグ 付け 3. 顔の感情分析 4. OCR 5. テキストからの重要語句の抽出 6. テキストの感情分析 Azure Data Lake の 6つの Cognitive 機 能
- 22. • オブジェクト認識 (タグ) • 顔認識、感情認識 • JOIN処理 – 幸せな人は誰なのか? REFERENCE ASSEMBLY ImageCommon; REFERENCE ASSEMBLY FaceSdk; REFERENCE ASSEMBLY ImageEmotion; REFERENCE ASSEMBLY ImageTagging; @objects = PROCESS MegaFaceView PRODUCE FileName, NumObjects int, Tags string READONLY FileName USING new Cognition.Vision.ImageTagger(); @tags = SELECT FileName, T.Tag FROM @objects CROSS APPLY EXPLODE(SqlArray.Create(Tags.Split(';'))) AS T(Tag) WHERE T.Tag.ToString().Contains("dog") OR T.Tag.ToString().Contains("cat"); @emotion_raw = PROCESS MegaFaceView PRODUCE FileName string, NumFaces int, Emotion string READONLY FileName USING new Cognition.Vision.EmotionAnalyzer(); @emotion = SELECT FileName, T.Emotion FROM @emotion_raw CROSS APPLY EXPLODE(SqlArray.Create(Emotion.Split(';'))) AS T(Emotion); @correlation = SELECT T.FileName, Emotion, Tag FROM @emotion AS E INNER JOIN @tags AS T ON E.FileName == T.FileName; Images Objects Emotions filter join aggregate
- 23. 付加価値を提供する 多くのパートナー ソリューション Streaming / CDN コンテンツ 保護 Processing取り込み と保管 メディア 配信の コア 機能を API として提供 Azure Media Services PlayerAI (Artificial Intelligence)
- 25. 翻訳 感情 キー ワード
- 28. R & Python ベースの AI の ストアドプロシージャ Graph モデルのサポートによる より複雑な関係を分析 クエリ 処理の最適化による 比類なき パフォーマンス AI を組み込んだ最初の商用データベース SQL Server 2017
- 29. • SQL Server, CNTK & R/Python – それぞれの強い部分を連携させた エンタープライズ グレードの AI アプリケーション • データを移動させる必要がないため、セキュリティと効率化が向上 • GPU による、処理能力の向上 Featurization classifier model での スコアリング Web App Diagnosis: 35% certainty Python / R で実装した ストアドプロシージャ ストアド プロシージャ の 呼び出し Model table, Features table, New Images table SQL Server
- 30. execute sp_execute_external_script @language = N'R' , @script = N' x <- as.matrix(InputDataSet); y <- array(dim1:dim2); OutputDataSet <- as.data.frame(x %*% y);' , @input_data_1 = N'SELECT [Col1] from MyData;' , @params = N'@dim1 int, @dim2 int' , @dim1 = 12, @dim2 = 15 WITH RESULT SETS (([Col1] int, [Col2] int, [Col3] int, [Col4] int)); ‘R’ もしくは ‘Python’ R file や Python file の 読み込みも 入力データ。 T-SQL SELECT も使 えるスクリプト用のパラメーター。”OUTPUT” もサポー ト。 トレーニング済みのモデルには varbinary(max) を 使用 Result set のバインド(Optional) STDOUT や STDERR と一緒に メッセージ文字列も R dataframe もしくは Python Pandas dataframe
- 31. sqlservr.exe MSSQLSERVER Service launchpad.exe MSSQLLAUNCHPAD Service pythonlauncher.dll conhost.exe process pool 入力データ コンパイル クエリ実行 パイプへメッセージ送 信 入力クエリの実行 結果の出力 結果を取得する SNI/TCP – 低次元のコミュニケーション (not TDS) 入力行と入力パラメーターの取得 結果の出力と出力パラメータの書き込み stdout と stderr の設定 R script pipe CreateProcess – named pipe Windows Job Object CreateProcess BxlServer.exe sqlsatellite.dll SQLOS XEvent ScaleR “satellite” processes 挟みこむ Local User Account 低い実行権限 <<Service SID>><<Service SID>> EXTERNAL_SCRIPT_NETWORK_IO 待ち rlauncher.dll rlauncher.dll pythonlauncher.dll Python script python.exe python35.dll pylink.dll BxlServer.exe sqlsatellite.dll SQLOS XEvent ScaleR Local User Account 低い実行権限 sp_execute_external_script rterm.exe Open R rxlink.dll conhost.exe
- 32. In-memory OLTPColumn Store 大量データの 書き込み処理 PowerBI Dashboardスケールする Database 内の分析 R 業務ユーザー 分析の用意 Stored Predictions Visualize SQL-R を使って、秒間100万件の機械学習の処理も
- 36. Azure IoT Edge IoT Hub Devices Local Storage Azure Machine Learning (Container) Functions RuntimeContainer Management Device Twin Device Twin Azure Stream Analytics (Container) Azure Functions (Container) Cognitive Services (Container) Custom Code (Container) Module Twin Module Twin Module Twin Module Twin Module Twin Module Twin Module Twin Module Twin Module Twin Module Twin
- 40. 日付 時間 セッションタイトル 9/5 15:30-16:20 C16 Azure SQL Database - Are you ready for the cloud? 9/6 9:30-10:20 D21 ついに Red Hat Enterprise Linuxで SQL Serverが使える！ ～Dr. KによるSQL Server 2017 Linux版性能検証速報～ 9/6 12:30-13:20 B23 Intelligent Data Platform の全容 – 何がIntelligentなの? - 9/6 15:30-16:20 E26 窓は開かれた! SQL Server on Linux で拡がる可能性 9/6 16:30-17:20 E27 SQL Server 2017で実現されるＡＩ（ディープラーニング）のシステムモデルのご紹介 9/7 10:30-11:20 C32 Patterns for building hybrid scenarios with SQL Server and Azure 9/7 12:30-13:20 E33 Linux 対応だけじゃない！！ SQL Server 2017、こんな機能が追加されています。 9/7 16:30-17:20 E37 AzureでOSS DB/データ処理基盤のPaaSサービスを使ってみよう
- 42. © 2017 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.