20250729_TechTalk_QlikTalendCloud_データ品質とデータガバナンス
- 1. 信頼できるデータ活用へ！ Qlik Talend Cloud で実現する、 データ品質管理とガバナンス 無料 Web セミナー Qlik TECH TALK クリックテック・ジャパン株式会社 Solution Architect Yuki Kusakabe 2025.07.29
- 2. TECH TALK とは？ Qlik の製品や機能の中から 特定のテーマを取り上げて、 技術的な情報を発信していくセミナーです。
- 3. • 質問は Zoom 画面下の Q&A アイコンをクリックして入力してください。 • 質問に対して Qlik パネラーが随時 Q&A パネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。 Q&A について
- 4. 4 アジェンダ • データマネジメントに求められる要素 • データ品質とデータガバナンスの基礎知識 • Qlik のデータ品質とデータガバナンス • Qlik Talend Cloud のデモ
- 8. 8 （参考）データマネジメント知識体系ガイド 第二版 改定新版 ※ データマネジメント知識体系ガイド（ DAMA-DMBOK より）
- 11. 11 データガバナンスが注目される訳 数多くの企業でデータ利活用が進み、データに基づいたアクションが益々増えてきており、持続的な デジタルトランスフォーメーションの実現に向けた取り組みが加速している データガバナンスのできている組織 データガバナンスのできていない組織 データ部門 営業 データ部門 営業 データガバナンスのある データ基盤 データガバナンスのない データ基盤 イノベー ションを創 出 事業の最適・ 効率化 データの確認 から実施 データが揃っておらず 非効率
- 12. 12 データ管理の課題 以下のような課題によりデータの管理や利活用が困難となるケースが多い 1. レガシーシステムが多数ある（負の技術的遺産、システム更新が困難） 1. → 扱える社員がおらず、新たにデータが必要になったとき、ベンダーに依頼・質問し ないと出来ない 2. スキトラ・教育が進まない（ブラックボックス化） 1. データの管理が属人化してしまう。仕様の共有が出来てない。管理者が不明。 3. データ利活用環境の整備（システム・データのサイロ化） 1. システムがサイロ化しており、データの流れを調べるのが困難 2. レポート数が多く管理できてない（野良レポートが多い） 3. 整理をしたいが影響範囲が特定できないのでそのままになってしまう 4. 業務効率化ができてない（業務のスピードアップ、業務時間の効率的な配分） 1. 本来の業務にたどり着くまでに時間がかかっている（データの整理に時間がかか る）
- 13. データガバナンスの体制 CDO 組織のデータ戦略を担い、データ保護・活用・イノベーションを統合し、意 思決定を行う最高責任者。 データ アーキテクト データ構造の設計と管理を行い、 効率的な保存・利用、連携を実現する専門家。 データ スチュワード 組織のデータ資産を管理し、その有効性と信頼性を確保する役割を担うデー タマネジメントの実務の専門家。 データ サイエンティスト 組織に関連するデータを、分析や意思決定を可能にする構造に変換し可視 化・分析の実施。 データ アナリスト ビジネスインサイトを得るため、データを収集し体系化する。 ガバナンスルールに適合するように課題の整理などを行う。 役割 概要 データ エンジニア 業務に必要なデータを設計するとともに、 ETL( データを抽出・変換・ロー ドするプロセス ) を構築・維持し、データの品質を保証する。
- 15. 品質とデータガバナンスで信頼を築く Share & Access Standardize Operationalize Consolidate Govern Discover 発見 検索、発見、およびプロファイル 化により、構造と内容を理解する ためのデータを探索。 標準化 一貫した形式、定義、および 構造の適用を確立。 管理 データ所有者、役割、およびデー タに関するポリシーを定義 統合 データ冗長性と不一致を 排除し、信頼できる情報 源を確立。 運用 データ品質とガバナンスの ベストプラクティスを日常 の業務フローに組み込む。 共有とアクセス 厳選されたデータを データマーケットプレイス に公開し利用可能に 良いデータが信頼を築く ガバナンスが信頼を生む データへの信頼によりアクセスが増える
- 16. データ品質とガバナンスの両方が必要 データ品質とガバナンスはチームワークが重要 Share & Access Standardize Operationalize Consolidate Govern Discover データエンジニア データパイプラインを活用し、 AI を含 む意思決定ニーズに対応するため、適 切なタイミングで正確かつ多様なデー タを提供 データ生産者 データスチュワード 異常を監視し、データエラーを修正して、 定義されたルールに従ってデータが正確、 信頼性があり、一貫性があることを確保 します。 データ利用者 ビジネスアナリスト ビジネスに関連するデータセットを検 索し、迅速に品質を確認し、セルフ サービスツールで利用 コンプライアンス担当者 組織の枠組みとプロセスを定義し、デー タがコンプライアンス、プライバシー、 および信頼性を確保するために安全に管 理されるようにします。
- 18. Q l i k A n a l y t i c s ™ A n a l y t i c s & A I / M L データ分析 Answer アクション Q l i k Ta l e n d D a t a I n t e g r a t i o n & Q u a l i t y Data Engineer AI Developer Data Architect IT Analytics Engineer Data Analyst Business Analyst BUSINESS Data Scientist D a t a I n t e g r a t i o n & Q u a l i t y データ 移動 データ 変換 データ 品質 データ アクセス Doing Data, Differently データ製品カタログ・データ品質・データガバナンス
- 19. Qlik は、 2025 年版 Gartner® Magic Quadrant™ の 「拡張データ品質ソリューション」部門でリーダーに選出 主要ポイント Gartner, Magic Quadrant for Augmented Data Quality Solutions, Melody Chien, Divya Radhakrishnan, Sue Waite, 10 March 2025 This graphic was published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the entire document. The Gartner document is available upon request. Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose. Gartner and Magic Quadrant are registered trademarks of Gartner, Inc. and/or its affiliates in the U.S. and internationally and are used herein with permission. All rights reserved. AI とデータ品質の分野における最先端のイノベーション 非構造化データの活用 AI と機械学習によるデータ品質の向上 ハイブリッドおよびマルチクラウド対応 Qlik is a Leader in the 2025 Gartner® Magic Quadrant™ for Augmented Data Quality Solutions https://www.qlik.com/us/gartner-magic-quadrant-for-augmented-data-quality-2025-announcement Qlik は Gartner® により 6 回連続でデータ品質リーダーに選出 Learn more
- 20. 機械学習や生成 AI を活用するためには、信頼性の高い安全なデータが必要です。 データが信頼できるものでなければ、 AI によって出される洞察や回答も信頼することができません。 真に AI から価値を得るためには、包括的なデータ品質管理と、その維持と改善が必要となります。 網羅性 利便性 安全性 正確性 鮮度 検索性 AI-Ready なデータ 組織のデータ 組織のデータ 組織のデータ 機械学習 生成 AI 学習モデル チャットボット エージェント Large Language Model (LLM) トレーニング グラウンディング 包括的な品質フレームワーク 意思 決定 継続的・プロアクティブな運用 AI 活用のための信頼できるデータ 20
- 21. データ品質の 可視化 データの鮮度 , 有効性 , 完全性 , 検索性 , 使用状 況を測定して可視化 組織全体のデータ品質へ の理解を促進 客観的評価基準の 提供 感覚的判断ではなく、定 量的な指標に基づく データの信頼性を評価し、 信頼できるデータソース を特定可能 データ活用の 効率化と価値 向上 データの品質を数値化 品質のスコアリングと可視化 データセットはどの程度信頼できるか 組織全体のデータ資産の信頼性を即座に可視化 Now 高品質なデータの迅速 な識別により、分析 プロジェクトを効率化 データドリブンな意思 決定プロセスを加速 Qlik Trust Score™ 21
- 23. セマンティック タイプの自動検出 各フィールドのデータを 分析し、最も適切なセマ ンティックタイプを自動 的に割り当てます。 品質の自動評価 セマンティック タイプの カスタマイズ 特定の値のリストや 正規表現を使って、 新たなセマンティック タイプを作成すること ができます。 セマンティックタイプ データ品質の自動化 項目のセマンティックタイプは、データの検証や品質評価に 活用されます。 データの有効性を確認し、分析の精度を 向上させるために重要な役割を果たします。 Now セマンティックタイプに 基づいて、各項目の値の 有効、無効が品質バーに 表示され一目で把握 できます。 23
- 24. Qlik Data Product その他、データプレップや API 統合など、 データアクセス層に関するコンポーネント データ 移動 データ 変換 データ 品質 デ ー タ 統 合 ・ 変 換 ・ 品 質 Qlik Talend Data Integration Qlik Data Product Talend Studio Talend Data Quality Talend Data Stewardship Data Preparation Data Flow Trust Score Data Lineage CDC バッチ
- 25. 25 再利用可能なドメインデータを提供するデータカタログ Data Product • ドメイン特化 ビジネスコンテキストを強化し、ドメインモデルを通じてビ ジネスに優しいデータと洞察を提供 • モジュラーかつ再利用可能 : 一度構築されたデータプロダクトは複数回再利用可能 • プロダクトマネジメントの原則 データチームが所有・管理し、ユーザーのフィードバックに 基づいてバージョンアップや機能強化を実施
- 26. 26 • 発見 o 検索とレコメンデーションのための AI 自然言語アシスタント • 理解 o データセットのプレビュー、プロファイリング、依存関係 • 信頼 o 品質、リネージ、サービス・レベル、信頼スコアを表示 • 学び o ドキュメント、使用方法、アクセス統計、品所有者の詳細を表示する • 利用 o アクセス権の要求 / 付与、サンプル コードの読み取り、分析アプリ ケーションの生成 • コラボレーション o コメント、評価、質問、フィードバック データ生産者と消費者の容易な連携 Marketplace
- 27. 27 Qlik Trust ScoreTM Qlik Trust Score™ によって、「自分のデータセットの信頼度は ? 」といった質問に回答しやすくなります。グローバルな このクオリティ インジケーターは、複数のメトリックを単独かつ理解しやすいスコアに集計します。 有効性 セマンティックタイプと検証ルールの使用を 含むデータセットの品質を評価し、データ セットサンプル全体の有効な値の割合 完全性 データセットサンプル内にある空でないレ コードの割合 正確性（正確度） 「正確度」のカテゴリーを持つデータ品質検 証ルールの結果とその重大度レベルを考慮 多様性 コンテンツの均等性やボリューム分布に関す る期待も含むデータセットの多様性を考慮 適時性 設定したしきい値に対して現在のデータの鮮 度をチェック 検索性 ユーザーがメタデータを通じてデータセットをど れだけ簡単に見つけて理解できるかを測定 使用状況 アプリ、データ準備などの依存関係全体で データセットがどの程度使用されているか
- 28. Qlik Talend Cloud のデモ
- 29. 29 Marketplace でのデータプロダクトの参照・検索 ① Data marketplace を メニューから選択 ② ドメイン毎に管理され ているデータプロダクトが 表示され、参照・検索が可 能
- 33. 33 データリネージの確認 Qlik Talend Data Integration と Talend Studio の両方のパイプラインリネージに対応 データ活用ライフサイクル全体像の 容易に把握でき、データの出所や処 理の流れを明確にしてデータの信頼 性を確保することができます。
- 40. 40 セマンティックタイプ • 項目のセマンティックタイプは、名前、郵便番号、 電話番号など、その項目に含まれるデータタイプに 対応 • 割り当てセマンティックタイプに対して有効 データが多いほど、データ品質が向上 • カスタムセマンティックタイプを作成可能 o ディクショナリー（辞書） o パターン（正規表現） o 複合（複数のセマンティックタイプのグループ 化） データセットの各列には、その内容をより適切に説明するためのセマンティックタイプを自動割当 カスタムセマンティックタイプを作成し、各セマンティックタイプ内の値を管理することも可能 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataProducts/Managing-semantic-types.htm
- 41. 検証ルール：データセット内にある異常の検出 • 単一列または複数列にまたがる条件付きルー ルの作成 • データ品質セクションからのルール作成 • 既存のルールをフィールドに割り当て • フィールドおよびレコードレベルでの品質問 題検出 • データセット概要からのルールの概要確認 検証ルールとは、データセット内にある異常の検出に役立つビジネス要件のセットのことです。データが準拠する必要の ある値を定義します。一部のデータにのみ検証ルールを適用するように条件を追加できます。 41
- 42. 42 データセットからの Qlik Sense アプリ作成 ① データプロダクトか ら「 Create analytics app 」を選択 ② アプリに含むデータ セットを選択 ③ 選択したデータセット を含むアプリが作成され る
- 43. 43 新規データプロダクトの作成 ② 「新規作成」をクリック ① データ製品のメニューを選 択 ③ 情報を入力してデータプロ ダクトを作成
- 44. 44 データプロダクトへのデータセット追加 ① データプロダクトを編集 ② 「データセットを追 加」をクリック ③ データプロダクトに追 加するデータセットを選択 ④ 保存をクリック
- 47. その他の情報 47
- 49. 直近の Web 無料セミナー
- 51. Web セミナーやイベントにご参加ください！ 技術セミナー LT 形式 Tips 共有 医療・ヘルスケア関連 トレーニング 技術イベント
- 53. 53 Web セミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK Slideshare QlikPresalesJapan
- 54. 54 Qlik Tips プレイリスト Qlik 使用のちょっとした技術やコツを短い動画でご紹介しています。 https://www.youtube.com/playlist?list=PLTGfcjhh8Hh5a6vjjOlBa7mAtL2H0hw7K
- 55. Qlik Sense Business 入門ハンズオン Web セミナー ハンズオン Web セミナー Qlik Sense Business のセットアップから分析・コラボレーション まで一通りの分析ワークロードを 1 時間ほどで体験いただき、基 本的な機能や操作について理解いただける内容となっています。 ※Qlik Sense Business と Qlik Sense Enterprise Client-Managed では基本的な 操作はほぼ同じですが、一部画面や手順が異なる場合もあります。 https://pages.qlik.com/JPN_QSBeginner_Webinar.html?utm_medium=inter nal&utm_source=QlikWeb&utm_team=Web Qlik Sense アプリ開発アドバンスト Qlik Sense 売上管理ダッシュボードの作成 架空の会社の CEO とセールスマネージャーの要件をもとに、 Qlik Sense で売上管理のアプリを作成します。ビジネスア ナリスト向けの実践的なアプリ開発の実習として、データは 既にデータアーキテクトにより整理されているものとし、 ロードスクリプトによる加工は行いません。 ・要件の理解 ・ KPI 、軸、メジャーの決定 ・データマネージャーによるデータ準備 ・ダッシュボード画面の作成（画面設計、チャートの選択、 マスターアイテムの登録、数式の記述など） Qlik Sense のアプリ開発における基本的な操作を学習した 方に向けて、より実践的なアプリ開発のスキルを学習でき るハンズオンセミナーを実施します。 ・ロードスクリプトによるデータ取込 ・データモデリング ・基本的な集計関数 ・自由な集計を実現する SET 分析 ・頻出のチャート関数 ・ QVD ファイル https://pages.qlik.com/QlikHandsonWebinarSeries_Registration .html リニューアル
- 56. セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品・技術 Q&A 、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公開 その他の情報もご利用ください。
- 57. 「 Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイブル ・判型： B5 変 ・総ページ数：～ 480 ページ程度 ・予価本体： 4,200 円 (+ 税 ) • QlikSpace の記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊で Qlik Sense の基本をマスターし（＝基 本編）、ニーズの高い分析例（＝応用編）を できるだけ丁寧に紹介
- 58. ご清聴ありがとうございました