More Related Content
Similar to OpenTelemetryMeetup_2024-11_DENSO_FIoT.pdf (20)
Recently uploaded (8)
OpenTelemetryMeetup_2024-11_DENSO_FIoT.pdf
- 1. © DENSO CORPORATION All Rights Reserved. 澤田、吉井、中尾 株式会社デンソー 2024/11/20 デンソー工場IoT*における 世界中からのテレメトリー収集の取り組み *発表資料中ではF-IoT＝Factory-IoTと記載
- 2. © DENSO CORPORATION All Rights Reserved. 2 1. 自己紹介 2. 会社紹介 3. Factory-IoT プラットフォーム 概要 4. OpenTelemetry Collector 導入経緯 5. OpenTelemetry Collector 活用事例 6. 将来の展望 7. 最後に Agenda デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 3. © DENSO CORPORATION All Rights Reserved. 3 自己紹介 1 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 4. © DENSO CORPORATION All Rights Reserved. 4 発表者① デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 澤田 寛央 さわだ ひろお 株式会社デンソー モノづくりDX推進部 デジタルツイン推進室 2004-2017 TDK株式会社 生産技術、品質保証、生産システム 2017-2022 F-IoT システム 基盤チーム 2023- F-IoT システム 基盤チーム 工場デジタルツイン開発
- 5. © DENSO CORPORATION All Rights Reserved. 5 発表者② デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 よしい ひろあき 株式会社デンソー モノづくりDX推進部 デジタルツイン推進室 -2020 SIer にて広告系システム開発に従事 2020-2023 F-IoT システム開発 2023- F-IoT システム SRE 工場デジタルツイン開発 吉井 弘明
- 6. © DENSO CORPORATION All Rights Reserved. 6 発表者③ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 中尾 哲也 なかお てつや 株式会社デンソー モノづくりDX推進部 デジタルツイン推進室 -2021 製品の外観検査・非破壊検査技術の開発 2021-2023 F-IoT システム開発 2023- F-IoT システム エッジシステム開発
- 7. © DENSO CORPORATION All Rights Reserved. 7 会社紹介 2 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 8. 8 © DENSO CORPORATION All Rights Reserved. 事業の概要 デンソーは、モビリティを中心とした幅広い領域において7つの事業を展開しています。 貢献分野 環 境 環 境 環 境 安 心 環 境 安 心 環 境 安 心 環 境 安 心 売上収益（比率） 1兆2千億円 （17.4%） 1兆5千億円 （21.3%） 1兆7千億円 （24.2%） 1兆9千億円 （27.2%） 4千億円 （5.9%） 1千億円 （2.0%） セグメント エレクトリフィケーション システム パワートレイン システム サーマルシステム モビリティエレクトロニクス 先進デバイス FA・社会ソリューション フードバリューチェーン 車載事業 非車載事業 2024年3月31日現在 安 心 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 9. © DENSO CORPORATION All Rights Reserved. 9 2024年3月31日現在 全従業員数 16万人 連結売上収益 7.1兆円 世界初製品 180以上 特許保有件数 3.9万件 技能五輪国際大会 総獲得メダル数 77個 グロ―バル拠点 35の国と地域 海外売上比率 60% デンソー早わかり 数字で見るデンソー デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 10. © DENSO CORPORATION All Rights Reserved. 10 © DENSO CORPORATION All Rights Reserved. 高品質・高効率なモノづくり 世界中の仲間を 情報でつなぐ 世界初・世界一製品の量産を 実現させる デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 世界中のモノづくりを支える仕組みが必要 1個の不良、 1秒のロスにこだわる
- 11. © DENSO CORPORATION All Rights Reserved. 11 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 IoT を活用した工場のPDCAサイクル PDCAサイクルを世界中の工場で実現する手段 (F-IoT プラットフォーム) を開発/提供 製作実績、設備状態、位置情報、消費エネルギーなど 製作効率向上、作業員の疲労軽減、省エネ改善など
- 12. © DENSO CORPORATION All Rights Reserved. 12 F-IoT プラットフォーム概要 3 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 13. © DENSO CORPORATION All Rights Reserved. 13 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 F-IoT プラットフォームの概要 あたかも一つ屋根の下にあるが如く、世界中の工場データを集約/解析する内製の仕組み F-IoTシステム （蓄積・活用） エッジシステム （データ収集・送信） 弊社ウェブサイトでの F-IoT 紹介リンク：
- 14. © DENSO CORPORATION All Rights Reserved. 14 F-IoT プラットフォームへの要求と監視の要件 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 〔要求〕 • 集めたデータを誰でもいつでも活用 • 生産遅延させない ⇒ データ遅延が数秒内 〔監視要件②〕 F-IoTシステムが適切に稼働しているか把握 〔要求〕 • 不良の確実な原因究明 ⇒ データロスト０ 〔監視要件①〕 世界中の工場で適切にデータが処理出来ているか把握
- 15. © DENSO CORPORATION All Rights Reserved. 15 F-IoT プラットフォーム監視の要件深堀 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 監視要件① 世界中の工場で適切にデータを処理出来ているか把握 • 各工場でアプリは適切に動いているか • 各工場から F-IoT システムがデータを受信できて いるのか 監視要件② F-IoT システムが適切に稼働しているか把握 • 受信したデータは遅延なく保存されているのか • データはエラー無く参照されているのか • 長期間 (1か月以上) システムは正常に稼働して いるのか 非機能要件 • 各工場への監視ツール展開が負担なくできるか • 監視対象が増えても監視サービスを維持できるか
- 16. © DENSO CORPORATION All Rights Reserved. 16 OpenTelemetry Collector 導入経緯 4 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 17. © DENSO CORPORATION All Rights Reserved. 17 2021年 要件を実現するアーキテクチャ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Scrape Metrics 仮想環境 Visualize Log & Metrics The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. 時系列DB Pushgateway logs Grafana Grafana
- 18. © DENSO CORPORATION All Rights Reserved. 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Scrape Metrics 仮想環境 Visualize Log & Metrics 時系列DB Pushgateway logs Grafana Grafana 18 2021年 要件を実現するアーキテクチャ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. 【設計のポイント】 ①展開を簡単にするため、各工場にはfluentd™を配置して一本化 ②Prometheus™から各環境へのscrapeではなく、各工場からPushgatewayにpush ③工場側の fluentd™は送信するデータをフィルタリングして送信 1 3 2
- 19. © DENSO CORPORATION All Rights Reserved. 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Scrape Metrics 仮想環境 Visualize Log & Metrics 時系列DB Pushgateway logs Grafana Grafana 19 2022年 ところが… デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. • Pushgatewayのメモリーが6GB超えOOM!! • Pushgatewayではスケールアップしかできない • 工場間NWの瞬断・断線に対し、fluentdのメモ リーが増大、プロセスが不安定だった
- 20. © DENSO CORPORATION All Rights Reserved. 20 2022年 要件を実現する新アーキテクチャ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Metrics Remote Write Log Write 仮想環境 Visualize Log & Metrics The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. 時系列DB Grafana Grafana
- 21. © DENSO CORPORATION All Rights Reserved. 21 2022年 要件を実現する新アーキテクチャ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Metrics Remote Write Log Write 仮想環境 Visualize Log & Metrics The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. 時系列DB 【設計の変化点】 ・各工場でのメトリックスやログ収集をfluentd™からOpenTelemetry Collectorに置き換え ・各工場からクラウドへの受け口を Pushgateway から OpenTelemetry Collector に置き換え・統合 ・各工場とクラウドの通信を OTLP(gRPC) に変更 Grafana Grafana
- 22. © DENSO CORPORATION All Rights Reserved. 22 OpenTelemetry Collector導入検討: 既存技術との比較 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 比較観点 OpenTelemetry Collector fluentd＋Pushgateway クラウド側 統合性 ○（トレース・メトリクス・ログ、I/Fは OTLPで統一） △（メトリクス・ログのみ、HTTP公開用コン ポーネントが追加で必要） 冗長性 ○ × スケーラビリティ ○ × 各工場側 通信量 〇 △ 環境ごとの運用容易さ 〇 △ パフォーマンス(メモリ) ○ × 共通 メッセージフォーマット 標準 (OpenMetrics にも対応) デファクト (OpenMetrics) 成熟度 △ ○ 設定の容易さ ？（receiver, processor, exporter） ○（input, parser, filter, output） ⇒ OpenTelemetry Collector により、既存の問題を解消&テレメトリー送受信の OTLP への統一を実現！
- 23. © DENSO CORPORATION All Rights Reserved. デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 23 OpenTelemetry Collectorは receiver, processer, exporter の三層構造 主要な連携先は対応済みだったため、思っていたより簡単に設定・導入できた OpenTelemetry Collectorの設定は容易なのか・・・？ 意外と簡単だった！⇒全面活用だ
- 24. © DENSO CORPORATION All Rights Reserved. Cloud デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 24 Pushgatewayとfluentdと別々でやっていたメトリクスとログの収集をOpenTelemetry Collectorで一本化 統合することでエンドポイント設定の簡素化やトラブルシューティングが容易に メトリクスとログ収集の統合は嬉しいのか・・・？ 各工場 アプリ アプリ アプリ Prometheus
- 25. © DENSO CORPORATION All Rights Reserved. デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 25 1. 各工場/クラウドの OpenTelemetry Collector への置き換え 2. 各アプリからの metrics push の置き換え 3. 各アプリからの log push の置き換え OpenTelemetry Collector への移行は大変なのか・・・？ ⇒ 簡単に実現。contrib repository の receiver/exporter を活用でき対応完。 dashboard や log/metrics アラート設定は変更不要 ⇒ OpenMetrics -> OTLP へ移行。標準との互換性を持つおかげで簡単に移行実現 ⇒ log format の json 構造が変化したことによる影響による改修が必要。 軽微な改修で移行実現。 format 変換の対応は必要だが、想定よりスムーズに移行を実現！
- 26. © DENSO CORPORATION All Rights Reserved. 26 OpenTelemetry Collector 活用事例 5 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 27. © DENSO CORPORATION All Rights Reserved. 27 2022年 要件を実現する新アーキテクチャ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Metrics Remote Write Log Write 仮想環境 Visualize Log & Metrics The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. 時系列DB Grafana Grafana • Pushgatewayのメモリーが6GB超えOOM!! • Pushgatewayではスケールアップしかできない • スケールアウト可能になり、負荷の変動にも柔軟 に対応できるように • 工場間NWの瞬断・断線に対し、fluentdのメモ リーが増大、プロセスが不安定だった 【設計の変化点】 ・各工場でのメトリックスやログ収集をfluentd™からOpenTelemetry Collectorに置き換え ・各工場からクラウドへの受け口を Pushgateway から OpenTelemetry Collector に置き換え・統合 ・各工場とクラウドの通信を OTLP(gRPC) に変更
- 28. © DENSO CORPORATION All Rights Reserved. 28 各工場から安定したメトリクス・ログ収集を実現 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 工場のIoTデータ流量モニタリング 工場側アプリのログ検索
- 29. © DENSO CORPORATION All Rights Reserved. 29 世界中の工場へスケールアウトを実現 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 Geomap を活用し 世界中の工場からリアルタイムにデータ送信量を見える化 各工場からも安定してデータ収集ができてる © CARTO
- 30. © DENSO CORPORATION All Rights Reserved. 30 さらに各工場の設備単位までスケールできた デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 メトリクスに対してエッジPC別にラベルを付与できるので収集後の識別が容易 設備ごとのエッジPCの死活監視のダッシュボード
- 31. © DENSO CORPORATION All Rights Reserved. 31 2022年 要件を実現する新アーキテクチャ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 各工場 仮想環境 アプリ アプリ アプリ 仮想環境 アプリ アプリ アプリ 各工場 仮想環境 アプリ アプリ アプリ クラウド (Google Cloud Platform™) Google Kubernetes Engine™ Log & Metrics Log & Metrics Log & Metrics Visualize Prometheus Metrics Remote Write Log Write 仮想環境 Visualize Log & Metrics The Grafana Labs Marks are trademarks of Grafana Labs, and are used with Grafana Labs’ permission. We are not affiliated with, endorsed or sponsored by Grafana Labs or its affiliates. 時系列DB Grafana Grafana • 工場間NWの瞬断・断線に対し、工場側の OpenTelemetry Collectorをパラメータ調整す ることなくプロセスが安定した • Pushgatewayのメモリーが6GB超えOOM!! • Pushgatewayではスケールアップしかできない • 工場間NWの瞬断・断線に対し、fluentdのメモ リーが増大、プロセスが不安定だった 【設計の変化点】 ・各工場でのメトリックスやログ収集をfluentd™からOpenTelemetry Collectorに置き換え ・各工場からクラウドへの受け口を Pushgateway から OpenTelemetry Collector に置き換え・統合 ・各工場とクラウドの通信を OTLP(gRPC) に変更
- 32. © DENSO CORPORATION All Rights Reserved. 32 OpenTelemetry Collector 利用状況 dashboard デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 33. © DENSO CORPORATION All Rights Reserved. 33 将来の展望 6 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 34. © DENSO CORPORATION All Rights Reserved. 34 今後使っていきたいツール・テレメトリ デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 Profile 継続的なプロファイリングにより、ソフト内部の遅れを見える化したい。 どの処理がボトルネックになっているのかを迅速に把握し、早期の不具合・問題解消を実現する。 以下、OpenTelemetry 公式サイトより抜粋 (OpenTelemetry announces support for profiling | OpenTelemetry) 今後の実装に期待している。 引用：https://github.com/grafana/pyroscope This year, we’re proud to announce that exactly two years after the Profiling SIG was created at KubeCon + CloudNativeCon Europe 2022 in Valencia, we’re taking a big step towards this goal by merging a profiling data model OTEP and working towards a stable spec and implementation this year! Traces 設備からクラウドへのデータ送信をトレースできるようにしたい。 データがどこで遅延・止まったかをすぐ分かるようにし、迅速 な不具合解消を実現する。
- 35. © DENSO CORPORATION All Rights Reserved. 35 最後に 7 デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024
- 36. © DENSO CORPORATION All Rights Reserved. 36 We are hiring!! デンソー工場IoT*における世界中からのテレメトリー収集の取り組み / 11 20, 2024 デンソー では、共に開発する仲間を募集しています！ • 新しいモノづくりの世界を作りたい！ • グローバルな環境で活躍したい！ • 新しい技術に興味がある！