Grafana MCP serverでなんかし隊 / Try Grafana MCP server

Transcript

1. Grafana MCP serverで なんかし隊 @kohbis ゆるSRE勉強会 #11 2025/06/13

2. お話しすること • オブザーバビリティ with AI • オブザーバビリティ with MCP server

   • Grafana MCP server

3. オブザーバビリティ with AI（1/2） 異常検出（ Anomaly Detection） • 機械学習と統計により「通常と異なる推移」のメトリクスを検出 • 機械学習とパターン分析により「通常と異なる形式や値」のログを検出

   自然言語クエリ生成（ Natural Language Query Generation） • サービスごとに（やたらクセがある）クエリを自動生成 自然言語要約（ Natural Language Summarization） • ログやメトリクスまたはそれらのダッシュボードを自動要約 etc.

4. オブザーバビリティ with AI（2/2） AI 周り「そのもの」のオブザーバビリティ • リソース使用率 / モデルの出力評価 リクエスト数

   / レイテンシー / セキュリティ etc. • 各サービスやツールの対応 ◦ Monitoring the performance of Amazon Bedrock ◦ Cloud Monitoring metrics for Vertex AI ◦ Datadog LLM Observability ◦ OpenTelemetry for Generative AI

5. オブザーバビリティ with MCP Server うれしいこと • サービスや担当者の習熟度に依存せず、誰でも再現性のある調査が可能に • エージェントとの連携により、収集したデータを開発のワークフローに統合 •

   （サービス、ツール連携、認証認可、出力整形をMCP Serverが一括して担える） 各サービスの対応 • AWS MCP Servers • Datadog MCP Server • Sentry MCP Server

6. Grafana MCP Server Grafana • “The open-source platform for monitoring

   and observability” • 複数のデータソースをクエリ、可視化、アラート設定、検索できる MCP Serverでできること（一部） • Dashboardの取得、作成、更新、パネルデータの取得 • Datasourceへのクエリ ◦ Prometheus（Metrics）、Loki（Log）をサポート ◦ Tempo（Trace）やPyroscope（Profile）は未対応 • Alertingの取得（更新は未対応） ※ ほかできることはREADME参照。PR#156 まで記載されていたものはIssueが起票されているのでそのうち対応されそう

7. なんかしたい 🤔 ゆるSREのLTに応募したものの • ただGrafanaダッシュボードを一覧するだけは楽しくない • PromQL（Prometheus）やLogQL（Loki）を書いてくれるのはうれしいがなんかパッ としない • なんかトラシューっぽいことができたらよさそう？

   「おうちK8sクラスタがあるけど、そんないい感じの変化はないよな〜」

8. いい感じだった

9. 調査開始 Copilot Chat (Claud Sonnet 4) on VSCode + Grafana

   MCP server

10. ダッシュボード一覧 最初に利用するダッシュボードを選 択する 今回は準備しておいたHome Clusterというダッシュボードを使う

11. ダッシュボード詳細

12. なげぇ😇

13. ダッシュボード詳細

14. 直近７日間の傾向

15. メモリ/CPU増加の原因を調査させる 👈 めっちゃ頑張ったCopilotくん • ノードごとのPod数変化に着目し、特 定の時間から該当ノードで Pod数 が増えている ことに気づく •

    この挙動から「システム全体のロー リングアップデート」 が行われた可 能性を提示

16. 正解👏

17. リソース使用率が増えた時間帯にやっていたこと K8sクラスタのアップグレード • リソース使用率が減少したノード ◦ アップグレードするため 稼働しているPodを退避した • リソース使用率が増加したノード ◦

    👆の退避された Podが 稼働するように なった Grafana MCP serverを活用した 自然言語のみでトラブルシューティング に成功 🎉

18. ところで

19. ずっと異なる発生時刻を表示し続けていた • 発生時刻は2025年6月6日1時頃 ◦ Grafana MCP serverで取得した メトリクスも該当時間のUNIX time ◦

    調査でクエリするときも 👆のUNIX timeを使用している • Copilot Chatの回答だけ 2025年6月7日15時頃と表示される 何らかの理由で誤ったコンテキストを 保持し続けてしまった？ なにもわからないので詳しい方教えてください🙇

20. さいごに

21. いろいろできそう • エディタ（VSCode）でMCP serverを利用して コード修正まで Agentにお任せ ◦ 例）今回特定した問題の修正 ▪ リスケジューリング設定

    ▪ リソース調整 • ダッシュボード要約によるモニタリング業務の効率化 • アラート閾値に達しない範囲、中長期での傾向変化

22. ありがとうございました