Azure数据监控与处理优化全解析

### Azure 数据监控与处理优化全解析 #### 1. Azure 监控概述 Azure 平台为旗下各类产品配备了内置监控功能，这些功能主要由 Azure Monitor 组件构成，涵盖了警报、指标、诊断设置和日志等方面。下面将详细介绍部分 Azure 产品的监控能力。 ##### 1.1 Azure Batch Azure Batch 的指标面板展示了一些关键指标，如专用核心计数、作业启动事件、运行节点计数、任务启动事件和任务完成事件等。在诊断设置面板中，可选择的类别包括服务日志、审计日志和所有指标。若要对这些数据进行查询，可按以下步骤操作： 1. 添加诊断设置，将上述类别纳入其中。 2. 指定 Log Analytics 工作区作为存储目标。 3. 使用 Kusto 查询语言（KQL）进行数据查询。 该面板的指标和日志主要聚焦于池、节点和任务。若想深入了解特定作业的执行细节，可参考相关详细信息和日志文件，如 stderr.txt 和 stdout.txt。此外，Batch Explorer 能提供 Azure Batch 账户、池、节点、任务和作业的健康状况概览。 mermaid 代码如下： ```mermaid graph LR A[添加诊断设置] --> B[包含服务日志、审计日志和所有指标] B --> C[指定 Log Analytics 工作区存储] C --> D[使用 KQL 查询数据] ``` ##### 1.2 Azure Key Vault Azure Key Vault 具备与其他 Azure 产品相似的监控能力。其指标面板显示了三个关键指标：总体服务 API 延迟、总服务 API 命中数和总服务 API 结果数。延迟值反映了密钥、机密或证书请求的响应速度，命中数和结果数分别代表请求数量和成功响应数量。这三个指标能很好地展示 Azure Key Vault 在历史时间段内的性能表现。 此外，Azure Key Vault 还有 Insights 面板，可深入探究平台代码，同时也能在此创建工作簿。另外，还提供了警报、日志和诊断设置面板，可用于记录和分析的类别有审计日志、Azure 策略评估详细信息和所有指标。 | 指标 | 含义 | | ---- | ---- | | 总体服务 API 延迟 | 密钥、机密或证书请求的响应速度 | | 总服务 API 命中数 | 请求的数量 | | 总服务 API 结果数 | 成功响应的数量 | ##### 1.3 Azure SQL Azure SQL 数据库的可用指标与专用 SQL 池的指标类似，包括 CPU 百分比、DTU 限制、DTU 百分比、DTU 使用量、会话计数、成功连接数和工作线程百分比等，这些指标有助于了解资源的健康状况。 诊断设置面板包含以下类别： - SQL Insights - 自动调优 - 查询存储运行时统计信息 - 查询存储等待统计信息 - 错误 - 数据库等待统计信息 - 超时 - 阻塞 - 死锁 - 基本信息 - 实例和应用高级信息 - 工作负载管理 每个类别在配置存储到 Log Analytics 工作区后，会以表格形式呈现，表格中的列通常包含性能和状态信息，如操作持续时间或错误消息。建议为所有产品启用诊断设置，并将其存储目标设定为 Azure Monitor Log Analytics 工作区，以便深入了解数据分析解决方案的整体健康状况。 #### 2. Azure Monitor 核心组件 Azure Monitor 就像一个包含众多监控组件的容器，可安装在 Azure VM 上作为扩展，并配置为将性能和可用性指标发送到工作区进行存储。也能在本地数据中心的服务器上安装该扩展。Azure 门户中 Azure 产品的监控部分所包含的功能，如警报、指标、诊断设置和日志，都属于 Azure Monitor 的范畴。 ##### 2.1 警报 任何可追踪的事件，无论是针对产品还是在应用程序内部发生的，都能被捕获并触发警报，发送给指定的人员。可监控的内容包括 Log Analytics 查询、指标阈值或活动日志。创建警报时，需完成以下操作： 1. 设置评估执行的频率。 2. 确定用于判断事件的逻辑。 3. 指定接收警报消息的人员和接收方式。 ##### 2.2 诊断设置 该功能提供了与关联 Azure 产品相关的特定平台信息。数据可以存储在 Log Analytics 工作区、