数据存储处理故障排除与资源扩展指南
1. 升级安装策略
在不同区域中,承载相同作业的节点不应同时进行升级安装。这样做的好处是,即使在进行更新时,端点仍可用于数据的摄取、转换和输出。
2. 资源扩展相关概念
资源扩展主要涉及三个重要概念:
- 了解扩展 Azure Stream Analytics 作业的可用选项。
- 发现和分析使用情况与性能指标,以确定何时需要扩展。
- 具体的扩展操作方法。
3. 扩展 Azure Stream Analytics 作业的选项
主要有两种扩展 Azure Stream Analytics 作业的方法:
- 添加额外的流式处理单元(SU) :SU 代表分配给作业的计算资源量。分配给作业的 SU 越多,作业可使用的 CPU 和内存就越多。
- 实现和优化分区并行化 :在兼容性级别为 1.2 或更高时,分区由平台管理;也可以通过在查询中添加 PARTITION BY
子句来管理。 PARTITION BY
子句后的模式匹配会将数据划分为子集,每个子集可并行处理,从而提高吞吐量。
4. 确定是否需要扩展的指标
可以使用以下三个指标来确定作业是否需要扩展:
| 指标 | 说明 |
| ---- | ---- |
| SU % Utilization | 流式处理单元利用率 |
| Watermark Delay | 水印延迟 |
|