使用 Dataflow 作业监控界面

使用 Dataflow 运行流水线时，您可以通过 Dataflow 监控界面查看该作业和其他任何作业。通过此监控界面，您可以查看相关 Dataflow 作业并与之交互。

您可以在Google Cloud console中访问 Dataflow 监控界面。

您可以使用监控界面执行的任务包括：

  • 查看正在运行、已完成和失败的作业列表。
  • 查看作业各个阶段的图形表示以及每个阶段的进度
  • 查看作业指标的图表，例如数据新鲜度、资源利用率和 I/O 请求。
  • 监控作业的估算费用。
  • 查看流水线日志。
  • 确定哪些步骤可能会导致流水线延迟。
  • 找出来源和接收器中延迟的原因。
  • 了解流水线错误。

监控界面组件

监控界面包含以下可视化工具和图表：

项目监控信息中心
一个信息中心，用于在项目级监控您的 Dataflow 作业。
作业列表
所有正在运行的 Dataflow 作业和过去 30 天内运行的所有作业的列表，以及它们的状态、区域、已用时间和其他信息。
作业图
流水线的图形表示。作业图表还提供了作业摘要、作业日志以及流水线中每个步骤的相关信息。
执行详细信息
显示作业的执行阶段、流式作业的数据新鲜度以及批量作业的工作器进度。
作业指标
显示作业时长内的各种指标的图表。
估算的费用
根据资源用量指标估算的 Dataflow 作业费用。
建议
建议，用于提高作业性能、降低费用以及排查错误。
自动扩缩
一组图表，可帮助您了解流式作业的自动扩缩行为。
流水线日志
由您的流水线和 Dataflow 服务发出的日志。
数据抽样
可让您在流水线的每个步骤中观察抽样数据的工具。

后续步骤