Présentation des métriques

Cette page décrit les métriques qui vous aident à surveiller l'état et les performances de vos instances et pipelines Cloud Data Fusion. Utilisez Cloud Monitoring pour surveiller ces métriques. Les métriques fournissent des insights sur les exécutions de pipeline, les détails des instances, les requêtes d'API et les vérifications d'autorisation.

Les métriques sont classées en tant que métriques de pipeline ou métriques d'instance:

  • Les métriques de pipeline fournissent des données sur les exécutions individuelles du pipeline, telles que l'état, la durée, la latence et le débit de données.
  • Les métriques d'instance fournissent des informations agrégées sur les pipelines d'une instance, y compris la disponibilité du service, le nombre de pipelines déployés et le nombre de requêtes d'API.

Filtrez et agrégez les métriques d'instance et de pipeline Cloud Data Fusion dans Monitoring à l'aide des libellés metric (métrique) et monitored-resource (ressource surveillée). Lorsque vous personnalisez vos vues de métriques, vous pouvez utiliser l'un ou les deux types de libellés.

Étiquettes de ressources surveillées du pipeline Cloud Data Fusion

Filtrez et agrégez les métriques à l'aide des libellés de ressources surveillées Pipeline Cloud Data Fusion suivants:

Nom du libellé Description
resource_container ID du projet client.
org_id ID de l'organisation à laquelle appartient le projet client.
location Zone ou région où l'instance est hébergée.
edition Édition de l'instance Cloud Data Fusion.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.
namespace Espace de noms du pipeline.
pipeline_id ID du pipeline.
run_id ID d'exécution du pipeline.

Libellés des métriques du pipeline

Filtrez et agrégez les métriques avec les libellés de métrique Cloud Data Fusion suivants dans Monitoring:

Nom Métrique Description Étiquettes de métriques
État d'exécution du pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count Nombre cumulé de pipelines ayant terminé une exécution.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Durée d'exécution du pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Durée d'exécution du pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latence de démarrage du pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Temps nécessaire au pipeline pour atteindre l'état En cours d'exécution.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latence de provisionnement datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Latence de provisionnement du cluster Dataproc.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Requêtes API Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Nombre cumulé de requêtes API Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Durée d'exécution de l'aperçu du pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Temps nécessaire pour terminer l'aperçu.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Octets écrits par le pipeline datafusion.googleapis.com/pipeline/v2/write_bytes_count Nombre cumulé d'octets écrits par un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Octets lus par le pipeline datafusion.googleapis.com/pipeline/v2/read_bytes_count Nombre cumulé d'octets lus par un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Octets du pipeline brassés datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Nombre cumulé d'octets mélangés dans un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Enregistrements de plug-in traités en entrée datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Nombre cumulé d'enregistrements entrant dans un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Enregistrements de plug-in traités en sortie datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Nombre cumulé d'enregistrements quittant un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Libellés de ressources surveillées de l'instance Cloud Data Fusion

Filtrez et agrégez les métriques avec les libellés de ressources surveillées Instance Cloud Data Fusion suivants:

Nom du libellé Description
resource_container ID du projet client.
org_id ID de l'organisation à laquelle appartient le projet client.
location Zone ou région dans laquelle l'instance est hébergée.
edition Édition de l'instance.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.
namespace Nom de l'espace de noms.

Étiquettes des métriques des instances

Filtrez et agrégez les métriques avec les libellés de métrique Cloud Data Fusion suivants dans Monitoring:

Nom Métrique Description Étiquettes de métriques
État du service datafusion.googleapis.com/instance/v2/service_available Disponibilité des services Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Nombre de pipelines déployés datafusion.googleapis.com/instance/v2/pipelines Nombre de pipelines déployés.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Nombre d'exécutions de pipelines simultanées datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Nombre de pipelines exécutés simultanément.
  • enable_rbac
  • private_service_connect_enabled
Nombre de lancements de pipeline simultanés datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Nombre de pipelines à l'état Provisioning (Provisionnement) ou Starting (Démarrage).
  • enable_rbac
  • private_service_connect_enabled
Requêtes API REST CDAP reçues datafusion.googleapis.com/instance/v2/api_request_count Nombre cumulé de requêtes d'API REST reçues par un service dans le backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Réponses de l'API REST CDAP envoyées datafusion.googleapis.com/instance/v2/api_response_count Nombre cumulé de réponses d'API REST envoyées par un service dans le backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Nombre de vérifications d'autorisation datafusion.googleapis.com/instance/v2/authorization_check_count Nombre cumulé de vérifications d'autorisation effectuées par le mécanisme d'application des autorisations.
  • enable_rbac
  • type
  • private_service_connect_enabled
Heure de vérification de l'autorisation datafusion.googleapis.com/instance/v2/authorization_check_time La latence des vérifications d'autorisation effectuées par le mécanisme d'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Nombre de pipelines à l'état de brouillon datafusion.googleapis.com/instance/v2/draft_pipelines Nombre de pipelines d'ébauche.
  • enable_rbac
  • private_service_connect_enabled
Nombre d'espaces de noms datafusion.googleapis.com/instance/v2/namespaces Nombre d'espaces de noms.
  • enable_rbac
  • private_service_connect_enabled

Étape suivante