Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Questa pagina spiega come ottenere informazioni sui DAG nel tuo ambiente.
Modi per visualizzare le informazioni sui DAG
Cloud Composer offre diversi modi per ottenere informazioni dettagliate sui DAG nel tuo ambiente:
- La UI DAG è una sezione dell'interfaccia della console per Cloud Composer dedicata alla visualizzazione e al monitoraggio di DAG, esecuzioni DAG e singole attività. Google Cloud
- La UI di Airflow è l'interfaccia web integrata di Airflow.
- L'interfaccia a riga di comando di Airflow è l'interfaccia a riga di comando di Airflow. Puoi
ottenere informazioni sui DAG eseguendo i comandi della CLI Airflow con
gcloud.
Informazioni sulla UI DAG di Cloud Composer
La UI DAG è una sezione dell'interfaccia della console per Cloud Composer dedicata alla visualizzazione e al monitoraggio di DAG, esecuzioni DAG e singole attività. Google Cloud
Nell'interfaccia utente DAG puoi:
Visualizza un elenco dei DAG nel tuo ambiente, inclusi gli intervalli di pianificazione, gli stati dei DAG e le descrizioni.
Mettere in pausa, riattivare e attivare i DAG.
Visualizza i dettagli dell'esecuzione del DAG, incluse le esecuzioni riuscite, attive e non riuscite, il tempo trascorso dall'ultima esecuzione completata. Per ogni DAG, puoi visualizzare la cronologia delle esecuzioni di DAG e delle istanze di attività associate a questo DAG specifico, inclusi i log delle attività eseguite.
Filtra i dettagli dell'esecuzione del DAG. Ad esempio, puoi scegliere un intervallo di tempo e creare query per selezionare le informazioni che ti servono.
Visualizza informazioni dettagliate sui singoli DAG e sulle singole attività. Sono inclusi diagrammi DAG visualizzati, informazioni sulle attività all'interno di un DAG, codice sorgente DAG e informazioni aggiuntive sui DAG.
Prima di iniziare
Assicurati che il tuo account disponga di un ruolo che possa accedere alla UI DAG e visualizzare i dettagli del DAG. Per ulteriori informazioni, consulta Controllo dell'accesso.
L'interfaccia utente DAG richiede l'abilitazione della serializzazione DAG.
L'interfaccia utente DAG è supportata in Cloud Composer 1.17.8 e versioni successive.
Visualizzare l'elenco dei DAG per il tuo ambiente
Console
La scheda DAG del tuo ambiente mostra l'elenco dei DAG insieme ai dettagli delle esecuzioni dei DAG per ciascun DAG.
Per visualizzare l'elenco dei DAG:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.
Puoi utilizzare i filtri per visualizzare i dettagli solo per determinati DAG o per determinate condizioni. Ad esempio:
- Seleziona il campo Filtri.
- Dall'elenco a discesa, seleziona la proprietà ID DAG.
- Specifica l'identificatore del DAG. I risultati mostrano i dettagli solo per il DAG selezionato.
- (Facoltativo) Per includere altri DAG, aggiungi operatori
ORseguiti dagli ID DAG. - (Facoltativo) Per filtrare in base ad altre condizioni, aggiungi altre proprietà nel campo
Filtri. Ad esempio, puoi filtrare i DAG con esecuzioni non riuscite
specificando
Failed runs:>0.
UI di Airflow
Per visualizzare l'elenco dei DAG nell'interfaccia web di Airflow:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.
Accedi con l'Account Google che dispone delle autorizzazioni appropriate.
Nell'interfaccia web di Airflow, nella pagina DAG, viene visualizzato un elenco di DAG per il tuo ambiente.
gcloud
In Airflow 1.10.*, esegui il comando dell'interfaccia a riga di comando Airflow list_dags:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
In Airflow 2, esegui il comando dell'interfaccia a riga di comando Airflow dags list:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Sostituisci:
ENVIRONMENT_NAMEcon il nome dell'ambiente.LOCATIONcon la regione in cui si trova l'ambiente.
Visualizzare la cronologia delle esecuzioni di DAG e delle attività
Console
La scheda Esecuzioni nella pagina Dettagli DAG mostra la cronologia delle esecuzioni dei DAG per un singolo DAG.
Per visualizzare la cronologia delle esecuzioni del DAG:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.
Seleziona un DAG.
Nella pagina Dettagli DAG, vai alla scheda Esecuzioni.
Seleziona un'esecuzione DAG dall'elenco per visualizzarne i dettagli, ad esempio lo stato delle istanze di attività per questa esecuzione DAG, il numero di tentativi e la durata dell'esecuzione. Puoi selezionare singole attività per visualizzare i log delle istanze delle attività.
UI di Airflow
Per visualizzare l'elenco dei DAG nell'interfaccia web di Airflow:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.
Accedi con l'Account Google che dispone delle autorizzazioni appropriate.
Nell'interfaccia web di Airflow, seleziona Sfoglia > Esecuzioni DAG nel menu. La pagina Esecuzioni di DAG mostra le esecuzioni di DAG per il tuo ambiente. Puoi seguire il link nella colonna ID esecuzione per ottenere ulteriori informazioni sulle attività.
gcloud
In Airflow 1.10.*, esegui il comando dell'interfaccia a riga di comando Airflow list_dag_runs:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
In Airflow 2, esegui il comando dell'interfaccia a riga di comando Airflow dags list-runs:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Sostituisci:
ENVIRONMENT_NAMEcon il nome dell'ambiente.LOCATIONcon la regione in cui si trova l'ambiente.DAG_IDcon il nome del DAG.
Puoi ottenere ulteriori informazioni sulle istanze di attività eseguendo i comandi CLI di Airflow tasks state e tasks states-for-dag-run.
Per saperne di più, consulta Accedere all'interfaccia a riga di comando di Airflow e il riferimento all'interfaccia a riga di comando di Airflow per Airflow 1 e Airflow 2.
Visualizzare i diagrammi DAG
Console
La scheda Diagramma nella pagina Dettagli DAG mostra la visualizzazione di un DAG con le dipendenze delle attività.
Per visualizzare il diagramma di un DAG:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.
Seleziona un DAG.
Nella pagina Dettagli DAG, vai alla scheda Diagramma.
(Facoltativo) Per visualizzare ulteriori informazioni sulle attività, seleziona le singole attività nel diagramma.
UI di Airflow
Per visualizzare il diagramma di un DAG nell'interfaccia web di Airflow:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.
Accedi con l'Account Google che dispone delle autorizzazioni appropriate.
Nell'interfaccia web di Airflow, nella pagina DAG, viene visualizzato un elenco di DAG per il tuo ambiente.
Per il tuo DAG, nella colonna Link, segui il link Visualizzazione grafica.
Visualizzare il codice sorgente DAG e ulteriori informazioni sui DAG
Console
Puoi visualizzare il codice sorgente dei tuoi DAG e informazioni aggiuntive come identificatori DAG e link ai file di definizione DAG nel bucket dell'ambiente.
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.
Seleziona un DAG.
Per visualizzare il codice sorgente del DAG, vai alla scheda Diagramma.
Per visualizzare ulteriori informazioni sul DAG, vai alla scheda Origine.
UI di Airflow
Per visualizzare il diagramma di un DAG nell'interfaccia web di Airflow:
Nella console Google Cloud , vai alla pagina Ambienti.
Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.
Accedi con l'Account Google che dispone delle autorizzazioni appropriate.
Nell'interfaccia web di Airflow, nella pagina DAG, fai clic sul nome del DAG.
Nella pagina con i dettagli del DAG, vai alle schede disponibili per visualizzare ulteriori informazioni sul DAG.