DAGs, DAG-Ausführungen und Aufgaben ansehen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird erläutert, wie Sie Informationen zu DAGs in Ihrer Umgebung abrufen.

Möglichkeiten zum Aufrufen von Informationen zu DAGs

Cloud Composer bietet mehrere Möglichkeiten, detaillierte Informationen zu DAGs in Ihrer Umgebung abzurufen:

  • Die DAG-UI ist ein Bereich der Google Cloud -Konsolenoberfläche für Cloud Composer, in dem Sie DAGs, DAG-Ausführungen und einzelne Aufgaben ansehen und überwachen können.
  • Die Airflow-UI ist die integrierte Weboberfläche von Airflow.
  • Die Airflow-Befehlszeile ist die Befehlszeilenschnittstelle von Airflow. Sie können Informationen zu DAGs abrufen, indem Sie Airflow-Befehlszeilenbefehle mit gcloud ausführen.

Cloud Composer-DAG-UI

Die DAG-UI ist ein Bereich der Google Cloud -Konsolenoberfläche für Cloud Composer, in dem Sie DAGs, DAG-Ausführungen und einzelne Aufgaben ansehen und überwachen können.

In der DAG-Benutzeroberfläche haben Sie folgende Möglichkeiten:

  • Hier können Sie eine Liste der DAGs in Ihrer Umgebung aufrufen, einschließlich Planungsintervallen, DAG-Status und Beschreibungen.

  • DAGs pausieren, die Pausierung aufheben und DAGs auslösen.

  • Details zu DAG-Ausführungen ansehen, einschließlich erfolgreicher, aktiver und fehlgeschlagener Ausführungen sowie der Zeit seit der letzten abgeschlossenen Ausführung. Für jeden DAG können Sie den Verlauf der DAG-Ausführungen und Aufgabeninstanzen sehen, die mit diesem bestimmten DAG verknüpft sind, einschließlich der Logs für ausgeführte Aufgaben.

  • DAG-Ausführungsdetails filtern Sie können beispielsweise ein Zeitintervall auswählen und Abfragen erstellen, um die benötigten Informationen abzurufen.

  • Detaillierte Informationen zu einzelnen DAGs und Aufgaben ansehen Dazu gehören visualisierte DAG-Diagramme, Informationen zu den Aufgaben in einem DAG, DAG-Quellcode und zusätzliche Informationen zu DAGs.

Hinweise

  • Ihr Konto muss eine Rolle haben, mit der Sie auf die DAG-Benutzeroberfläche zugreifen und DAG-Details ansehen können. Weitere Informationen finden Sie unter Zugriffssteuerung.

  • Für die DAG-Benutzeroberfläche muss die DAG-Serialisierung aktiviert sein.

  • Die DAG-UI wird in Cloud Composer 1.17.8 und höheren Versionen unterstützt.

Liste der DAGs für Ihre Umgebung aufrufen

Console

Auf dem Tab DAGs Ihrer Umgebung sehen Sie die Liste der DAGs sowie Details zu den DAG-Ausführungen für jede DAG.

So rufen Sie die Liste der DAGs auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

Mit Filtern können Sie Details nur für bestimmte DAGs oder für bestimmte Bedingungen aufrufen. Beispiel:

  1. Wählen Sie das Feld Filter aus.
  2. Wählen Sie in der Drop-down-Liste die Property DAG-ID aus.
  3. Geben Sie die Kennung des DAG an. Die Ergebnisse enthalten nur Details für den ausgewählten DAG.
  4. Optional: Wenn Sie weitere DAGs einbeziehen möchten, fügen Sie OR-Operatoren gefolgt von DAG-IDs hinzu.
  5. Optional: Wenn Sie nach anderen Bedingungen filtern möchten, fügen Sie dem Feld Filter weitere Attribute hinzu. Sie können beispielsweise nach DAGs mit fehlgeschlagenen Ausführungen filtern, indem Sie Failed runs:>0 angeben.

Airflow-UI

So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

  3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

  4. In der Airflow-Weboberfläche wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.

gcloud

Führen Sie in Airflow 1.10.* den Befehl list_dags der Airflow-Befehlszeile aus:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

Führen Sie in Airflow 2 den Befehl dags list der Airflow-Befehlszeile aus:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.

Verlauf von DAG-Ausführungen und Aufgaben ansehen

Console

Auf dem Tab Ausführungen auf der Seite DAG-Details wird der Verlauf der DAG-Ausführungen für eine einzelne DAG angezeigt.

So rufen Sie den Verlauf von DAG-Ausführungen auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

  3. Wählen Sie einen DAG aus.

  4. Rufen Sie auf der Seite DAG-Details den Tab Ausführungen auf.

  5. Wählen Sie in der Liste eine DAG-Ausführung aus, um die Details der DAG-Ausführung aufzurufen, z. B. den Status der Aufgabeninstanzen für diese DAG-Ausführung, die Anzahl der Versuche und die Ausführungsdauer. Sie können einzelne Aufgaben auswählen, um die Logs der Aufgabeninstanzen aufzurufen.

Airflow-UI

So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

  3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

  4. Wählen Sie in der Airflow-Weboberfläche im Menü Browse > DAG Runs aus. Auf der Seite DAG-Ausführungen werden DAG-Ausführungen für Ihre Umgebung angezeigt. Über den Link in der Spalte Lauf-ID können Sie zusätzliche Informationen zu Aufgaben aufrufen.

gcloud

Führen Sie in Airflow 1.10.* den Befehl list_dag_runs der Airflow-Befehlszeile aus:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

Führen Sie in Airflow 2 den Befehl dags list-runs der Airflow-Befehlszeile aus:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.
  • DAG_ID durch den Namen des DAG.

Mit den Airflow-Befehlszeilenbefehlen tasks state und tasks states-for-dag-run können Sie zusätzliche Informationen zu Aufgabeninstanzen abrufen.

Weitere Informationen finden Sie unter Auf die Airflow-Befehlszeile zugreifen und in der Airflow-Befehlszeilenreferenz für Airflow 1 und Airflow 2.

DAG-Diagramme ansehen

Console

Auf dem Tab Diagramm auf der Seite DAG-Details wird ein DAG mit Aufgabenabhängigkeiten visualisiert.

So rufen Sie das Diagramm eines DAG auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

  3. Wählen Sie einen DAG aus.

  4. Rufen Sie auf der Seite DAG-Details den Tab Diagramm auf.

  5. Optional: Wenn Sie zusätzliche Informationen zu Aufgaben aufrufen möchten, wählen Sie die entsprechenden Aufgaben im Diagramm aus.

Airflow-UI

So rufen Sie das Diagramm eines DAG in der Airflow-Weboberfläche auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

  3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

  4. In der Airflow-Weboberfläche wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.

  5. Klicken Sie für Ihren DAG in der Spalte Links auf den Link Grafikansicht.

DAG-Quellcode und zusätzliche Informationen zu DAGs ansehen

Console

Sie können den Quellcode Ihrer DAGs und zusätzliche Informationen wie DAG-IDs und Links zu DAG-Definitionsdateien im Bucket der Umgebung aufrufen.

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

  3. Wählen Sie einen DAG aus.

  4. Klicken Sie auf den Tab Diagramm, um den DAG-Quellcode aufzurufen.

  5. Wenn Sie weitere Informationen zum DAG aufrufen möchten, klicken Sie auf den Tab Quelle.

Airflow-UI

So rufen Sie das Diagramm eines DAG in der Airflow-Weboberfläche auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

  3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

  4. Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs auf den Namen Ihres DAG.

  5. Rufen Sie auf der Seite mit den DAG-Details die verfügbaren Tabs auf, um zusätzliche Informationen zum DAG aufzurufen.

Nächste Schritte