Visualizar DAGs, execuções de DAGs e tarefas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, explicamos como receber informações sobre DAGs no seu ambiente.

Maneiras de ver informações sobre DAGs

O Cloud Composer oferece várias maneiras de receber informações detalhadas sobre os DAGs no seu ambiente:

  • A interface do usuário do DAG é uma seção da interface do console do Google Cloud para o Cloud Composer dedicada a visualizar e monitorar DAGs, execuções de DAGs e tarefas individuais.
  • A interface do Airflow é a interface da Web integrada do Airflow.
  • A CLI do Airflow é a interface de linha de comando do Airflow. É possível receber informações sobre DAGs executando comandos da CLI do Airflow com gcloud.

Sobre a interface do usuário de DAGs do Cloud Composer

A interface do usuário do DAG é uma seção da interface do console do Google Cloud para o Cloud Composer dedicada a visualizar e monitorar DAGs, execuções de DAGs e tarefas individuais.

Na interface do usuário do DAG, é possível:

  • Confira uma lista de DAGs no seu ambiente, incluindo intervalos de programação, estados e descrições de DAGs.

  • Pausar, retomar e acionar DAGs.

  • Veja os detalhes da execução do DAG, incluindo execuções bem-sucedidas, ativas e com falha, além do tempo desde a última execução concluída. Para cada DAG, é possível conferir o histórico de execuções de DAG e instâncias de tarefas associadas a ele, incluindo registros de tarefas executadas.

  • Filtre os detalhes da execução do DAG. Por exemplo, é possível escolher um intervalo e criar consultas para selecionar as informações necessárias.

  • Confira informações detalhadas sobre DAGs e tarefas individuais. Isso inclui diagramas DAG visualizados, informações sobre as tarefas em um DAG, código-fonte do DAG e informações extras sobre DAGs.

Antes de começar

  • Verifique se sua conta tem uma função que pode acessar a interface do DAG e ver os detalhes dele. Para mais informações, consulte Controle de acesso.

  • A interface do DAG é compatível com o Cloud Composer 2.0.1 e versões mais recentes.

    Ver a lista de DAGs do seu ambiente

    Console

    A guia DAGs do seu ambiente mostra a lista de DAGs e os detalhes de execução de cada um.

    Para ver a lista de DAGs:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

    Você pode usar filtros para ver os detalhes apenas de determinados DAGs ou condições. Exemplo:

    1. Selecione o campo Filtros.
    2. Na lista suspensa, selecione a propriedade ID do DAG.
    3. Especifique o identificador do DAG. Os resultados mostram detalhes apenas para o DAG selecionado.
    4. (Opcional) Para incluir mais DAGs, adicione operadores OR seguidos por IDs de DAGs.
    5. (Opcional) Para filtrar outras condições, adicione outras propriedades no campo Filtros. Por exemplo, é possível filtrar DAGs com execuções com falha especificando Failed runs:>0.

    IU do Airflow

    Para ver a lista de DAGs na interface da Web do Airflow:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

    3. Faça login com a Conta do Google que tem as permissões apropriadas.

    4. Na interface da Web do Airflow, na página DAGs, uma lista de DAGs do seu ambiente é exibida.

    gcloud

    Execute o comando dags list da CLI do Airflow:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Substitua:

    • ENVIRONMENT_NAME pelo nome do ambiente
    • LOCATION pela região em que o ambiente está localizado;

    Conferir o histórico de execuções de DAGs e tarefas

    Console

    A guia Execuções na página Detalhes do DAG mostra o histórico de execuções de um DAG específico.

    Para ver o histórico de execuções de DAGs:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

    3. Selecione um DAG.

    4. Na página Detalhes do DAG, acesse a guia Execuções.

    5. Selecione uma execução de DAG na lista para conferir os detalhes dela, como o estado das instâncias de tarefas para essa execução, o número de tentativas e a duração da execução. É possível selecionar tarefas individuais para ver os registros de instâncias de tarefas.

    IU do Airflow

    Para ver a lista de DAGs na interface da Web do Airflow:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

    3. Faça login com a Conta do Google que tem as permissões apropriadas.

    4. Na interface da Web do Airflow, no menu, selecione Procurar > Execuções de DAG. A página Execuções de DAG mostra as execuções de DAG do seu ambiente. Siga o link na coluna ID da execução para mais informações sobre as tarefas.

    gcloud

    Execute o comando dags list-runs da CLI do Airflow:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Substitua:

    • ENVIRONMENT_NAME pelo nome do ambiente
    • LOCATION pela região em que o ambiente está localizado;
    • DAG_ID pelo nome do DAG.

    Para mais informações sobre instâncias de tarefas, execute os comandos da CLI do Airflow tasks state e tasks states-for-dag-run.

    Para mais informações, consulte Acessar a CLI do Airflow e a referência da CLI do Airflow.

    Ver diagramas de DAG

    Console

    A guia Diagrama na página Detalhes do DAG mostra a visualização de um DAG com dependências de tarefas.

    Para ver o diagrama de um DAG:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

    3. Selecione um DAG.

    4. Na página Detalhes do DAG, acesse a guia Diagrama.

    5. (Opcional) Para ver mais informações sobre as tarefas, selecione as tarefas individuais no diagrama.

    IU do Airflow

    Para ver o diagrama de um DAG na interface da Web do Airflow:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

    3. Faça login com a Conta do Google que tem as permissões apropriadas.

    4. Na interface da Web do Airflow, na página DAGs, uma lista de DAGs do seu ambiente é exibida.

    5. No seu DAG, na coluna Links, clique no link Visualização de gráfico.

    Ver o código-fonte do DAG e outras informações sobre eles

    Console

    É possível conferir o código-fonte dos seus DAGs e outras informações, como identificadores de DAGs e links para arquivos de definição de DAGs no bucket do ambiente.

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

    3. Selecione um DAG.

    4. Para conferir o código-fonte do DAG, acesse a guia Diagrama.

    5. Para ver mais informações sobre o DAG, acesse a guia Origem.

    IU do Airflow

    Para ver o diagrama de um DAG na interface da Web do Airflow:

    1. No console Google Cloud , acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

    3. Faça login com a Conta do Google que tem as permissões apropriadas.

    4. Na interface da Web do Airflow, na página DAGs, clique no nome do DAG.

    5. Na página com detalhes do DAG, navegue até as guias disponíveis para conferir mais informações sobre o DAG.

    A seguir