Faça a gestão de entradas e carregue fontes personalizadas

Este documento descreve como criar e gerir tipos de entradas, grupos de entradas e entradas personalizadas para ativar a integração de origens de dados personalizadas no catálogo universal do Dataplex.

Uma entrada representa um recurso para o qual captura metadados. Um grupo de entradas é um contentor para uma ou mais entradas, usado para gerir o controlo de acesso e a localização regional. Um tipo de entrada define os metadados necessários para as entradas. Os tipos de entradas introduzem estrutura e regras num recurso de entrada de fluxo livre e pouco definido, permitindo que as entradas sejam extensíveis.

Para integrar uma origem de dados personalizada no catálogo universal do Dataplex, crie uma entrada personalizada através de um tipo de entrada personalizado que esteja num grupo de entradas personalizado. A criação de uma entrada personalizada envolve os seguintes passos gerais:

  1. Crie um grupo de entradas.
  2. Crie um tipo de entrada.
  3. Crie uma entrada personalizada para o tipo de entrada no grupo de entradas.

Entradas

Uma entrada representa um recurso de dados para o qual capta metadados. Cada entrada é uma instância de um tipo de entrada. Cada operação em aspetos de uma entrada tem de estar em conformidade com os aspetos necessários do respetivo tipo de entrada. Por exemplo, quando cria uma entrada, tem de fornecer valores para todos os tipos de aspetos definidos pelo tipo de entrada. Não pode eliminar os aspetos de uma entrada que estejam marcados como required no tipo de entrada.

Categorias de entradas

  • Entradas do sistema: o catálogo universal do Dataplex cria entradas para Google Cloud recursos, como tabelas ou conjuntos de dados do BigQuery. As entradas que o Dataplex Universal Catalog cria são denominadas entradas do sistema. O catálogo universal do Dataplex mantém automaticamente as entradas do sistema atualizadas através da sincronização contínua de metadados dos sistemas Google Cloud suportados.

    Não pode modificar os metadados preenchidos automaticamente (denominados aspetos obrigatórios) para entradas do sistema. Só pode adicionar e modificar metadados adicionais para entradas do sistema através de aspetos opcionais. Para mais informações, consulte o artigo Categorias de aspetos.

  • Entradas personalizadas: as entradas que pode criar e gerir para recursos personalizados são denominadas entradas personalizadas. Os recursos personalizados são os recursos em serviços que não pertencem à Google e que estão alojados Google Cloud internamente ou externamente (por exemplo, nas instalações).

Grupos de entradas

Um grupo de entradas é um contentor para uma ou mais entradas. Pode usar grupos de entradas para gerir o controlo de acesso e a localização regional das entradas. Cada grupo de entradas pertence a um projeto.

Categorias de grupos de entradas

  • Grupos de entradas do sistema: para Google Cloud recursos, o Dataplex Universal Catalog cria automaticamente grupos de entradas para cada sistema em todos os projetos e localizações onde os recursos se encontram. Por exemplo, @bigquery é o grupo de entradas do sistema para o BigQuery.

  • Grupos de entradas personalizados: grupos de entradas que cria para recursos personalizados.

Tipos de entradas

Os tipos de entradas definem os metadados necessários para as entradas deste tipo, usando um conjunto de tipos de aspetos necessários.

Só pode especificar os tipos de aspeto necessários nas entradas e não nas colunas de uma entrada. Quando cria uma entrada de um tipo de entrada específico, tem de fornecer valores para todos os tipos de aspetos obrigatórios especificados pelo tipo de entrada.

Os tipos de aspetos obrigatórios referenciados num tipo de entrada têm de pertencer ao mesmo projeto que o tipo de entrada.

Categorias de tipos de entradas

  • Tipos de entradas personalizadas: tipos de entradas que cria e gere. Pode usar estes tipos de entradas para criar entradas personalizadas.

  • Tipos de entradas do sistema: o Dataplex Universal Catalog fornece estes tipos de entradas por predefinição. Os tipos de entradas do sistema são ainda categorizados como reutilizáveis e restritos.

    A tabela seguinte descreve as categorias de tipos de entradas do sistema e a lista de tipos de entradas que o catálogo universal do Dataplex fornece para cada uma das categorias:

    Categoria do tipo de entrada do sistema Descrição Tipos de entradas que o Dataplex Universal Catalog oferece
    Tipo de entrada do sistema reutilizável Pode usar este tipo de entrada para criar entradas personalizadas.
    • generic
    Tipo de entrada do sistema restrito Estes são reservados para utilização do sistema, como a criação de entradas para Google Cloud recursos.

    Não pode usar estes tipos de entradas para criar entradas, mas pode editar entradas destes tipos de entradas para adicionar aspetos opcionais.
    Incluindo, entre outros:
    • analytics-hub-exchange
    • analytics-hub-listing
    • aspecttype
    • bigquery-dataset
    • bigquery-table
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-table
    • entrygroup
    • entrytype
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Pode criar um tipo de entrada personalizado numa localização regional específica ou como um recurso global. A localização de um tipo de entrada afeta o âmbito da respetiva aplicabilidade. Para mais informações, consulte o artigo Restrições de projetos e localizações.

Os tipos de entradas do sistema são sempre globais. Os tipos de entradas do sistema são armazenados num projeto gerido pela Google com o ID do projeto 655216118709. Por exemplo, projects/655216118709/locations/global/entryTypes/bigquery-table.

Antes de começar

Antes de gerir entradas e carregar origens de dados personalizadas, certifique-se de que concluiu as tarefas descritas nesta secção.

Funções necessárias

Para receber as autorizações de que precisa para criar e gerir entradas, peça ao seu administrador que lhe conceda as seguintes funções de IAM no recurso:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Para mais informações, consulte o artigo Funções de IAM do Dataplex Universal Catalog.

Ative a API

Ative a API Dataplex no seu projeto do Dataplex Universal Catalog.

Ative a API

Crie um grupo de entradas

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Grupos de entradas > Personalizado.

  3. Clique em Criar grupo de entradas (Dataplex Universal Catalog).

  4. Na janela Criar grupo de entradas, introduza o seguinte:

    1. Opcional: no campo Nome a apresentar, introduza um nome a apresentar para o grupo de entradas.
    2. ID do grupo de entradas: introduza um ID exclusivo para o grupo de entradas.
    3. Opcional: no campo Descrição, introduza uma descrição para o seu grupo de entradas.
    4. Localização: selecione uma localização. Não pode modificar a localização depois de criar o grupo de entradas.
  5. Opcional: na secção Etiquetas, adicione etiquetas arbitrárias como pares chave-valor aos seus recursos:

    1. Clique em Adicionar etiqueta.
    2. No campo Chave, introduza uma chave.
    3. No campo Valor, introduza um valor para a chave.
    4. Para adicionar mais etiquetas, clique em Adicionar etiqueta e repita os passos.
  6. Clique em Guardar.

gcloud

Para criar um grupo de entradas, use o comando gcloud dataplex entry-groups create.

REST

Para criar um grupo de entradas, use o método entryGroups.Create.

Crie um tipo de entrada

Para carregar uma nova fonte, tem de criar um tipo de entrada.

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Tipos de entradas > Personalizado.

  3. Clique em Criar.

  4. Na janela Tipo de entrada de criação, introduza o seguinte:

    1. Opcional: no campo Nome a apresentar, introduza um nome a apresentar para o seu tipo de entrada.
    2. ID do tipo de entrada: introduza um ID exclusivo para o seu tipo de entrada. Não pode modificar esta opção depois de criar o tipo de entrada.
    3. Opcional: no campo Descrição, introduza uma descrição para o tipo de entrada.
    4. Opcional: no campo Sistema, introduza o sistema de origem.
    5. Opcional: no campo Plataforma, introduza a plataforma à qual pertencem as entradas deste tipo. Por exemplo, Google Cloud.
    6. No campo Localização, selecione uma localização. Não pode modificar a localização depois de criar o tipo de entrada.
  5. Opcional: na secção Alias de tipo, defina o tipo de dados para o tipo de entrada. O tipo de dados pode ser usado para consultar entradas.

    1. Clique em Adicionar alias de tipo.
    2. No campo Alias de tipo, selecione um tipo de dados. Pode adicionar vários alias de tipo.
  6. Na secção Tipos de aspetos obrigatórios, selecione os tipos de aspetos que são obrigatórios para este tipo de entrada. Cada entrada criada com base neste tipo terá estes tipos de aspetos obrigatórios atribuídos. Não é possível modificar a lista de tipos de aspetos obrigatórios depois de criar o tipo de entrada.

    1. Clique em Escolher tipo de aspeto.
    2. Na janela Selecionar tipos de aspetos, selecione o tipo de aspeto.
    3. Clique em Selecionar.

    Não pode eliminar os aspetos obrigatórios de uma entrada.

  7. Opcional: na secção Etiquetas, adicione etiquetas arbitrárias como pares chave-valor aos seus recursos:

    1. Clique em Adicionar etiqueta.
    2. No campo Chave, introduza uma chave.
    3. No campo Valor, introduza um valor para a chave.
    4. Para adicionar mais etiquetas, clique em Adicionar etiqueta e repita os passos.
  8. Clique em Guardar.

gcloud

Para criar um tipo de entrada, use o comando gcloud dataplex entry-types create.

REST

Para criar um tipo de entrada, use o método entryTypes.create.

Crie uma entrada personalizada

Antes de criar uma entrada personalizada, certifique-se de que criou um grupo de entradas e um tipo de entrada.

Consola

A criação de uma entrada personalizada através da Google Cloud consola não é suportada. Em alternativa, use a CLI Google Cloud ou a API.

gcloud

Para criar uma entrada personalizada, use o comando gcloud dataplex entries create.

REST

Para criar uma entrada personalizada, use o método entries.create.

Depois de criar uma entrada personalizada, pode adicionar aspetos à entrada. Para mais informações, consulte o artigo Adicione aspetos a uma entrada.

Faça a gestão de grupos de entradas

Esta secção descreve como ver a lista de grupos de entradas disponíveis, ver detalhes, atualizar e eliminar grupos de entradas.

Veja a lista de grupos de entradas disponíveis

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Grupos de entradas.

    Esta página apresenta todos os grupos de entradas do Dataplex Universal Catalog e do Data Catalog disponíveis.

  3. Para ver grupos de entradas personalizados, clique no separador Personalizado. No separador Personalizado, a coluna Origem do catálogo apresenta a localização do recurso: Dataplex Universal Catalog ou Data Catalog.

    Para ver os grupos de entradas do sistema, clique no separador Sistema.

    Para mais informações sobre os grupos de entradas personalizados e do sistema, consulte a secção Categorias de grupos de entradas deste documento.

  4. Opcional: para ver a lista de grupos de entradas no projeto selecionado, clique no separador Personalizado e, de seguida, clique no botão Mostrar de todos os projetos para o desativar.

    O botão Mostrar de todos os projetos está ativado por predefinição e a lista inclui recursos do Dataplex Universal Catalog da sua organização selecionada e recursos do Data Catalog de todas as organizações às quais pode aceder.

gcloud

Para ver a lista de grupos de entradas disponíveis, use o comando gcloud dataplex entry-groups list.

REST

Para ver a lista de grupos de entradas disponíveis, use o método entryGroups.list.

Veja os detalhes de um grupo de entradas

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Grupos de entradas.

  3. Clique no grupo de entradas cujos detalhes quer ver.

    É apresentada a página de detalhes do grupo de entradas. Pode aceder a informações como o nome a apresentar, o ID do grupo de entradas, a descrição, o ID do projeto, a localização, as etiquetas, a data de criação e a data da última modificação do grupo de entradas selecionado.

    Para um grupo de entradas do Data Catalog, pode ver os detalhes nas interfaces Web do Data Catalog e do Dataplex Universal Catalog. Para tal, na página de detalhes do grupo de entradas, clique em Data Catalog ou Dataplex Universal Catalog.

    A secção Exemplos de entradas apresenta 10 entradas relacionadas criadas recentemente no grupo de entradas selecionado.

  4. Opcional: para ver todas as entradas relacionadas com um grupo de entradas, na secção Entradas de exemplo, clique em Mostrar todas as entradas relacionadas na pesquisa.

gcloud

Para obter os detalhes de um grupo de entradas, use o comando gcloud dataplex entry-groups describe.

REST

Para obter os detalhes de um grupo de entradas, use o método entryGroups.get.

Atualize um grupo de entradas

Pode atualizar um grupo de entradas personalizado. Não é possível modificar os grupos de entradas do sistema.

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Grupos de entradas > Personalizado.

  3. Clique no grupo de entradas que quer atualizar.

  4. Na página Detalhes do grupo de entradas, clique em Editar.

  5. Edite o nome a apresentar, a descrição e as etiquetas, conforme necessário.

  6. Clique em Guardar.

gcloud

Para atualizar um grupo de entradas, use o comando gcloud dataplex entry-groups update.

REST

Para atualizar um grupo de entradas, use o método entryGroups.patch.

Elimine um grupo de entradas

Pode eliminar um grupo de entradas personalizado. Não é possível eliminar grupos de entradas do sistema.

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Grupos de entradas > Personalizado.

  3. Clique no grupo de entradas que quer eliminar.

  4. Na página Detalhes do grupo de entradas, clique em Eliminar. Confirme quando lhe for pedido.

gcloud

Para eliminar um grupo de entradas, use o comando gcloud dataplex entry-groups delete.

REST

Para eliminar um grupo de entradas, use o método entryGroups.delete.

Faça a gestão dos tipos de entradas

Esta secção descreve como ver a lista de grupos de entradas disponíveis, ver detalhes, atualizar e eliminar tipos de entradas.

Veja a lista de tipos de entradas disponíveis

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Tipos de entradas.

  3. Para ver os tipos de entradas personalizadas, clique no separador Personalizado. Para ver os tipos de entradas do sistema, clique no separador Sistema. Para mais informações sobre os tipos de entradas personalizados e do sistema, consulte a secção Categorias de tipos de entradas deste documento.

  4. Opcional: para ver a lista de tipos de entradas no projeto selecionado, clique no separador Personalizado e, de seguida, clique no botão Mostrar de todos os projetos para o desativar.

    O botão Mostrar de todos os projetos está ativado por predefinição e a lista inclui tipos de entradas em todos os projetos.

gcloud

Para ver a lista de tipos de entradas disponíveis, use o comando gcloud dataplex entry-types list.

REST

Para ver a lista de tipos de entradas disponíveis, use o método entryTypes.list.

Veja detalhes de um tipo de entrada

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Tipos de entradas > Personalizado.

  3. Clique no tipo de entrada para o qual quer ver os detalhes.

    É apresentada a página de detalhes do tipo de entrada. Pode aceder a informações como o nome a apresentar, o ID do tipo de entrada, a descrição, o ID do projeto, a localização, a plataforma, o sistema, os alias de tipo, as etiquetas, a data de criação e a data da última modificação do tipo de entrada selecionado.

  4. Opcional: para ver a lista de 10 entradas relacionadas criadas recentemente, clique no separador Entradas de exemplo.

  5. Opcional: para ver todas as entradas relacionadas com um grupo de entradas, clique no separador Entradas de exemplo e, de seguida, clique em Mostrar todas as entradas relacionadas na pesquisa.

gcloud

Para obter os detalhes de um tipo de entrada, use o comando gcloud dataplex entry-types describe.

REST

Para obter os detalhes de um tipo de entrada, use o método entryTypes.get.

Atualize um tipo de entrada

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Tipos de entradas > Personalizado.

  3. Clique no tipo de entrada que quer atualizar.

  4. Na página Detalhes do tipo de entrada, clique em Editar.

  5. Edite o nome a apresentar, a descrição, o sistema, a plataforma, os alias de tipo e as etiquetas, conforme necessário.

  6. Clique em Guardar.

gcloud

Para atualizar um tipo de entrada, use o comando gcloud dataplex entry-types update.

REST

Para atualizar um tipo de entrada, use o método entryTypes.patch.

Elimine um tipo de entrada

Consola

  1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

    Aceder ao catálogo

  2. Clique no separador Tipos de entradas > Personalizado.

  3. Clique no tipo de entrada que quer eliminar.

  4. Na página Detalhes do tipo de entrada, clique em Eliminar. Confirme quando lhe for pedido.

gcloud

Para eliminar um tipo de entrada, use o comando gcloud dataplex entry-types delete.

REST

Para eliminar um tipo de entrada, use o método entryTypes.delete.

O que se segue?