Este documento descreve como criar e gerir tipos de entradas, grupos de entradas e entradas personalizadas para ativar a integração de origens de dados personalizadas no catálogo universal do Dataplex.
Uma entrada representa um recurso para o qual captura metadados. Um grupo de entradas é um contentor para uma ou mais entradas, usado para gerir o controlo de acesso e a localização regional. Um tipo de entrada define os metadados necessários para as entradas. Os tipos de entradas introduzem estrutura e regras num recurso de entrada de fluxo livre e pouco definido, permitindo que as entradas sejam extensíveis.
Para integrar uma origem de dados personalizada no catálogo universal do Dataplex, crie uma entrada personalizada através de um tipo de entrada personalizado que esteja num grupo de entradas personalizado. A criação de uma entrada personalizada envolve os seguintes passos gerais:
- Crie um grupo de entradas.
- Crie um tipo de entrada.
- Crie uma entrada personalizada para o tipo de entrada no grupo de entradas.
Entradas
Uma entrada representa um recurso de dados para o qual capta metadados. Cada entrada é uma instância de um tipo de entrada. Cada operação em aspetos de uma entrada tem de estar em conformidade com os aspetos necessários do respetivo tipo de entrada. Por exemplo, quando cria uma entrada, tem de fornecer valores para todos os tipos de aspetos definidos pelo tipo de entrada. Não pode eliminar os aspetos de uma entrada que estejam marcados como
required
no tipo de entrada.
Categorias de entradas
Entradas do sistema: o catálogo universal do Dataplex cria entradas para Google Cloud recursos, como tabelas ou conjuntos de dados do BigQuery. As entradas que o Dataplex Universal Catalog cria são denominadas entradas do sistema. O catálogo universal do Dataplex mantém automaticamente as entradas do sistema atualizadas através da sincronização contínua de metadados dos sistemas Google Cloud suportados.
Não pode modificar os metadados preenchidos automaticamente (denominados aspetos obrigatórios) para entradas do sistema. Só pode adicionar e modificar metadados adicionais para entradas do sistema através de aspetos opcionais. Para mais informações, consulte o artigo Categorias de aspetos.
Entradas personalizadas: as entradas que pode criar e gerir para recursos personalizados são denominadas entradas personalizadas. Os recursos personalizados são os recursos em serviços que não pertencem à Google e que estão alojados Google Cloud internamente ou externamente (por exemplo, nas instalações).
Grupos de entradas
Um grupo de entradas é um contentor para uma ou mais entradas. Pode usar grupos de entradas para gerir o controlo de acesso e a localização regional das entradas. Cada grupo de entradas pertence a um projeto.
Categorias de grupos de entradas
Grupos de entradas do sistema: para Google Cloud recursos, o Dataplex Universal Catalog cria automaticamente grupos de entradas para cada sistema em todos os projetos e localizações onde os recursos se encontram. Por exemplo,
@bigquery
é o grupo de entradas do sistema para o BigQuery.Grupos de entradas personalizados: grupos de entradas que cria para recursos personalizados.
Tipos de entradas
Os tipos de entradas definem os metadados necessários para as entradas deste tipo, usando um conjunto de tipos de aspetos necessários.
Só pode especificar os tipos de aspeto necessários nas entradas e não nas colunas de uma entrada. Quando cria uma entrada de um tipo de entrada específico, tem de fornecer valores para todos os tipos de aspetos obrigatórios especificados pelo tipo de entrada.
Os tipos de aspetos obrigatórios referenciados num tipo de entrada têm de pertencer ao mesmo projeto que o tipo de entrada.
Categorias de tipos de entradas
Tipos de entradas personalizadas: tipos de entradas que cria e gere. Pode usar estes tipos de entradas para criar entradas personalizadas.
Tipos de entradas do sistema: o Dataplex Universal Catalog fornece estes tipos de entradas por predefinição. Os tipos de entradas do sistema são ainda categorizados como reutilizáveis e restritos.
A tabela seguinte descreve as categorias de tipos de entradas do sistema e a lista de tipos de entradas que o catálogo universal do Dataplex fornece para cada uma das categorias:
Categoria do tipo de entrada do sistema Descrição Tipos de entradas que o Dataplex Universal Catalog oferece Tipo de entrada do sistema reutilizável Pode usar este tipo de entrada para criar entradas personalizadas. generic
Tipo de entrada do sistema restrito Estes são reservados para utilização do sistema, como a criação de entradas para Google Cloud recursos.
Não pode usar estes tipos de entradas para criar entradas, mas pode editar entradas destes tipos de entradas para adicionar aspetos opcionais.Incluindo, entre outros: analytics-hub-exchange
analytics-hub-listing
aspecttype
bigquery-dataset
bigquery-table
cloudsql-database
cloudsql-instance
cloudsql-table
entrygroup
entrytype
sql-access
storage
storage-bucket
storage-folder
Pode criar um tipo de entrada personalizado numa localização regional específica ou como um recurso global. A localização de um tipo de entrada afeta o âmbito da respetiva aplicabilidade. Para mais informações, consulte o artigo Restrições de projetos e localizações.
Os tipos de entradas do sistema são sempre globais. Os tipos de entradas do sistema são armazenados num projeto gerido pela Google com o ID do projeto 655216118709
. Por exemplo,
projects/655216118709/locations/global/entryTypes/bigquery-table
.
Antes de começar
Antes de gerir entradas e carregar origens de dados personalizadas, certifique-se de que concluiu as tarefas descritas nesta secção.
Funções necessárias
Para receber as autorizações de que precisa para criar e gerir entradas, peça ao seu administrador que lhe conceda as seguintes funções de IAM no recurso:
-
Conjunto completo de autorizações em entradas, grupos de entradas e tipos de entradas:
Administrador do catálogo do Dataplex (
roles/dataplex.catalogAdmin
) -
Crie e faça a gestão de recursos de metadados no Dataplex Universal Catalog, incluindo entradas, grupos de entradas e tipos de entradas:
Editor do catálogo do Dataplex (
roles/dataplex.catalogEditor
) -
Acesso total a operações relacionadas com entradas:
Proprietário da entrada e do EntryLink do Dataplex (
roles/dataplex.entryOwner
) -
Veja entradas, grupos de entradas e tipos de entradas, bem como políticas de IAM associadas:
Visualizador do catálogo do Dataplex (
roles/dataplex.catalogViewer
) -
Use tipos de aspetos para criar aspetos desses tipos quando criar entradas personalizadas:
Dataplex Aspect Type User (
roles/dataplex.aspectTypeUser
) -
Crie e faça a gestão de grupos de entradas:
Proprietário do grupo de entradas do Dataplex (
roles/dataplex.entryGroupOwner
) -
Crie e faça a gestão de tipos de entradas:
Dataplex Entry Type Owner (
roles/dataplex.entryTypeOwner
) -
Use tipos de entradas para criar e modificar entradas desses tipos:
Utilizador do tipo de entrada do Dataplex (
roles/dataplex.entryTypeUser
)
Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.
Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.
Para mais informações, consulte o artigo Funções de IAM do Dataplex Universal Catalog.
Ative a API
Ative a API Dataplex no seu projeto do Dataplex Universal Catalog.
Crie um grupo de entradas
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Grupos de entradas > Personalizado.
Clique em Criar grupo de entradas (Dataplex Universal Catalog).
Na janela Criar grupo de entradas, introduza o seguinte:
- Opcional: no campo Nome a apresentar, introduza um nome a apresentar para o grupo de entradas.
- ID do grupo de entradas: introduza um ID exclusivo para o grupo de entradas.
- Opcional: no campo Descrição, introduza uma descrição para o seu grupo de entradas.
- Localização: selecione uma localização. Não pode modificar a localização depois de criar o grupo de entradas.
Opcional: na secção Etiquetas, adicione etiquetas arbitrárias como pares chave-valor aos seus recursos:
- Clique em Adicionar etiqueta.
- No campo Chave, introduza uma chave.
- No campo Valor, introduza um valor para a chave.
- Para adicionar mais etiquetas, clique em Adicionar etiqueta e repita os passos.
Clique em Guardar.
gcloud
Para criar um grupo de entradas, use o comando gcloud dataplex entry-groups create
.
REST
Para criar um grupo de entradas, use o método
entryGroups.Create
.
Crie um tipo de entrada
Para carregar uma nova fonte, tem de criar um tipo de entrada.
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Tipos de entradas > Personalizado.
Clique em Criar.
Na janela Tipo de entrada de criação, introduza o seguinte:
- Opcional: no campo Nome a apresentar, introduza um nome a apresentar para o seu tipo de entrada.
- ID do tipo de entrada: introduza um ID exclusivo para o seu tipo de entrada. Não pode modificar esta opção depois de criar o tipo de entrada.
- Opcional: no campo Descrição, introduza uma descrição para o tipo de entrada.
- Opcional: no campo Sistema, introduza o sistema de origem.
- Opcional: no campo Plataforma, introduza a plataforma à qual pertencem as entradas deste tipo. Por exemplo,
Google Cloud
. - No campo Localização, selecione uma localização. Não pode modificar a localização depois de criar o tipo de entrada.
Opcional: na secção Alias de tipo, defina o tipo de dados para o tipo de entrada. O tipo de dados pode ser usado para consultar entradas.
- Clique em Adicionar alias de tipo.
- No campo Alias de tipo, selecione um tipo de dados. Pode adicionar vários alias de tipo.
Na secção Tipos de aspetos obrigatórios, selecione os tipos de aspetos que são obrigatórios para este tipo de entrada. Cada entrada criada com base neste tipo terá estes tipos de aspetos obrigatórios atribuídos. Não é possível modificar a lista de tipos de aspetos obrigatórios depois de criar o tipo de entrada.
- Clique em Escolher tipo de aspeto.
- Na janela Selecionar tipos de aspetos, selecione o tipo de aspeto.
- Clique em Selecionar.
Não pode eliminar os aspetos obrigatórios de uma entrada.
Opcional: na secção Etiquetas, adicione etiquetas arbitrárias como pares chave-valor aos seus recursos:
- Clique em Adicionar etiqueta.
- No campo Chave, introduza uma chave.
- No campo Valor, introduza um valor para a chave.
- Para adicionar mais etiquetas, clique em Adicionar etiqueta e repita os passos.
Clique em Guardar.
gcloud
Para criar um tipo de entrada, use o comando gcloud dataplex entry-types create
.
REST
Para criar um tipo de entrada, use o método
entryTypes.create
.
Crie uma entrada personalizada
Antes de criar uma entrada personalizada, certifique-se de que criou um grupo de entradas e um tipo de entrada.
Consola
A criação de uma entrada personalizada através da Google Cloud consola não é suportada. Em alternativa, use a CLI Google Cloud ou a API.
gcloud
Para criar uma entrada personalizada, use o comando
gcloud dataplex entries create
.
REST
Para criar uma entrada personalizada, use o método
entries.create
.
Depois de criar uma entrada personalizada, pode adicionar aspetos à entrada. Para mais informações, consulte o artigo Adicione aspetos a uma entrada.
Faça a gestão de grupos de entradas
Esta secção descreve como ver a lista de grupos de entradas disponíveis, ver detalhes, atualizar e eliminar grupos de entradas.
Veja a lista de grupos de entradas disponíveis
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Grupos de entradas.
Esta página apresenta todos os grupos de entradas do Dataplex Universal Catalog e do Data Catalog disponíveis.
Para ver grupos de entradas personalizados, clique no separador Personalizado. No separador Personalizado, a coluna Origem do catálogo apresenta a localização do recurso: Dataplex Universal Catalog ou Data Catalog.
Para ver os grupos de entradas do sistema, clique no separador Sistema.
Para mais informações sobre os grupos de entradas personalizados e do sistema, consulte a secção Categorias de grupos de entradas deste documento.
Opcional: para ver a lista de grupos de entradas no projeto selecionado, clique no separador Personalizado e, de seguida, clique no botão Mostrar de todos os projetos para o desativar.
O botão Mostrar de todos os projetos está ativado por predefinição e a lista inclui recursos do Dataplex Universal Catalog da sua organização selecionada e recursos do Data Catalog de todas as organizações às quais pode aceder.
gcloud
Para ver a lista de grupos de entradas disponíveis, use o comando gcloud dataplex entry-groups list
.
REST
Para ver a lista de grupos de entradas disponíveis, use o método
entryGroups.list
.
Veja os detalhes de um grupo de entradas
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Grupos de entradas.
Clique no grupo de entradas cujos detalhes quer ver.
É apresentada a página de detalhes do grupo de entradas. Pode aceder a informações como o nome a apresentar, o ID do grupo de entradas, a descrição, o ID do projeto, a localização, as etiquetas, a data de criação e a data da última modificação do grupo de entradas selecionado.
Para um grupo de entradas do Data Catalog, pode ver os detalhes nas interfaces Web do Data Catalog e do Dataplex Universal Catalog. Para tal, na página de detalhes do grupo de entradas, clique em Data Catalog ou Dataplex Universal Catalog.
A secção Exemplos de entradas apresenta 10 entradas relacionadas criadas recentemente no grupo de entradas selecionado.
Opcional: para ver todas as entradas relacionadas com um grupo de entradas, na secção Entradas de exemplo, clique em Mostrar todas as entradas relacionadas na pesquisa.
gcloud
Para obter os detalhes de um grupo de entradas, use o comando gcloud dataplex entry-groups describe
.
REST
Para obter os detalhes de um grupo de entradas, use o método
entryGroups.get
.
Atualize um grupo de entradas
Pode atualizar um grupo de entradas personalizado. Não é possível modificar os grupos de entradas do sistema.
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Grupos de entradas > Personalizado.
Clique no grupo de entradas que quer atualizar.
Na página Detalhes do grupo de entradas, clique em Editar.
Edite o nome a apresentar, a descrição e as etiquetas, conforme necessário.
Clique em Guardar.
gcloud
Para atualizar um grupo de entradas, use o comando gcloud dataplex entry-groups update
.
REST
Para atualizar um grupo de entradas, use o método entryGroups.patch
.
Elimine um grupo de entradas
Pode eliminar um grupo de entradas personalizado. Não é possível eliminar grupos de entradas do sistema.
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Grupos de entradas > Personalizado.
Clique no grupo de entradas que quer eliminar.
Na página Detalhes do grupo de entradas, clique em Eliminar. Confirme quando lhe for pedido.
gcloud
Para eliminar um grupo de entradas, use o comando
gcloud dataplex entry-groups delete
.
REST
Para eliminar um grupo de entradas, use o método
entryGroups.delete
.
Faça a gestão dos tipos de entradas
Esta secção descreve como ver a lista de grupos de entradas disponíveis, ver detalhes, atualizar e eliminar tipos de entradas.
Veja a lista de tipos de entradas disponíveis
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Tipos de entradas.
Para ver os tipos de entradas personalizadas, clique no separador Personalizado. Para ver os tipos de entradas do sistema, clique no separador Sistema. Para mais informações sobre os tipos de entradas personalizados e do sistema, consulte a secção Categorias de tipos de entradas deste documento.
Opcional: para ver a lista de tipos de entradas no projeto selecionado, clique no separador Personalizado e, de seguida, clique no botão Mostrar de todos os projetos para o desativar.
O botão Mostrar de todos os projetos está ativado por predefinição e a lista inclui tipos de entradas em todos os projetos.
gcloud
Para ver a lista de tipos de entradas disponíveis, use o comando gcloud dataplex entry-types list
.
REST
Para ver a lista de tipos de entradas disponíveis, use o método
entryTypes.list
.
Veja detalhes de um tipo de entrada
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Tipos de entradas > Personalizado.
Clique no tipo de entrada para o qual quer ver os detalhes.
É apresentada a página de detalhes do tipo de entrada. Pode aceder a informações como o nome a apresentar, o ID do tipo de entrada, a descrição, o ID do projeto, a localização, a plataforma, o sistema, os alias de tipo, as etiquetas, a data de criação e a data da última modificação do tipo de entrada selecionado.
Opcional: para ver a lista de 10 entradas relacionadas criadas recentemente, clique no separador Entradas de exemplo.
Opcional: para ver todas as entradas relacionadas com um grupo de entradas, clique no separador Entradas de exemplo e, de seguida, clique em Mostrar todas as entradas relacionadas na pesquisa.
gcloud
Para obter os detalhes de um tipo de entrada, use o comando
gcloud dataplex entry-types describe
.
REST
Para obter os detalhes de um tipo de entrada, use o método
entryTypes.get
.
Atualize um tipo de entrada
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Tipos de entradas > Personalizado.
Clique no tipo de entrada que quer atualizar.
Na página Detalhes do tipo de entrada, clique em Editar.
Edite o nome a apresentar, a descrição, o sistema, a plataforma, os alias de tipo e as etiquetas, conforme necessário.
Clique em Guardar.
gcloud
Para atualizar um tipo de entrada, use o comando
gcloud dataplex entry-types update
.
REST
Para atualizar um tipo de entrada, use o método
entryTypes.patch
.
Elimine um tipo de entrada
Consola
Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.
Clique no separador Tipos de entradas > Personalizado.
Clique no tipo de entrada que quer eliminar.
Na página Detalhes do tipo de entrada, clique em Eliminar. Confirme quando lhe for pedido.
gcloud
Para eliminar um tipo de entrada, use o
comando gcloud dataplex entry-types delete
.
REST
Para eliminar um tipo de entrada, use o método
entryTypes.delete
.
O que se segue?
- Saiba como pesquisar recursos de dados no Dataplex Universal Catalog.
- Saiba como gerir aspetos e enriquecer os metadados.
- Saiba como importar metadados para o Dataplex Universal Catalog.
- Saiba mais acerca da gestão de metadados no Dataplex Universal Catalog.