Use a loja de atributos do Dataplex Universal Catalog

Este documento descreve como usar o arquivo de atributos do catálogo universal do Dataplex.

Migre da loja de atributos para etiquetas e condições da IAM

Para migrar da Attribute Store, substitui a funcionalidade da Attribute Store por etiquetas, etiquetas de políticas e condições da IAM.

Vista geral da loja de atributos

O Dataplex Universal Catalog Attribute Store é uma infraestrutura extensível que lhe permite especificar comportamentos relacionados com políticas nos recursos associados. Os administradores do catálogo universal do Dataplex podem usar o arquivo de atributos para definir como determinados dados devem ser tratados, associando dados a atributos.

Com o Attribute Store, pode adicionar vários atributos a um objeto, como uma coluna. O repositório de atributos une os comportamentos de todos os atributos associados a um objeto e apresenta-o como uma única política no recurso subjacente.

Pode definir atributos para conjuntos de dados publicados. Os conjuntos de dados publicados referem-se aos conjuntos de dados criados pelo Dataplex Universal Catalog a partir das tabelas descobertas num recurso de contentor.

Os seguintes comportamentos de políticas são suportados:

  • Especificações de recursos: especifica o acesso a um recurso, como uma tabela
  • Especificações de colunas: especifica o acesso a uma coluna numa tabela do BigQuery

Pode usar a loja de atributos para definir uma hierarquia de atributos denominada taxonomia. Numa taxonomia, um atributo secundário herda as especificações da hierarquia de atributos principais. As especificações do principal e do secundário são unidas numa lista unificada, que é propagada para o recurso.

Pode usar a loja de atributos do Dataplex Universal Catalog para fazer o seguinte:

  • Crie taxonomias.
  • Crie atributos e organize-os numa hierarquia.
  • Associe um ou mais atributos a tabelas.
  • Associe um ou mais atributos a colunas.

Terminologia

Esta secção descreve a terminologia usada neste documento.

Taxonomia de atributos

Uma taxonomia de dados é uma hierarquia de atributos. Numa taxonomia, os atributos nos nós principais permitem que os atributos abaixo deles (atributos secundários) herdem e adicionem as especificações de comportamento dos atributos principais aos seus próprios.

Por exemplo: Se um atributo denominado PII tiver uma especificação de recurso group-a@company.com e um atributo secundário de PII denominado Social Security numbers tiver uma especificação de recurso group-b@company.com, então as especificações de recurso aplicadas às políticas onde o atributo Social Security numbers está associado serão group-a@company.com e group-b@company.com.

Quando define um atributo, pode escolher se é um atributo principal ou secundário. Quando define um atributo secundário, tem de especificar o respetivo atributo principal.

Especificações das colunas

As especificações de comportamento das colunas. Especifica as pessoas ou os grupos que têm acesso de leitura às colunas. Se associar um atributo que contenha uma especificação de coluna à coluna de uma tabela, adiciona uma etiqueta de política de coluna do BigQuery a essa coluna.

Especificações dos recursos

As autorizações para pessoas ou grupos acederem a recursos (tabelas). Se associar um atributo à especificação de recursos, o catálogo universal do Dataplex propaga as funções da IAM aos utilizadores especificados para acederem às tabelas associadas ao atributo.

Antes de começar

Limitações

O Dataplex Universal Catalog propaga as políticas de especificação de colunas como etiquetas de políticas do BigQuery. O BigQuery tem uma limitação de uma etiqueta de política por coluna. Se já existir uma etiqueta de política numa coluna, o catálogo universal do Dataplex gera um erro no registo de governação no separador Gerir.

Quotas

Seguem-se as quotas e os limites que se aplicam ao Attribute Store do Dataplex Universal Catalog:

Limite Predefinição
Número máximo de taxonomias numa região 100
Número máximo de atributos em todas as taxonomias numa região 10 000
Número máximo de atributos que podem ser associados a um recurso (tabela) 50
Número máximo de atributos que podem ser associados a uma coluna 100
Profundidade máxima por árvore de atributos de dados numa taxonomia de atributos 4

Funções necessárias

Para receber as autorizações de que precisa para usar o arquivo de atributos do catálogo universal do Dataplex, peça ao seu administrador que lhe conceda as seguintes funções de IAM no projeto:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para usar o arquivo de atributos do Dataplex Universal Catalog. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para usar o arquivo de atributos do Dataplex Universal Catalog:

  • Faça a gestão de taxonomias e atributos:
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • Veja as associações associadas a recursos e atributos:
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Crie e faça a gestão de recursos de associação num projeto: dataplex.dataattributebindings.*
  • Faça a gestão das especificações de acesso aos recursos e dados:
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Exemplos de utilização

Considere uma empresa denominada ACME que tem três tipos de dados:

  • Red dados confidenciais
  • Green dados restritos, mas menos confidenciais
  • Dados sem categoria

O administrador do Dataplex Universal Catalog de ACME cria o seguinte conjunto de atributos:

  • Atributo: Red

    • Especificações das colunas: secrets_team@acme com autorização de leitura
    • Especificações de recursos: secrets_team@acme e tenured_employees@acme com autorização de leitura

  • Atributo: Green

    • Especificações das colunas: full_time_employees@acme com autorização de leitura
    • Especificações de recursos: full_time_employees@acme com autorização de edição

Esta imagem contém as especificações de colunas e recursos para os atributos Vermelho e Verde.

Os atributos Red e Green controlam o comportamento de acesso aos recursos (tabelas) consoante os atributos associados às tabelas e às respetivas colunas.

Considere uma tabela com as seguintes colunas:

  • ID
  • Código postal
  • Nome
  • Morada
  • $Value

Exemplo de utilização 1: associar o mesmo atributo à tabela e a uma coluna

Esta imagem mostra o atributo Vermelho associado à tabela e à coluna Nome.

Se associar o atributo Red à tabela e à respetiva coluna Nome, o catálogo universal do Dataplex propaga as seguintes políticas:

  • Os funcionários em secrets_team@acme e tenured_employees@acme podem ler a tabela, ver os respetivos metadados e consultá-la.
  • Apenas os funcionários em secrets_team@acme podem consultar a coluna Name, uma vez que está mais protegida pelas especificações das colunas.

Exemplo de utilização 2: combine atributos

Considere as seguintes associações:

  • Associe os atributos Red e Green à tabela.
  • Associe os atributos Red e Green à coluna Nome.
  • Associe o atributo Red à coluna $Value.

Esta imagem mostra os atributos Vermelho e Verde associados à tabela e à coluna Nome, e o atributo Vermelho associado à coluna $value

Neste caso, o Dataplex Universal Catalog propaga as seguintes políticas:

  • Os funcionários em secrets_team@acme, tenured_employees@acme e full_time_employees@acme podem aceder à tabela. Isto deve-se ao facto de o Dataplex Universal Catalog unir as especificações de recursos dos atributos Red e Green.
  • Os funcionários em secrets_team@acme e full_time_employees@acme podem aceder à coluna Nome. Isto deve-se ao facto de o Dataplex Universal Catalog unir as especificações das colunas dos atributos Red e Green.
  • Apenas os funcionários em secrets_team@acme podem consultar a coluna $Value.

Exemplo de utilização 3: organize os atributos numa hierarquia

Pode organizar os atributos numa hierarquia especificando os subtipos de atributos. Considere o seguinte conjunto de atributos:

Atributo principal 1:
Atributo: PII

  • Especificações da coluna: secrets_team@acme
  • Especificações do recurso: secrets_team@acme e tenured_employees@acme

Atributo filho de PII:
Atributo: Email

  • Especificações da coluna: email_comm@acme
  • Especificações de recursos: email_comm@acme

Parent attribute 2:
Attribute: Financial

  • Especificações da coluna: full_time_employees@acme
  • Especificações de recursos: full_time_employees@acme

Esta imagem mostra um exemplo da hierarquia de atributos.

Considere as seguintes associações:

  • Associe os atributos Email e Financial à tabela.
  • Associe os atributos Email e Financial à coluna Nome.
  • Associe o atributo PII à coluna $Value.

Esta imagem mostra como os atributos numa hierarquia podem ser associados à tabela e às colunas.

Neste caso, o Dataplex Universal Catalog propaga as seguintes políticas:

  • Os funcionários em secrets_team@acme, tenured_employees@acme, full_time_employees@acme e email_comm@acme podem aceder à tabela. Isto deve-se ao facto de o Dataplex Universal Catalog unir as especificações de recursos dos atributos Financial e Email, e o atributo Email herda as especificações do atributo PII.
  • Os funcionários em secrets_team@acme, email_comm@acme e full_time_employees@acme podem aceder à coluna Nome. Isto deve-se ao facto de o Dataplex Universal Catalog unir as especificações das colunas dos atributos Financial e Email.
  • Apenas os funcionários em secrets_team@acme podem consultar a coluna $Value.

Configure atributos

Para criar um atributo, primeiro tem de criar uma taxonomia e, em seguida, criar os atributos de dados principais e secundários.

Crie uma taxonomia de atributos de dados

  1. Na Google Cloud consola, aceda à página Attribute Store do catálogo universal do Dataplex.

    Aceda à loja de atributos

  2. Clique em Criar taxonomia.

  3. Introduza o Nome da taxonomia, o ID e a Descrição.

  4. Selecione uma região.

  5. Clique em Enviar.

    A nova taxonomia é apresentada na página Taxonomias de dados.

Crie um atributo principal

  1. Na Google Cloud consola, aceda à página Attribute Store do catálogo universal do Dataplex.

    Aceda à loja de atributos

  2. Na página Taxonomias de dados, clique na taxonomia na qual quer criar o atributo principal.

  3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

  4. Selecione Criar atributo de dados principal.

  5. Introduza um nome, um ID e uma descrição para o atributo principal.

  6. Opcional: configure as especificações dos atributos.

    1. Configure as especificações de recursos:

      1. Clique em Gerir autorizações para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos membros, introduza o endereço de email de uma pessoa ou de um grupo que precisa de acesso ao recurso.
      4. Selecione as Funções necessárias e clique em Guardar.
      5. Clique em Guardar.

    2. Configure as especificações das colunas:

      1. Clique em Gerir autorizações para Coluna.
      2. Clique em Adicionar.
      3. No campo Novos responsáveis, introduza o endereço de email de uma pessoa ou de um grupo que precisa de acesso à coluna.
      4. Selecione as Funções necessárias e clique em Guardar.
      5. Clique em Guardar.

  7. Clique em Criar.

Crie um atributo filho

  1. Na Google Cloud consola, aceda à página Attribute Store do catálogo universal do Dataplex.

    Aceda à loja de atributos

  2. Na página Taxonomias de dados, clique na taxonomia na qual quer criar o atributo secundário.

  3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

  4. Selecione Criar atributo de dados filho.

  5. Selecione um atributo de dados principal para o atributo filho que está a criar.

  6. Introduza um nome, um ID e uma descrição para o atributo secundário.

  7. Opcional: configure as especificações dos atributos.

    1. Configure as especificações de recursos:

      1. Clique em Gerir autorizações para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos membros, introduza o endereço de email de uma pessoa ou de um grupo que precisa de acesso ao recurso.
      4. Selecione as Funções necessárias e clique em Guardar.
      5. Clique em Guardar.

    2. Configure as especificações das colunas:

      1. Clique em Gerir autorizações para Coluna.
      2. Clique em Adicionar.
      3. No campo Novos responsáveis, introduza o endereço de email de uma pessoa ou de um grupo que precisa de acesso à coluna.
      4. Selecione as Funções necessárias e clique em Guardar.
      5. Clique em Guardar.

  8. Clique em Criar.

Atualize os recursos da loja de atributos

Atualize os detalhes da taxonomia

  1. Na Google Cloud consola, aceda à página Attribute Store do catálogo universal do Dataplex.

    Aceda à loja de atributos

  2. Clique na taxonomia que quer atualizar.

  3. Clique em Edit.

  4. Edite o nome da taxonomia e a respetiva descrição, conforme necessário.

  5. Clique em Enviar.

Atualize os detalhes dos atributos

  1. Na Google Cloud consola, aceda à página Attribute Store do catálogo universal do Dataplex.

    Aceda à loja de atributos

  2. Clique na taxonomia que contém o atributo que quer atualizar.

  3. Clique no atributo que quer atualizar.

  4. Para atualizar o nome e a descrição do atributo, clique em Editar.

    1. Se estiver a atualizar um atributo principal, tem a opção de o atualizar para um atributo secundário e vice-versa. Selecione as opções em conformidade.
    2. Edite o nome do atributo e a respetiva descrição, conforme necessário.
    3. Clique em Atualizar.

  5. Para atualizar as especificações de recursos do atributo, clique em Editar para Especificações de recursos.

    1. Para adicionar um novo diretor, siga estes passos:

      1. Clique em Adicionar.
      2. No campo Novos membros, introduza o endereço de email de uma pessoa ou de um grupo que precise de acesso ao recurso.
      3. Selecione as Funções necessárias.
      4. Clique em Guardar.

    2. Para atualizar um principal existente, siga estes passos:

      1. Para o principal que quer atualizar, clique em Editar.
      2. Selecione as Funções necessárias.
      3. Clique em Guardar.

    3. Para remover um principal existente, siga estes passos:

      1. Selecione o diretor que quer remover.
      2. Clique em Remover.

  6. Para atualizar as especificações das colunas do atributo, clique em Editar para Especificações das colunas.

    1. Para adicionar um novo diretor, siga estes passos:

      1. Clique em Adicionar.
      2. No campo Novos membros, introduza o endereço de email de uma pessoa ou de um grupo que precisa de acesso à coluna.
      3. Selecione as Funções necessárias.
      4. Clique em Guardar.

    2. Para atualizar um principal existente, siga estes passos:

      1. Para o principal que quer atualizar, clique em Editar.
      2. Selecione as Funções necessárias.
      3. Clique em Guardar.

    3. Para remover um principal existente, siga estes passos:

      1. Selecione o diretor que quer remover.
      2. Clique em Remover.

Associe atributos a recursos

Associe um atributo a uma tabela

  1. Na Google Cloud consola, aceda à página Attribute Store do catálogo universal do Dataplex.

    Aceda à loja de atributos

  2. Clique na taxonomia que contém o atributo.

  3. Clique no atributo ao qual quer associar uma tabela.

  4. Clique no separador Recursos.

  5. Clique em Adicionar recursos.

  6. Selecione uma tabela na lista.

  7. Clique em Selecionar.

Associe um atributo a uma coluna

  1. Na Google Cloud consola, aceda à página Pesquisa do catálogo de dados.

    Aceda à pesquisa

  2. Pesquise e selecione a tabela à qual quer associar um atributo a uma coluna.

  3. Clique no separador Esquema e etiquetas de colunas.

  4. Para a coluna à qual quer associar um atributo, em Etiquetas de políticas, clique em Adicionar.

  5. Selecione a taxonomia que contém o atributo.

  6. Selecione o atributo.

  7. Clique em Anexar.

O que se segue?