Vista geral do Dataplex Universal Catalog

O catálogo universal do Dataplex é uma solução de gestão de dados unificada e inteligente que ajuda a gerir, compreender e usar os seus recursos de dados na sua organização. Ao usar a IA, o Dataplex Universal Catalog simplifica o trabalho com dados distribuídos por vários sistemas, o que lhe permite focar-se na obtenção de estatísticas valiosas.

Por exemplo, considere uma empresa de retalho global que gera grandes quantidades de dados de vendas, inventário e clientes, e armazena-os no Cloud Storage, no Spanner e no Pub/Sub. Quando os dados são distribuídos pelos sistemas desta forma, a gestão da governação, a garantia da qualidade e a manutenção da conformidade podem ser complexas e demoradas. O Dataplex Universal Catalog simplifica a execução destes processos, fornecendo um catálogo de dados central para descobrir, criar perfis, validar, acompanhar a linhagem e controlar o acesso aos recursos de dados organizacionais.

Este documento descreve as funcionalidades essenciais do Dataplex Universal Catalog e realça os principais exemplos de utilização.

Funcionalidades do Dataplex Universal Catalog

O Dataplex Universal Catalog rege os dados através das seguintes funcionalidades:

  • Catalogação de metadados. Recuperar metadados para Google Cloud recursos (no BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) e recursos de terceiros que introduz no catálogo universal do Dataplex para um catálogo de dados instantâneo.
  • Descoberta de dados. Procure dados estruturados e não estruturados em contentores do Cloud Storage para extrair e catalogar os respetivos metadados.
  • Estatísticas de dados. Use a IA para gerar perguntas em linguagem natural sobre os seus dados, para descobrir padrões, avaliar a qualidade dos dados e realizar análises estatísticas.
  • Criação de perfis de dados. Identificar características comuns dos dados das colunas nas suas tabelas do BigQuery, por exemplo, valores de dados típicos, distribuição de dados e contagens de nulos, que podem fornecer informações para a classificação de dados e a garantia de qualidade.
  • Qualidade de dados. Defina e meça a qualidade dos dados nas tabelas do BigQuery, através da validação dos dados em relação às políticas organizacionais e do registo de alertas se os dados não cumprirem os critérios de qualidade.
  • Glossário empresarial. Gerir a terminologia e as definições relacionadas com a empresa em toda a organização e anexar termos a colunas de tabelas para promover uma compreensão consistente da utilização de dados.
  • Linhagem de dados. Monitorize a forma como os dados se movem nos seus sistemas: de onde vêm, para onde são transmitidos e que transformações lhes são aplicadas.

O Dataplex Universal Catalog suporta um ciclo de vida dos dados completo, desde a deteção distribuída às estatísticas empresariais. As funcionalidades de governação também estão disponíveis através do BigQuery.

Exemplos de utilização

Pode usar o Dataplex Universal Catalog para fazer o seguinte:

  • Descubra e compreenda os seus dados. O Dataplex Universal Catalog oferece visibilidade sobre os seus recursos de dados em toda a organização. Permite-lhe encontrar recursos relevantes para as necessidades de consumo de dados. Fornece contexto para recursos de dados, o que ajuda a compreender a adequação dos recursos de dados para as necessidades do seu consumidor de dados.

  • Ative a administração e a gestão de dados. O Dataplex Universal Catalog fornece metadados que podem informar e potenciar as suas capacidades de gestão e administração de dados.

  • Crie um catálogo de dados central. O Dataplex Universal Catalog armazena e fornece acesso a metadados que são recolhidos automaticamente dos seus Google Cloud recursos. Pode integrar os seus próprios metadados de sistemas que não sejam daGoogle Cloud . Pode enriquecer todos os metadados com anotações de metadados técnicos e empresariais adicionais.

Começar

Se estiver a trabalhar com o Dataplex Universal Catalog pela primeira vez, considere seguir um início rápido:

O que se segue?