Perguntas frequentes

O Datastream é um serviço de replicação e captura de dados de alterações (CDC) sem servidor e fácil de usar. O Datastream permite a replicação perfeita de dados de origens de bases de dados relacionais, como o AlloyDB para PostgreSQL, o PostgreSQL, o MySQL, o SQL Server e o Oracle, bem como do Salesforce e do MongoDB, diretamente para o BigQuery. O Datastream oferece a escala, a velocidade, a segurança e a simplicidade de que as empresas modernas precisam. Com uma arquitetura sem servidor e de escala automática, o Datastream permite-lhe configurar um pipeline de ELT (extração, carregamento e transformação) para a replicação de dados de baixa latência, o que permite estatísticas quase em tempo real.

O Datastream também tem a capacidade de sincronizar streams de dados em bases de dados e aplicações heterogéneas de forma fiável e com latência mínima. Pode integrar o serviço com modelos do Dataflow para replicar bases de dados no Cloud SQL ou no Spanner para sincronização de bases de dados, ou tirar partido da stream de eventos diretamente do Cloud Storage para implementar arquiteturas orientadas por eventos.

• CDC: capturar alterações contínuas da origem em tempo real.
• Preenchimento: fornecer um instantâneo histórico dos dados existentes numa tabela.

A CDC é uma abordagem à integração de dados que lhe permite integrar e analisar dados mais rapidamente, usando menos recursos do sistema. É um método para extrair apenas as alterações mais recentes (atualizações, inserções ou eliminações) de uma origem de dados, muitas vezes, através da leitura do registo de alterações que a origem mantém para a sua própria integridade transacional interna.

A CDC é um mecanismo altamente eficiente para limitar o impacto na origem quando carrega novos dados em armazéns de dados operacionais e armazéns de dados, e elimina a necessidade de atualizações de carregamento em massa e janelas de processamento em lote inconvenientes, permitindo o carregamento incremental ou o streaming quase em tempo real de alterações de dados para um destino de dados.

O CDC pode ser usado em muitos exemplos de utilização que derivam valor do acesso constante às alterações de dados à medida que ocorrem, como a análise, a sincronização de dados em sistemas distribuídos geograficamente e as arquiteturas orientadas por eventos.

Além das alterações contínuas, o fluxo de dados também usa o preenchimento para extrair todos os dados existentes de uma origem e, em seguida, transmitir os dados para um destino. Como resultado, o destino é "preenchido" com todos os dados do histórico da origem. Existem dois tipos de preenchimento:

• Incremental: o tipo de preenchimento predefinido para tabelas. Durante o preenchimento incremental, o Datastream obtém dados de intervalos de linhas em vários lotes e transmite os dados para um destino lote a lote.
• Captura completa: durante o preenchimento da captura completa, o Datastream extrai todos os dados de uma vez e transmite-os para um destino.

Para obter informações sobre as restrições de preenchimento, consulte as páginas de limitações conhecidas para os respetivos tipos de origens:

• MySQL
• Oracle
• PostgreSQL (incluindo o AlloyDB para PostgreSQL)
• SQL Server
• Salesforce (pré-visualização)
• MongoDB

Pode monitorizar o estado do preenchimento por objeto:

1. Na Google Cloud consola, aceda à página Streams.
2. Clique na stream que quer monitorizar.
3. Clique no separador Objetos.

O estado do CDC é efetivamente o estado da stream. Se a operação de CDC falhar, toda a stream falha.

Estão disponíveis métricas adicionais ao nível do objeto no Cloud Monitoring. Para mais informações, consulte a documentação do Cloud Monitoring.

Uma stream de alterações é uma sequência de eventos que o Datastream emite para um destino para fins de consumo a jusante. O resultado de um fluxo de alterações escrito no Cloud Storage é um conjunto de ficheiros que contêm eventos do registo de alterações de uma tabela específica durante um período de tempo. Os eventos representam inserções, atualizações e eliminações nessa tabela, e os eventos podem ser consumidos e processados a jusante do Cloud Storage por serviços como o Dataflow para exemplos de utilização como arquiteturas orientadas por eventos.

A replicação no contexto do fluxo de dados significa uma representação atualizada da tabela de origem no destino. Por exemplo, uma tabela no Oracle cujas alterações são replicadas continuamente para uma tabela do BigQuery, onde a tabela do BigQuery é mantida atualizada através das alterações transmitidas a partir da tabela do Oracle. A replicação tira partido dos fluxos de alterações consumindo cada evento de alteração e usando-o para atualizar o destino. A stream de dados permite a replicação direta no BigQuery e suporta destinos adicionais, como o Cloud SQL e o Spanner, através da integração com o Dataflow, tirando partido de modelos que extraem os eventos da stream de alterações do Cloud Storage e atualizam as tabelas de destino em conformidade.

A CDC é um mecanismo altamente eficiente para limitar o impacto na origem quando novos dados são carregados em armazéns de dados e repositórios de dados de destino. A CDC também elimina a necessidade de atualizações de carregamento em massa e janelas de processamento em lote inconvenientes, permitindo o carregamento incremental ou o streaming quase em tempo real de alterações de dados para um destino.

Além disso, o Datastream minimiza o impacto de um preenchimento inicial limitando o número de tarefas de preenchimento simultâneas e oferecendo-lhe o controlo para decidir que objetos preencher e quando o fazer.

1. Crie uma stream numa nova região ou projeto com a mesma configuração da stream existente, mas não selecione a caixa de verificação Preencher dados do histórico.
2. Inicie a stream que criou.
3. Depois de a stream que criou ter o estado RUNNING, pause a stream existente.
4. Opcionalmente, modifique a nova stream selecionando a caixa de verificação Preencher dados do histórico. Os dados existentes em tabelas adicionadas ao stream no futuro vão ser transmitidos a partir da origem para o destino.

Para ver uma lista das regiões onde o fluxo de dados está disponível, consulte o artigo Listas de autorizações de IPs e regiões.

O Datastream suporta o streaming de dados de origens Oracle, MySQL, PostgreSQL, AlloyDB para PostgreSQL, SQL Server, Salesforce (pré-visualização) e MongoDB, alojadas na nuvem e autogeridas. Para informações sobre versões específicas da origem, consulte as seguintes páginas:

• Fonte MySQL
• Fonte Oracle
• Origem PostgreSQL (incluindo o AlloyDB para PostgreSQL)
• Origem do SQL Server
• Origem do Salesforce (pré-visualização)
• Origem do MongoDB

Para o MySQL, o Datastream processa o registo binário do MySQL para extrair eventos de alteração.

Para o Oracle, o Datastream usa o LogMiner e as definições de registo suplementares para extrair dados dos registos de repetição do Oracle.

Para o PostgreSQL e o AlloyDB para PostgreSQL, o Datastream baseia-se na funcionalidade de descodificação lógica do PostgreSQL. A descodificação lógica expõe todas as alterações confirmadas na base de dados e permite consumir e processar estas alterações.

Para o SQL Server, o Datastream acompanha as alterações da linguagem de manipulação de dados (DML) através de registos de transações.

Existem limitações gerais e limitações que se aplicam a origens de bases de dados específicas.

As limitações gerais incluem:

• Tamanho do evento: limite máximo de 100 MB para o tamanho da linha para o destino do Cloud Storage e limite de 20 MB para o tamanho da linha para o BigQuery.
• Algumas operações de linguagem de definição de dados (LDD) não são suportadas durante a replicação, incluindo:
  • Remover uma coluna do meio de uma tabela. Isto pode causar uma discrepância de dados porque os valores estão associados à coluna errada.
  • Alterar o tipo de dados de uma coluna. Isto pode causar uma discrepância de dados, uma vez que os dados não são mapeados corretamente para o tipo unificado correto do fluxo de dados, e os dados podem ficar danificados.
  • As eliminações em cascata são ignoradas.
  • O truncamento de tabelas é ignorado.

Para limitações específicas da origem, consulte as seguintes páginas:

• Limitações do MySQL
• Limitações da Oracle
• Limitações do PostgreSQL (incluindo o AlloyDB para PostgreSQL e o AlloyDB Omni)
• Limitações do SQL Server
• Limitações do Salesforce
• Limitações do MongoDB

Ao escrever num destino sem esquema, como o Cloud Storage, o Datastream simplifica o processamento a jusante dos dados em várias origens, normalizando os tipos de dados em todas as origens. O Datastream usa o tipo de dados de origem original (por exemplo, um tipo NUMERIC do MySQL ou PostgreSQL ou um tipo NUMBER do Oracle) e normaliza-o num tipo unificado do Datastream.

Os tipos unificados representam um superconjunto sem perdas de todos os tipos de origens possíveis, e a normalização significa que os dados de diferentes origens podem ser processados com o mínimo esforço e consultados a jusante de forma independente da origem.

Pode corrigir uma stream com o estado Failed resolvendo os erros comunicados pela stream de dados. Para mais informações, consulte o artigo Resolva problemas de uma stream.

Também pode recuperar uma stream com o estado Failed permanently. Para mais informações, consulte o artigo Recupere uma stream.

Não. O fluxo de dados não precisa de bloquear as tabelas.

Sim, o Datastream suporta instâncias de réplica de leitura para o Cloud SQL para MySQL nas versões 5.7 e 8.0.

Pode ativar o registo binário nestas instâncias. Para o fazer, execute o seguinte comando da CLI gcloud:

gcloud sql instances patch INSTANCE_NAME -- enable-bin-log

Para mais informações, consulte o artigo Registo binário em réplicas de leitura.

Tem de conceder as seguintes autorizações ao utilizador do Datastream para replicar dados de uma base de dados MySQL:

• SELECT
• REPLICATION SLAVE
• REPLICATION CLIENT

Não, o fluxo de dados não suporta a compressão de eventos de transações com a compressão de transações de registo binário. Desative a compressão de transações do registo binário para usar a funcionalidade de captura de dados de alterações para o MySQL no Datastream.

Pode conceder a autorização SELECT às tabelas específicas que quer replicar ou a todo o esquema numa base de dados. Para isso, execute um dos seguintes comandos:

GRANT SELECT ON DATABASE_NAME.TABLE_NAME TO USER_NAME@'%';

GRANT SELECT ON DATABASE_NAME.* TO USER_NAME@'%';

Substitua o seguinte:

• DATABASE_NAME: o nome da sua base de dados MySQL.
• TABLE_NAME: o nome da tabela à qual está a conceder a autorização SELECT.
• USER_NAME: o nome do utilizador ao qual está a conceder a autorização SELECT.

Se quiser restringir as autorizações a um nome de anfitrião específico, substitua o caráter % pelo endereço IP ou intervalo de endereços específico.

O fluxo de dados suporta a encriptação de dados em trânsito com base nos Oracle Net Services. A stream de dados é executada no modo REQUESTED.

Sim, o Datastream suporta o protocolo TCPS para ligações encriptadas com SSL/TLS a origens Oracle.

Se não conseguir conceder a autorização GRANT SELECT ANY TABLE, pode conceder autorizações SELECT à seguinte lista de tabelas:

• ALL_COL_COMMENTS
• ALL_CONS_COLUMNS
• ALL_CONSTRAINTS
• ALL_DB_LINKS
• ALL_EXTERNAL_TABLES
• ALL_IND_COLUMNS
• ALL_INDEXES
• ALL_LOG_GROUPS
• ALL_MVIEWS
• ALL_OBJECTS
• ALL_PART_TABLES
• ALL_SEQUENCES
• ALL_SOURCE
• ALL_SYNONYMS
• ALL_TAB_COLS
• ALL_TAB_COLUMNS
• ALL_TAB_COMMENTS
• ALL_TABLES
• ALL_TRIGGERS
• ALL_TRIGGER_COLS
• ALL_TYPES
• ALL_USERS
• ALL_VIEWS
• DATABASE_PROPERTIES
• DBA_ROLE_PRIVS
• DUAL
• PRODUCT_COMPONENT_VERSION
• ROLE_SYS_PRIVS
• USER_ROLE_PRIVS
• USER_TAB_PRIVS

Para transmitir alterações através da stream de dados, também precisa de acesso de leitura a todas as tabelas incluídas na stream.

Para iniciar a stream, ignore a validação através da API. Para mais informações, consulte o artigo Inicie uma stream.

ALTER USER USER_NAME BYPASSRLS;

Substitua USER_NAME pelo nome do utilizador que o Datastream usa para estabelecer ligação à base de dados e para o qual quer ignorar as políticas de RLS.

Não. A replicação do PostgreSQL baseia-se no conceito de slots de replicação, e os slots de replicação não suportam ligações simultâneas. Só pode existir uma tarefa de CDC a ler a partir do intervalo de replicação de cada vez. Por exemplo, se eliminar um grande número de registos da base de dados de origem, o espaço de replicação pode ficar sobrecarregado com eventos de eliminação. As alterações subsequentes à origem são atrasadas até que os eventos de eliminação já na fila do espaço de replicação sejam processados.

Para obter informações sobre a abordagem sugerida ao replicar grandes quantidades de dados de transações, consulte o artigo Diagnosticar problemas.

Sim, o fluxo de dados suporta ligações encriptadas com SSL/TLS.

Tem de conceder as seguintes funções e autorizações ao utilizador do Datastream para replicar dados de uma base de dados do SQL Server:

Para o método CDC de tabelas de alterações:

• db_owner
• db_denydatawriter

Além disso, para o método CDC de registos de transações:

• SELECT autorizações na base de dados e para a função sys.fn_dblog
• Autorizações de SELECT na tabela dbo.sysjobs
• VIEW SERVER STATE

Para informações detalhadas sobre a configuração da sua origem, consulte as páginas de configuração respetivas para o seu tipo de base de dados.

Pode selecionar um dos dois métodos de CDC disponíveis, com base na configuração da base de dados do SQL Server de origem:

• Registos de transações: selecione este método para processar alterações diretamente a partir dos registos da base de dados. Este método oferece o melhor desempenho e é mais eficiente, mas requer passos de configuração adicionais que podem não ser suportados pela sua base de dados.
• Tabelas de alterações: selecione este método para processar alterações a partir de tabelas de alterações dedicadas. Este método é mais fácil de configurar e tem menos limitações, mas suporta um débito mais baixo e aumenta a carga na sua base de dados.

Para mais informações, consulte o artigo Vista geral do SQL Server como origem.

Um objeto é uma entidade de classe e é semelhante a uma tabela na nomenclatura de bases de dados relacionais. Podem ser padrão ou personalizados. Os objetos padrão estão incluídos no Salesforce por predefinição, enquanto os objetos personalizados são criados pelos utilizadores para armazenar dados específicos do respetivo exemplo de utilização.

Um registo é uma instância específica de um objeto, semelhante a uma linha em bases de dados relacionais.

Um campo é um atributo específico de um objeto, semelhante a uma coluna em bases de dados relacionais.

• No modo Apenas anexar, os dados são anexados no BigQuery como uma stream de alterações, com uma linha separada para cada evento INSERT, UPDATE-INSERT, UPDATE-DELETE e DELETE.
• No modo Unir (predefinição), quando o Datastream cria uma tabela no BigQuery, define as chaves primárias na tabela de acordo com as chaves primárias definidas na origem. O BigQuery processa os eventos e aplica alterações à tabela do BigQuery subjacente com base nas chaves primárias da tabela de origem. Se a tabela de origem não tiver uma chave principal, é tratada como se tivesse sido usado o modo Apenas anexar.

Cada evento contém vários campos de metadados que identificam de forma exclusiva a linha nos ficheiros de registo e permitem ordenar os eventos. Estes campos incluem:

Para fontes Oracle:

• rs_id (ID do conjunto de registos), que é composto por três valores (por exemplo, 0x0073c9.000a4e4c.01d0). O rs_id identifica exclusivamente o registo no registo de repetição.
• ssn (número de sequência SQL), que é usado quando o registo no registo de repetição é demasiado longo. Por este motivo, o Oracle LogMiner divide o registo em várias linhas.

Para origens do MySQL:

• log_file, a partir da qual o Datastream extrai eventos na replicação de CDC.
• log_position, que identifica o desvio do registo no registo binário do MySQL.

Para origens PostgreSQL:

• source_timestamp, que é a data/hora em que o registo foi alterado na origem. Se os valores de source_timestamp dos eventos que está a ordenar forem idênticos, compare os valores de lsn.
• lsn (número de sequência do registo), que identifica o desvio do registo no ficheiro de registo WAL.

Para mais informações sobre os campos de metadados, consulte o artigo Metadados específicos da origem.

O Datastream é um serviço de CDC e replicação, o que significa que é flexível em vários exemplos de utilização que podem beneficiar do acesso a dados de alterações de streaming contínuo. Os exemplos de utilização mais comuns para a stream de dados são:

1. Analytics: ao replicar diretamente os dados no BigQuery, os clientes podem aceder a dados operacionais atualizados no BigQuery. Os clientes podem usar estes dados atualizados continuamente no BigQuery para criar painéis de controlo atualizados sobre os respetivos dados. Isto pode ser usado, por exemplo, para a monitorização de sistemas e para obter estatísticas atualizadas sobre o estado da respetiva empresa.
2. Cenários de replicação e sincronização de bases de dados: ao integrar o Datastream com modelos do Dataflow para carregar dados no Cloud SQL ou no Spanner, pode obter uma replicação atualizada dos dados de origem nestas bases de dados. Pode usar estes dados atualizados continuamente nas bases de dados de destino para uma migração de base de dados com pouco tempo de inatividade da origem para o destino ou para configurações de nuvem híbrida, em que a origem e o destino residem em diferentes ambientes de alojamento.
3. Arquiteturas orientadas por eventos: as arquiteturas modernas baseadas em microsserviços dependem de hubs centrais de dados que são atualizados continuamente com eventos de toda a sua organização para serem orientados por eventos. Ao escrever continuamente dados de eventos em destinos como o BigQuery e o Cloud Storage, pode criar arquiteturas orientadas por eventos baseadas no consumo de dados de eventos a partir destes destinos.

O fluxo de dados complementa e melhora o Google Cloud conjunto de dados, fornecendo replicação de dados de CDC de origens para vários Google Cloud serviços. Ao integrar-se perfeitamente com estes serviços, o Datastream enquadra-se no Google Cloud ecossistema mais amplo.

O fluxo de dados integra-se com os seguintes serviços de dados:

• BigQuery: o Datastream usa a API BigQuery Write para se integrar diretamente com o BigQuery. O Datastream escreve os eventos de alteração diretamente no conjunto de dados do BigQuery, onde as alterações são unidas continuamente (UPSERT) com os dados existentes.
• Dataflow: o Datastream pode ser integrado com o Dataflow através de modelos do Dataflow. Estes modelos leem dados do Cloud Storage e carregam esses dados no BigQuery, no Cloud SQL para PostgreSQL ou no Spanner. A finalidade destes modelos é manter as tabelas de origem replicadas atualizadas nos destinos. Os modelos estão disponíveis na IU do Dataflow e são criados para ficheiros gerados pelo Datastream para processamento imediato.
• Cloud Storage: o Datastream integra-se com o Cloud Storage escrevendo nele como um destino de streaming de alterações.
• Cloud SQL e Spanner: através da utilização de modelos do Datastream e do Dataflow, pode manter tabelas replicadas atualizadas nas bases de dados.

Existem três tipos de métodos de conetividade que pode configurar:

• Lista de autorizações de IP: este método oferece-lhe conetividade pública através da adição à lista de autorizações dos endereços IP regionais do Datastream na origem. Quando cria a stream, o Datastream apresenta estes endereços IP na IU.
• Encaminhar túnel SSH: este método oferece-lhe conectividade segura através de redes públicas, tirando partido de um bastion SSH configurado pelo cliente, além de permitir endereços IP regionais.
• Conetividade privada através do intercâmbio da VPC: use este método para se ligar às bases de dados alojadas no Google Cloudatravés da rede interna do Google Cloudou tire partido de uma ligação VPN ou Interconnect existente estabelecendo o intercâmbio da VPC entre a rede privada do Datastream e a VPC da sua organização Google Cloud .

A stream de dados permite-lhe especificar os elementos de dados específicos (esquemas, tabelas e colunas) da sua origem que quer transmitir para um destino e os elementos que quer excluir da transmissão.

Os registos da base de dados podem conter dados de alterações de elementos que foram excluídos na definição do fluxo. Como não pode filtrar estes elementos na origem, o Datastream lê, mas ignora, todos os dados associados aos elementos.

Selecione intervalos de IP de forma dinâmica

• compute.routes.get
• compute.routes.list
• compute.subnetworks.get
• compute.subnetworks.list

Crie redes com peering

• compute.globalOperations.get
• compute.networks.addPeering
• compute.networks.removePeering
• compute.networks.get

Reserve endereços IP

• compute.globalAddresses.get
• compute.globalAddresses.create
• compute.globalAddresses.createInternal
• compute.globalAddresses.delete
• compute.globalAddresses.deleteInternal
• compute.networks.use
• compute.networks.listPeeringRoutes

O Datastream tem um preço baseado no volume (GB) de dados processados a partir da sua origem para um destino.

Para saber mais sobre as informações de preços do Datastream, consulte Preços.