Configure uma base de dados PostgreSQL do Amazon RDS para CDC

Esta página descreve como configurar a captura de dados de alterações (CDC) para transmitir dados de uma base de dados Amazon RDS for PostgreSQL para um destino suportado, como o BigQuery ou o Cloud Storage.

Crie um grupo de parâmetros

  1. Inicie o painel de controlo do Amazon RDS.

  2. No painel de navegação, clique em Grupos de parâmetros e, de seguida, em Criar grupo de parâmetros. É apresentada a página Criar grupo de parâmetros.

  3. Selecione a família de bases de dados que corresponde à sua base de dados, indique um nome e uma descrição para o grupo de parâmetros e, de seguida, clique em Criar.

  4. Selecione a caixa de verificação à esquerda do grupo de parâmetros recém-criado e, de seguida, em Ações do grupo de parâmetros, clique em Editar.

  5. Defina o seguinte parâmetro para o seu grupo.

    ParâmetroValor
    rds.logical_replication1

  6. Clique em Guardar alterações.

Configure a base de dados de origem

  1. Inicie o painel de controlo do Amazon RDS.

  2. No menu de navegação, clique em Bases de dados.

  3. Selecione a origem e, de seguida, clique em Modificar.

  4. Aceda à secção Configuração adicional.

  5. Selecione o grupo de parâmetros que criou.

  6. Clique em Continuar.

  7. Em Agendamento de modificações, selecione Aplicar imediatamente.

Verifique se o grupo de parâmetros está atribuído à instância da base de dados

  1. Inicie o painel de controlo do Amazon RDS.

  2. No menu de navegação, clique em Bases de dados e, de seguida, selecione a instância da base de dados.

  3. Clique no separador Configurações.

  4. Verifique se vê o grupo de parâmetros que criou e se o respetivo estado é pending-reboot.

  5. Reinicie a instância de base de dados para concluir a configuração. Para reiniciar a instância:

    1. No menu de navegação, clique em Instâncias.
    2. Selecione a instância de base de dados.
    3. No menu Ações da instância, selecione Reiniciar.

Crie uma publicação e um espaço de replicação

  1. Crie uma publicação. Recomendamos que crie uma publicação apenas para as tabelas que quer replicar. Isto permite que o Datastream leia apenas os dados relevantes e reduz a carga na base de dados e no Datastream:

    CREATE PUBLICATION PUBLICATION_NAME
FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

    Substitua o seguinte:

    • PUBLICATION_NAME: o nome da sua publicação. Tem de indicar este nome quando criar uma stream no assistente de criação de streams de streams de dados.
    • SCHEMA: o nome do esquema que contém a tabela.
    • TABLE: o nome da tabela que quer replicar.

    Também pode criar uma publicação para todas as tabelas na sua base de dados. Tenha em atenção que esta abordagem aumenta a carga na base de dados de origem e no Datastream:

    CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;

  2. Crie um espaço de replicação introduzindo o seguinte comando do PostgreSQL: 

    SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

    Substitua o seguinte:

    • REPLICATION_SLOT_NAME: o nome da sua ranhura de replicação. Tem de indicar este nome quando criar uma stream no assistente de criação de streams de streams de dados.

Crie um utilizador da stream de dados

  1. Para criar um utilizador do Datastream, introduza o seguinte comando do PostgreSQL:

    CREATE USER USER_NAME WITH ENCRYPTED PASSWORD 'USER_PASSWORD';

    Substitua o seguinte:

    • USER_NAME: O nome do utilizador do fluxo de dados que quer criar.
    • USER_PASSWORD: a palavra-passe de início de sessão do utilizador do fluxo de dados que quer criar.

  2. Conceda os seguintes privilégios ao utilizador que criou:

    GRANT RDS_REPLICATION TO USER_NAME;
GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
  GRANT SELECT ON TABLES TO USER_NAME;

    Substitua o seguinte:

    • USER_NAME: o utilizador ao qual quer conceder os privilégios.
    • SCHEMA_NAME: o nome do esquema ao qual quer conceder os privilégios.

O que se segue?