Subscrições do Cloud Storage

Uma subscrição do Cloud Storage é um tipo de subscrição de exportação que escreve mensagens num contentor do Cloud Storage existente à medida que são recebidas. Não precisa de configurar um cliente subscritor separado. Use a Google Cloud consola, a Google Cloud CLI, as bibliotecas cliente ou a API Pub/Sub para criar, atualizar, listar, desanexar ou eliminar uma subscrição do Cloud Storage.

Sem o tipo de subscrição do Cloud Storage, precisa de uma subscrição de obtenção ou envio e um subscritor (como o Dataflow) que leia mensagens e as escreva num contentor do Cloud Storage. A sobrecarga da execução de uma tarefa do Dataflow não é necessária quando as mensagens não requerem processamento adicional antes de serem armazenadas num contentor do Cloud Storage. Em alternativa, pode usar uma subscrição do Cloud Storage.

No entanto, continua a ser recomendada uma pipeline do Dataflow para sistemas do Pub/Sub onde é necessária alguma transformação de dados antes de os dados serem armazenados num contentor do Cloud Storage.

Para saber como fazer streaming de dados do Pub/Sub para o Cloud Storage com transformação através do Dataflow, consulte o artigo Fazer streaming de mensagens do Pub/Sub através do Dataflow.

Antes de começar

Antes de ler este documento, certifique-se de que conhece o seguinte:

Fluxo de trabalho de subscrição do Cloud Storage

A imagem seguinte mostra o fluxo de trabalho entre uma subscrição do Cloud Storage e o Cloud Storage.

Fluxo de mensagens para uma subscrição do Cloud Storage

Figura 1. Fluxo de trabalho para uma subscrição do Cloud Storage

Segue-se uma breve descrição do fluxo de trabalho que faz referência à Figura 1:

  1. O Pub/Sub usa a API Cloud Storage para enviar dados para o contentor do Cloud Storage. Após a conclusão bem-sucedida de uma operação de escrita, a API devolve uma resposta OK.

  2. As mensagens são enviadas em lotes para o contentor do Cloud Storage. Um único lote corresponde a um objeto armazenado no contentor do Cloud Storage. Pode configurar as definições de lote com base no tamanho do objeto e no tempo decorrido desde a criação do objeto.

  3. O fluxo de trabalho para escrever um objeto num contentor do Cloud Storage requer duas respostas OK. A primeira resposta OK é enviada quando uma mensagem é escrita com êxito num objeto. A segunda resposta OK é enviada quando o objeto que contém a mensagem é finalizado. Uma mensagem só fica visível no contentor depois de o objeto do Cloud Storage que a contém ter sido finalizado com êxito.

  4. Se ocorrerem falhas durante a operação de escrita, a própria mensagem do Pub/Sub é reconhecida negativamente. Em seguida, a mensagem é reenviada. Se a operação de escrita de mensagens falhar um número suficiente de vezes e tiver um tópico de mensagens rejeitadas configurado na subscrição, a mensagem é movida para o tópico de mensagens rejeitadas.

Propriedades de uma subscrição do Cloud Storage

Quando cria uma subscrição do Cloud Storage, tem de especificar algumas propriedades adicionais. Estas propriedades incluem propriedades de subscrição comuns, requisitos de formato e nome de ficheiro, requisitos de armazenamento e muito mais. Para saber mais acerca destas propriedades, consulte o artigo Propriedades da subscrição do armazenamento na nuvem.

Resolva falhas de mensagens

Quando não é possível escrever uma mensagem do Pub/Sub num contentor do Cloud Storage, não é possível acusar a receção da mensagem. Para encaminhar essas mensagens não entregues, configure um tópico de mensagens não entregues na subscrição do Cloud Storage.

Se o Pub/Sub não conseguir escrever mensagens no Cloud Storage, o Pub/Sub recua na entrega de mensagens de forma semelhante ao comportamento de recuo de envio.

Quotas

As limitações de quota aplicam-se ao débito do subscritor do Cloud Storage para cada região. Para informações sobre as quotas das subscrições do Cloud Storage, consulte os limites de quotas de subscrições de exportação em Quotas e limites do Pub/Sub.

Preços

Para informações sobre os preços das subscrições do Cloud Storage, consulte a página de preços do Pub/Sub.

O que se segue?