Configure o acesso a uma origem: Amazon S3

Pode configurar o acesso a um contentor do Amazon S3 através de um dos dois métodos:

• Credenciais de acesso
• Identidade federada

Regiões suportadas

Autorizações necessárias

Para usar o serviço de transferência de armazenamento para mover dados de um contentor do Amazon S3, a sua conta de utilizador ou função de identidade federada tem de ter as autorizações adequadas para o contentor:

Autentique-se através de credenciais de acesso

Para usar um ID da chave de acesso e uma chave secreta para autenticar na AWS:

1. Crie um utilizador do AWS Identity and Access Management (AWS IAM) com um nome que possa reconhecer facilmente, como transfer-user.

2. Para o tipo de acesso da AWS, selecione Chave de acesso – acesso programático.

3. Conceda uma das seguintes funções ao utilizador:

   • AmazonS3ReadOnlyAccess para fornecer acesso só de leitura à origem. Isto permite transferências, mas não suporta a eliminação de objetos na origem assim que a transferência estiver concluída.
   • AmazonS3FullAccess se a transferência estiver configurada para eliminar objetos na origem.

   • Uma função personalizada com as autorizações adequadas da tabela Autorizações necessárias acima. O JSON para as autorizações mínimas tem o seguinte aspeto:

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

4. Tome nota do ID da chave de acesso e da chave de acesso secreta quando o utilizador for criado com êxito.

A forma como transmite o ID da chave de acesso e a chave de acesso secreta ao serviço de transferência de armazenamento depende da interface que usa para iniciar a transferência.

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Guarde as suas credenciais de acesso no Secret Manager

O Secret Manager é um serviço seguro que armazena e gere dados confidenciais, como palavras-passe. Utiliza uma encriptação forte, um controlo de acesso baseado em funções e o registo de auditoria para proteger os seus segredos.

O Serviço de transferência de armazenamento pode tirar partido do Secret Manager para proteger as suas credenciais de acesso da AWS. Carrega as suas credenciais no Secret Manager e, em seguida, passa o nome do recurso secreto para o serviço de transferência de armazenamento.

Ative a API

Enable the Secret Manager API.

Enable the API

Configure autorizações adicionais

Autorizações do utilizador

O utilizador que cria o segredo requer a seguinte função:

• Administrador do Secret Manager (roles/secretmanager.admin)

Saiba como conceder uma função.

Autorizações do agente de serviço

O agente do serviço do Serviço de transferência de armazenamento requer a seguinte função do IAM:

• Secret Accessor do Secret Manager (roles/secretmanager.secretAccessor)

Para conceder a função ao agente do serviço:

Crie um segredo

Crie um segredo com o Secret Manager:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

gcloud secrets describe SECRET_NAME

Para ver mais detalhes sobre a criação e gestão de segredos, consulte a documentação do Secret Manager.

Transmita o seu segredo para o comando de criação de tarefas

A utilização do Secret Manager com o serviço de transferência de armazenamento requer a utilização da API REST para criar uma tarefa de transferência.

Transmita o nome do recurso do Secret Manager como o valor do campo transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

Autentique com uma identidade federada

Para usar a identidade federada para autenticar na AWS:

1. Crie uma nova função de IAM na AWS.

2. Selecione Política de fidedignidade personalizada como tipo de entidade fidedigna.

3. Copie e cole a seguinte política de confiança:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:sub": "SUBJECT_ID"
           }
         }
       }
     ]
   }
   

4. Substitua SUBJECT_ID pelo subjectID da conta de serviço gerida pela Google que é criada automaticamente quando começa a usar o Storage Transfer Service. Para aceder ao subjectID:

   1. Aceda à página de referência googleServiceAccounts.get.

      É aberto um painel interativo com o título Experimente este método.

   2. No painel, em Parâmetros do pedido, introduza o seu ID do projeto. O projeto que especificar aqui tem de ser o projeto que está a usar para gerir o serviço de transferência de armazenamento.

   3. Clique em Executar. O subjectId está incluído na resposta.

5. Conceda uma das seguintes políticas de autorizações à função:

   • AmazonS3ReadOnlyAccess fornece acesso só de leitura à origem. Isto permite transferências, mas não suporta a eliminação de objetos na origem assim que a transferência estiver concluída.
   • AmazonS3FullAccess se a transferência estiver configurada para eliminar objetos na origem.

   • Uma função personalizada com as autorizações adequadas da tabela Autorizações necessárias acima. O JSON para as autorizações mínimas tem o seguinte aspeto:

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

6. Atribua um nome à função e crie-a.

7. Depois de criada, veja os detalhes da função para obter o Nome do recurso da Amazon (ARN). Tome nota deste valor. Tem o formato arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME.

A forma como transmite o ARN ao serviço de transferência de armazenamento depende da interface que usa para iniciar a transferência.

{
  "roleArn": "ARN"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Restrições de IP

Se o seu projeto da AWS usar restrições de IP para aceder ao armazenamento, tem de adicionar os intervalos de IP usados pelos trabalhadores do serviço de transferência de armazenamento à sua lista de IPs permitidos.

Uma vez que estes intervalos de IP podem mudar, publicamos os valores atuais como um ficheiro JSON num endereço permanente:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Quando é adicionado um novo intervalo ao ficheiro, aguardamos, pelo menos, 7 dias antes de usar esse intervalo para pedidos do serviço de transferência de armazenamento.

Recomendamos que extraia dados deste documento, pelo menos, semanalmente para manter a sua configuração de segurança atualizada. Para ver um exemplo de script Python que obtenha intervalos de IP a partir de um ficheiro JSON, consulte este artigo da documentação da nuvem privada virtual.

Para adicionar estes intervalos como IPs permitidos, use o campo Condition numa política de contentor, conforme descrito na documentação do AWS S3: gerir o acesso com base em endereços IP específicos.