Como exportar dados do BigQuery para o Cloud Storage pelo console

Nesta postagem, falaremos como realizar pelo console a exportação de uma tabela que esteja no BigQuery para um bucket do Cloud Storage.

O que é BigQuery?

É um data warehouse totalmente gerenciado que permite realizar análises em um grande conjunto de dados, no patamar de petabytes.

Suporta consultas no formato ANSI SQL e criação de modelos de Machine Learning (ML) em uma sintaxe semelhante ao SQL.

O que é Cloud Storage?

Fornece, a nível mundial, um armazenamento de objetos altamente durável que escalona para exabytes de dados. É possível acessar dados instantaneamente de qualquer classe de armazenamento, integrar o armazenamento aos seus aplicativos com uma API exclusiva unificada e otimizar o preço e desempenho de forma fácil.

Passo a Passo

1. O primeiro passo a fazer é o login em sua conta do GCP, para este tutorial você vai precisar de uma conta que possua um projeto.

2. Vá até o console do BigQuery e crie um novo conjunto de dados:

3. Insira um nome para o conjunto de dados e clique em criar:

4. Crie a tabela "clientes" a partir da query abaixo, vamos usar esses dados para fazer a exportação:

create table dataset_teste.clientes as
SELECT cliente_id, nome
FROM (
  SELECT 1 AS cliente_id,'José' Nome UNION ALL
  SELECT 2 AS cliente_id,'Maria' Nome UNION ALL
  SELECT 3 AS cliente_id,'João' Nome UNION ALL
  SELECT 4 AS cliente_id,'Pedro' Nome UNION ALL
  SELECT 5 AS cliente_id,'Ana' Nome 
  ) AS Clientes;

5. Vá até a barra superior e clique no ícone do Cloud Shell, igual a imagem abaixo.

6. Criaremos o bucket do Cloud Storage em que iremos exportar nossa tabela:

gsutil mb -l us-central1 gs://[PROJECT_ID]-tabelas

7. Volte no console do BigQuery e selecione a tabela criada no passo 4 e clique em exportar para o GCS (Google Cloud Storage):

7. Insira a localização do seu bucket, o formato de exportação (atualmente é suportado os formatos CSV, Json e Avro) e clique em exportar:

Observação:

Existe um limite no tamanho do arquivo a ser gerado, o BigQuery suporta exportar até 1 GB de dados em um único arquivo.

Para exportar mais de 1 GB de dados, é possível exportar em vários arquivos, porém o tamanho é variado entre esses arquivos, para adotar essa abordagem use o caractere curinga ('*') após o caminho do Storage.

Referências