DataOps no Google Cloud Platform

Atualmente podemos dizer que um dos ativos mais valiosos de uma empresa são seus dados, com eles é possível traçar as mais diversas estratégias de vendas, marketing ou até mesmo conhecer melhor os seus clientes e potenciais clientes.

Mas nem sempre essas informações são aproveitadas ao máximo ou até mesmo conhecidas, muitas vezes estão dispersos, espalhados em vários locais diferentes, sem nenhum padrão ou governança.

Para poder utilizar ao máximo os nossos dados podemos utilizar da prática de DataOps.

O que é DataOps?

Derivado do DevOps, o DataOps ou Data Operations é uma metodologia com uma série de práticas, processos e que utilizam de tecnologia e ferramentas para melhorar a velocidade, agilidade e melhora continua no processamento e tratamento de dados.

É aplicada de forma End-to-End, desde a preparação do dado até a criação de dashboads.

É muito importante para auxiliar as empresas a conhecer e utilizar os seus dados.

Com o crescimento da utilização da computação em Nuvem, muitas vezes podemos ficar perdidos em como aplicar essas práticas em determinada plataforma, já que, no DataOps não estamos presos a uma ferramenta especifica, pois o DataOps é um conceito e não um software.

Um dos benefícios da adoção de DataOps é juntar o uso das ferramentas de processamento de dados com este conceito junto com princípios de governança e segurança.

Princípios do DataOps

Existe uma iniciativa que está sendo apoiada por alguns profissionais/empresas referente a DataOps, seria o site DataOpsManifesto, nele existem uma série de “princípios” que o DataOps segue, são eles:

Satisfaça continuamente o seu cliente: A maior prioridade é satisfazer o cliente por meio da entrega antecipada e contínua de insights analíticos valiosos de alguns minutos a semanas.

Valor do trabalho analítico: A principal medida do desempenho da análise de dados é o grau em que as análises são entregues, incorporando dados precisos, a bases de dados e sistemas robustos.

Abrace a mudança: São acolhidas as necessidades dos clientes e adotadas para gerar vantagem competitiva. O método de comunicação mais eficiente, eficaz e ágil com os clientes é a conversa face a face.

É um esporte em equipe: As equipes analíticas sempre terão uma variedade de funções, habilidades, ferramentas favoritas e títulos. Uma diversidade de origens e opiniões aumenta a inovação e a produtividade.

Interações diárias: Clientes, equipes analíticas e operações devem trabalhar juntos diariamente durante todo o projeto.

Auto-organização: Os melhores insights analíticos, algoritmos, arquiteturas, requisitos e designs surgem de equipes auto-organizadas.

Reduzir o heroísmo: À medida que o ritmo e a amplitude da necessidade de insights analíticos aumentam, as equipes analíticas devem se esforçar para reduzir o heroísmo e criar equipes e processos de análise de dados sustentáveis e escaláveis.

Reflita: As equipes analíticas devem ajustar seu desempenho operacional refletindo, em intervalos regulares, sobre o feedback fornecido por seus clientes, por eles mesmos e pelas estatísticas operacionais.

Códigos: As equipes analíticas usam uma variedade de ferramentas individuais para acessar, integrar, modelar e visualizar dados. Fundamentalmente, cada uma dessas ferramentas gera código e configuração que descrevem as ações realizadas nos dados para fornecer insights.

Orquestração: Orquestração de dados, ferramentas, códigos, ambientes e equipes de trabalho são fatores-chave para o sucesso dos projetos de análise de dados.

Faça tudo ser reproduzível: São necessários resultados reproduzíveis e é importante o versionamente de tudo: dados, configurações de hardware e software, código e configurações específicas de cada ferramenta utilizada.

Ambientes descartáveis: É importante minimizar o custo para os membros das equipes de análise de dados fazerem testes e experimentos, proporcionando-lhes facilidade de criar ambientes técnicos descartáveis, isolados e seguros que reflitam o ambiente de produção.

Simplicidade: A atenção contínua à excelência técnica e ao bom design aumenta a agilidade; bem como a simplicidade – a arte de maximizar a quantidade de trabalho não feito – é essencial.

Análise de dados como se fosse uma fábrica: Os pipelines de análise de dados são análogos às linhas de fabricação enxuta. Um conceito fundamental de DataOps é o foco no pensamento processual destinado a alcançar eficiência contínua na construção de insights analíticos.

A qualidade é primordial: Os pipelines de análise de dados devem ser construídos de forma que seja possível detectar automaticamente erros no código, configuração e dados, e devem fornecer feedback contínuo aos operadores para evitar erros.

Monitorar a qualidade e o desempenho: O objetivo é ter medidas de desempenho e qualidade que sejam monitoradas continuamente para detectar variações inesperadas e gerar estatísticas operacionais.

Reuso: Um aspecto fundamental da eficiência de fabricação de insights analíticos é evitar a repetição de trabalhos anteriores do indivíduo ou da equipe.

Melhorar os tempos dos ciclos: É importante minimizar o tempo e o esforço para transformar a necessidade de um cliente em uma idéia analítica, criá-la em desenvolvimento, liberá-la como um processo de produção repetível e, finalmente, refatorar e reutilizar esse produto.

Hoje abordaremos como podemos aplicar o DataOps na Google Cloud Platform, quais componentes melhor se encaixam em cada umas das etapas do processamento de dados:

1 - Orquestração de pipeline de dados: no DataOps é recomendado que os processos estejam bem orquestrados. Para esta etapa podemos utilizar dentro do GCP:

Cloud Composer: Um serviço de orquestração de fluxos de trabalho totalmente gerenciado criado no Apache Airflow.

2 - Monitoramento e alertas: um dos objetivos do DataOps é ter medidas de desempenho e qualidade que sejam monitoradas continuamente para detectar variações inesperadas e gerar estatísticas operacionais.