Nesta postagem, falaremos como criar um fluxo de dados no Amazon Data Streams.
O que é o Amazon Kinesis?
"Colete, processe e analise facilmente streams de vÃdeo e dados em tempo real” - Amazon Web Services.
O Amazon Kinesis é um é um serviço de nuvem da AWS que permite coletar, processar e a analisar em tempo real streaming de dados, muitos dizem que ele é uma alternativa ao Apache Kafka podendo ser facilmente integrado com Apache Nifi, Apache Spark e outros componentes da AWS.
Ele possui alguns componentes, são eles:
- Kinesis Video Streams: Permite que dispositivos conectados a AWS façam de forma segura streaming de vÃdeos.
- Kinesis Data Streams: Permite realizar a ingestão de dados em tempo real de forma continua, podendo a chegar a gigabytes por segundo. Por padrão seus dados são armazenados por 24 horas(podendo chegar até 7 dias), ou seja, você tem um perÃodo para consumir esses dados e diferentemente de ferramentas semelhantes o dado não é deletado após consumo, assim, é possÃvel reprocessar os dados, desde que esteja dentro do perÃodo de armazenamento
- Kinesis Data Firehose: Permite realizar quase em tempo real(tem latência mÃnima de 60 segundos) a carga de streaming de dados em datastores da AWS, como o Redshift, Splunk, ElasticSearch ou S3 por exemplo.
- Kinesis Data Analytics: Permite realizar analises em streaming de dados utilizando a linguagem SQL ou o próprio Apache Flink.
Passo a Passo
1. O primeiro passo a fazer é o login em sua conta da AWS.
2. Na tela inicial, na opção de localizar serviços, procure por Kinesis:
3. Selecione Kinesis Data Streams e clique em Criar fluxo de dados:
4. Defina um nome para seu fluxo:
5. Defina o número de fragmentos em 5 e clique em Criar fluxo de dados:
Referências
- Amazon Kinesis
