Introdução ao IICS - Parte 3

 



Data Integration tasks

São os processos que podemos criar para poder Extrair, Analizar, Transformar ou carregar dados.

Conforme dito no post anterior, as tasks podem ser de tipos diferentes, são eles:

  • Synchronization Task(Tarefa de Sincronização):

As tarefas de sincronização são usadas para sincronizar dados entre uma origem e um destino.

Aceita como source e/ou target dados provenientes de: Base de dados (database oracle por exemplo), Flat file e Salesforce.

  • Replication Task(Tarefa de Replicação):

As tarefas de replicação são usadas para replicar os dados de uma origem para um destino.

Você pode replicar dados para fazer backup dos dados ou executar relatórios offline.

É possível replicar uma base de dados em um arquivo por exemplo.

Aceita como source e/ou target dados provenientes de: Base de dados (database oracle por exemplo), Flat file e Salesforce.

  • Mapping Task(Tarefa de Mapeamento):

As tarefas de mapeamento são usadas para mapear os dados de uma origem com base na lógica de um fluxo de dados definida em um mapeamento ou de um modelo do Visio.

  • Mass Ingestion Task(Tarefa de ingestão em massa):

As tarefas de ingestão em massa são usadas para transferir grandes volumes de arquivos/dados entre ambientes locais e na nuvem.

  • Masking Task(Tarefa de Mascaramento):

As tarefas de mascaramento são usadas para mascarar os campos com conteúdo confidencial.

Muito usado para ter dados realistas para realização de testes para ambientes de não produção.

  • PowerCenter Task(Tarefa do PowerCenter):

As tarefas do PowerCenter são usadas para importar um fluxo de trabalho do PowerCenter e executá-lo como uma tarefa do Data Integration PowerCenter.

Cloud Data Integration Assets:

Um Asset seria uma task criada no IICS, além dos tipos de tasks mencionados no tópico anterior também podemos citar:

  • Mapping(Mapeamento):

Um mapeamento define uma lógica de fluxo de dados reutilizável que você pode usar em tarefas de mapeamento.

  • Taskflows(Fluxo de tarefa):

Um fluxo de tarefa controla a sequência de execução das Tasks. É necessário que as Tasks já estejam criadas para adicionar com Taskflow

Cloud Data Integration Components:

Os componentes são usados nos assets, os componentem vão oferecer suporte para os mapeamentos e tarefas.

  • Business Service

Um Business Service é um serviço web com operações configuradas que podem ser usadas em vários mappings.

Pode adicionar operações à transformação de Serviços Web no Mapping Designer.

  • Inteligent Structure Model

Um Inteligent Structure Model é um asset baseado em um arquivo de amostra de dados com pouca ou nenhuma estrutura.

No Intelligent Structure Discovery é determinado os padrões desse arquivo de amostra e é criado um modelo que pode ser usado para transformar, analisar e gerar grupos de saída.

  • Mapplets

Um mapplet é uma lógica de transformação reutilizável que você pode usar para transformar os dados de origem antes da carga no destino.

  • Shared Sequences

As Shared Sequences são sequences reutilizáveis que você pode usar em várias transformações.

  • Saved Query

A Saved Query permite executar comandos SQL em um banco de dados.

Pode ser usado em o objeto de Source em uma tarefa de sincronização ou como a consulta em uma transformação SQL.

Geralmente é usada quando uma conexão de banco de dados não pode ser configurada usando as opções de fonte única ou múltipla de objeto em uma tarefa de sincronização.

  • User-defined functions

São as funções criadas por um usuário, essas funções são reutilizáveis e usam a mesma sintaxe e componentes de linguagem de transformação que as expressões de transformação e de campo. É importante mencionar que atualmente não podemos usar uma User-defined functions em uma expressão em uma tarefa de sincronização.

  • Hierarchical Schema

Um Hierarchical Schema é um asset para Schema files ou arquivos JSON de amostra que você importa para o Data Integration.

O esquema define a hierarquia esperada nos dados de saída.

  • File Listener

Um file listener permite o "monitoramento" em um diretório definido permitindo receber eventos ao um novo arquivo ser criado, modificado ou excluido.

Connections

É um objeto que permite que a ferramenta acesse os dados de um ambiente local ou ambiente nuvem.

Podemos criar as Connections usando os conectores (connectors).

O IICS possui dois tipos de conectores, os nativos e os Add-On:

  • Native(Nativos):

Esse tipo de conector já estariam prontos para utilização sem quaisquer configurações além do necessário.

Exemplo: Conector Oracle ou Flat File.

  • Add-On(Adicionados):

Esse tipo foi criado pela Informatica ou por um parceiro da Informatica. Para utiliza-lo é necessário adicionar esse conector a uma organização. Ele está disponível para todos os usuários do IICS.

Referências