Olá, seja bem-vindo a mais uma aula do curso Desenvolvimento com Apache Nifi.
Nesta aula vamos falar sobre o processor FetchHDFS.
Este processor recupera um arquivo do HDFS. O conteúdo do FlowFile de entrada é substituÃdo pelo conteúdo do arquivo no HDFS. O arquivo no HDFS é deixado intacto sem que nenhuma alteração seja feita nele.
Abaixo temos uma lista com as suas propriedades:
- Hadoop Configuration Resources: Um arquivo ou lista de arquivos separados por vÃrgula que contém a configuração do sistema de arquivos do Hadoop. Sem isso, o Hadoop pesquisará o classpath por um arquivo 'core-site.xml' e 'hdfs-site.xml' ou reverterá para uma configuração padrão
- Kerberos Credentials Service: Especifica o serviço do controlador de credenciais Kerberos que deve ser usado para autenticação com o Kerberos
- Kerberos User Service: Especifica o serviço de controlador de usuário Kerberos que deve ser usado para autenticação com Kerberos
- Kerberos Principal: Kerberos principal para autenticar como. Requer que nifi.kerberos.krb5.file seja definido em seu nifi.properties
- Kerberos Keytab: Kerberos keytab associado ao principal. Requer que nifi.kerberos.krb5.file seja definido em seu nifi.propertiesEsta propriedade requer que seja fornecido exatamente um arquivo
- Kerberos Password: Senha do Kerberos associada ao principal.Propriedade sensÃvel: true
- Kerberos Relogin Period: PerÃodo de tempo que deve passar antes de tentar um novo login do kerberos. Esta propriedade foi descontinuada e não tem efeito no processamento. Os novos logins agora ocorrem automaticamente.
- Additional Classpath Resources: Uma lista separada por vÃrgulas de caminhos para arquivos e/ou diretórios que serão adicionados ao classpath e usados para carregar bibliotecas nativas. Ao especificar um diretório, todos os arquivos contidos no diretório serão adicionados ao classpath, mas diretórios não serão incluÃdos.Esta propriedade espera uma lista de recursos separados por vÃrgulas. Cada um dos recursos pode ser de qualquer um dos seguintes tipos: arquivo, diretório.
- HDFS Filename: O nome do arquivo HDFS para recuperar
- Compression codec: Tipo de compressão do arquivo a ser lido
Os relacionamentos permitidos para direcionar ou terminar um flowfile são:
- success= Os FlowFiles serão roteados para este relacionamento assim que forem atualizados com o conteúdo do arquivo HDFS
- comms.failure= Os FlowFiles serão roteados para este relacionamento se o conteúdo do arquivo HDFS não puder ser recuperado devido a uma falha de comunicação. Isso geralmente indica que o Fetch deve ser tentado novamente.
- failure= Os FlowFiles serão roteados para esse relacionamento se o conteúdo do arquivo HDFS não puder ser recuperado e tentar novamente provavelmente não será útil. Isso ocorreria, por exemplo, se o arquivo não for encontrado ou se houver um problema de permissão
