Olá, seja bem-vindo a mais uma aula do curso Desenvolvimento com Apache Nifi.
Nesta aula vamos falar sobre o processor PutHDFS.
Este processor grava dados do FlowFile no Hadoop Distributed File System (HDFS)
Abaixo temos uma lista com as suas propriedades:
Hadoop Configuration Resources: Um arquivo ou lista de arquivos separados por vÃrgula que contém a configuração do sistema de arquivos do Hadoop. Sem isso, o Hadoop pesquisará o classpath por um arquivo 'core-site.xml' e 'hdfs-site.xml' ou reverterá para uma configuração padrão Para usar swebhdfs, veja a seção 'Detalhes Adicionais' da documentação do PutHDFS.Esta propriedade espera uma lista separada por vÃrgulas de recursos de arquivo.Suporta Expression Language: true (será avaliado usando apenas registro de variável)
Kerberos Credentials Service: Especifica o serviço do controlador de credenciais Kerberos que deve ser usado para autenticação com o Kerberos
Kerberos User Service: Especifica o serviço de controlador de usuário Kerberos que deve ser usado para autenticação com Kerberos
Kerberos Principal: Kerberos principal para autenticar como. Requer que nifi.kerberos.krb5.file seja definido em seu nifi.propertiesSuporta Expression Language: true (será avaliado usando apenas registro de variável)
Kerberos Keytab: Kerberos keytab associado ao principal. Requer que nifi.kerberos.krb5.file seja definido em seu nifi.propertiesEsta propriedade requer que seja fornecido exatamente um arquivo.Suporta Expression Language: true (será avaliado usando apenas registro de variável)
Kerberos Password: Senha do Kerberos associada ao principal.Propriedade sensÃvel: true
Kerberos Relogin Period: PerÃodo de tempo que deve passar antes de tentar um novo login do kerberos. Esta propriedade foi descontinuada e não tem efeito no processamento. Os novos logins agora ocorrem automaticamente.Suporta Expression Language: true (será avaliado usando apenas registro de variável)
Additional Classpath Resources: Uma lista separada por vÃrgulas de caminhos para arquivos e/ou diretórios que serão adicionados ao classpath e usados para carregar bibliotecas nativas. Ao especificar um diretório, todos os arquivos contidos no diretório serão adicionados ao classpath, mas diretórios não serão incluÃdos.Esta propriedade espera uma lista de recursos separados por vÃrgulas. Cada um dos recursos pode ser de qualquer um dos seguintes tipos: arquivo, diretório.
Directory: O diretório HDFS pai no qual os arquivos devem ser gravados. O diretório será criado se não existir.Suporta Expression Language: true (será avaliado usando atributos de arquivo de fluxo e registro de variável)
Conflict Resolution Strategy: Indica o que deve acontecer quando um arquivo com o mesmo nome já existe no diretório de saÃda
Writing Strategy: Define a abordagem para gravar os dados FlowFile.
Block Size: Tamanho de cada bloco conforme gravado no HDFS. Isso substitui a configuração do Hadoop
IO Buffer Size: Quantidade de memória a ser usada para armazenar em buffer o conteúdo do arquivo durante a E/S. Isso substitui a configuração do Hadoop
Replication: Número de vezes que o HDFS replicará cada arquivo. Isso substitui a configuração do Hadoop
Permissions umask: Um umask representado como um número octal que determina as permissões dos arquivos gravados no HDFS. Isso substitui a propriedade do Hadoop "fs.permissions.umask-mode". Se esta propriedade e "fs.permissions.umask-mode" estiverem indefinidos, o padrão do Hadoop "022" será usado. Se a pasta de destino PutHDFS tiver uma ACL padrão definida, a propriedade umask será ignorada pelo HDFS.
Remote Owner: Altera o proprietário do arquivo HDFS para este valor após a gravação. Isso só funciona se o NiFi estiver sendo executado como um usuário com privilégio de superusuário HDFS para alterar o proprietárioSuporta Expression Language: true (será avaliado usando atributos de arquivo de fluxo e registro de variável)
Remote Group: Altera o grupo do arquivo HDFS para este valor após a gravação. Isso só funciona se o NiFi estiver sendo executado como um usuário que tenha privilégio de superusuário HDFS para alterar o grupoSuporta Expression Language: true (será avaliado usando atributos de arquivo de fluxo e registro de variável)
Compression codec: Nenhuma descrição fornecida.
Ignore Locality: Direciona o sistema HDFS para ignorar as regras de localidade para que os dados sejam distribuÃdos aleatoriamente em todo o cluster
