MoveHDFS

 

Olá, seja bem-vindo a mais uma aula do curso Desenvolvimento com Apache Nifi.

Nesta aula vamos falar sobre o processor MoveHDFS.

Este processor renomeia e move arquivos existentes ou um diretório de arquivos (não recursivo) no Hadoop Distributed File System (HDFS).

Abaixo temos uma lista com as suas propriedades:

Hadoop Configuration Resources: Um arquivo ou lista de arquivos separados por vírgula que contém a configuração do sistema de arquivos do Hadoop. Sem isso, o Hadoop pesquisará o classpath por um arquivo 'core-site.xml' e 'hdfs-site.xml' ou reverterá para uma configuração padrão Para usar swebhdfs, veja a seção 'Detalhes Adicionais' da documentação do PutHDFS.Esta propriedade espera uma lista separada por vírgulas de recursos de arquivo.Suporta Expression Language: true (será avaliado usando apenas registro de variável)


Kerberos Credentials Service: Especifica o serviço do controlador de credenciais Kerberos que deve ser usado para autenticação com o Kerberos


Kerberos User Service: Especifica o serviço de controlador de usuário Kerberos que deve ser usado para autenticação com Kerberos


Kerberos Principal: Kerberos principal para autenticar como. Requer que nifi.kerberos.krb5.file seja definido em seu nifi.propertiesSuporta Expression Language: true (será avaliado usando apenas registro de variável)


Kerberos Keytab: Kerberos keytab associado ao principal. Requer que nifi.kerberos.krb5.file seja definido em seu nifi.propertiesEsta propriedade requer que seja fornecido exatamente um arquivo.Suporta Expression Language: true (será avaliado usando apenas registro de variável)


Kerberos Password: Senha do Kerberos associada ao principal.Propriedade sensível: true


Kerberos Relogin Period: Período de tempo que deve passar antes de tentar um novo login do kerberos. Esta propriedade foi descontinuada e não tem efeito no processamento. Os novos logins agora ocorrem automaticamente.Suporta Expression Language: true (será avaliado usando apenas registro de variável)


Additional Classpath Resources: Uma lista separada por vírgulas de caminhos para arquivos e/ou diretórios que serão adicionados ao classpath e usados para carregar bibliotecas nativas. Ao especificar um diretório, todos os arquivos contidos no diretório serão adicionados ao classpath, mas diretórios não serão incluídos.Esta propriedade espera uma lista de recursos separados por vírgulas. Cada um dos recursos pode ser de qualquer um dos seguintes tipos: arquivo, diretório.


Conflict Resolution Strategy: Indica o que deve acontecer quando um arquivo com o mesmo nome já existe no diretório de saída


Input Directory or File: O diretório HDFS a partir do qual os arquivos devem ser lidos ou um único arquivo a ser lido.Suporta Expression Language: true (será avaliado usando atributos de arquivo de fluxo e registro de variável)


Output Directory: O diretório HDFS para onde os arquivos serão movidosSuporta Expression Language: true (será avaliado usando atributos de arquivo de fluxo e registro de variável)


HDFS Operation: A operação que será executada no arquivo de origem


File Filter Regex: Uma Expressão Regular Java para filtrar nomes de arquivos; se um filtro for fornecido, apenas os arquivos cujos nomes correspondem a essa Expressão Regular serão buscados, caso contrário, todos os arquivos serão buscados


Ignore Dotted Files: Se true, os arquivos cujos nomes começam com um ponto ("".") serão ignorados


Remote Owner: Altera o proprietário do arquivo HDFS para esse valor após a gravação. Isso só funciona se o NiFi estiver sendo executado como um usuário com privilégio de superusuário HDFS para alterar o proprietário


Remote Group: Altera o grupo do arquivo HDFS para este valor após a gravação. Isso só funciona se o NiFi estiver sendo executado como um usuário com privilégio de superusuário HDFS para alterar o grupo