Comandos Hadoop para gerenciar arquivos no HDFS

Este tutorial ajuda você a aprender a gerenciar nossos arquivos no HDFS no Hadoop. Você aprenderá como criar, fazer upload, baixar e listar conteúdo em hdfs. Os comandos abaixo ajudarão você a criar uma estrutura de diretório em HDFs, copiar arquivos do sistema de arquivos local para HDFs e baixar arquivos de HDFs para arquivos locais. Também como fazer gerenciar arquivos em hdfs.

Crie diretório em HDFS

Toma o caminho Uri é como um argumento e cria um diretório ou vários diretórios.

hdfs dfs -mkdir  

Lembre -se de que você deve criar um diretório doméstico no HDFS com o nome de usuário do seu sistema. Por exemplo, você está conectado como hduser em seu sistema; portanto, primeiro crie /usuário /hduser, você receberá esse erro, agora crie estrutura de diretório dentro dele

hdfs dfs -mkdir /user/hduser hdfs dfs -mkdir /user/hduser/input hdfs dfs -mkdir /user/hduser/output hdfs dfs -mkdir /user/hduser/input/text /user/hadoop/input/xml 

Copie arquivos para HDFS

Depois de criar a estrutura do diretório, agora coloque alguns arquivos em HDFs do seu sistema de arquivos local.

hdfs dfs -put local_file hdfs_path 

Por exemplo, você tem Test1.TXT no diretório atual e /tmp/test2.xml No seu sistema de arquivos local.

hdfs dfs -put text1.txt/user/hduser/input/text/hdfs dfs -put/tmp/text2.xml/user/hduser/input/xml/ 

Listar arquivos de hdfs

Use os seguintes comandos de exemplo para listar o conteúdo do diretório em HDFS.

hdfs dfs -ls/user/hduser hdfs dfs -ls/user/hduser/input/hdfs dfs -ls/user/hduser/input/text/text/ 

Use -r para listar arquivos recursivamente dentro de diretórios. Por exemplo:

hdfs dfs -ls -r/user/hadoop/input/ 

Baixar arquivos de HDFS

Neste ponto, você aprendeu a copiar e listar arquivos para hdfs. Agora use os seguintes comandos de exemplo para como baixar/copiar arquivos de hdfs para o sistema de arquivos local.

hdfs dfs -get/user/hduser/input/text/test1.txt/tmp/hdfs dfs -get/user/hadoop/dir1/xml/test2.xml /tmp / 

aqui /tmp está no sistema de arquivos local do sistema.

Copie arquivos entre diretórios HDFS

Você pode copiar facilmente arquivos entre o sistema de arquivos HDFS usando a opção Distcp.

hdfs distcp/user/hduser/input/xml/text2.xml/user/hduser/saída hdfs distcp/user/hduser/input/text/text1.xml/usuário/hduser/saída