Hadoop: operaciones HDFS

Iniciando HDFS

Inicialmente, debe formatear el sistema de archivos HDFS configurado, abrir namenode (servidor HDFS) y ejecutar el siguiente comando.

$ hadoop namenode -format

Después de formatear el HDFS, inicie el sistema de archivos distribuido. El siguiente comando iniciará el nodo de nombre y los nodos de datos como clúster.

$ start-dfs.sh

Listado de archivos en HDFS

Luego de cargar la información en el servidor, podemos encontrar la lista de archivos en un directorio, estado de un archivo, usando ‘ls’. A continuación se muestra la sintaxis dels que puede pasar a un directorio o un nombre de archivo como argumento.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Insertar datos en HDFS

Supongamos que tenemos datos en el archivo llamado file.txt en el sistema local, que deben guardarse en el sistema de archivos hdfs. Siga los pasos que se indican a continuación para insertar el archivo requerido en el sistema de archivos de Hadoop.

Paso 1

Tienes que crear un directorio de entrada.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Paso 2

Transfiera y almacene un archivo de datos de los sistemas locales al sistema de archivos de Hadoop usando el comando put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Paso 3

Puede verificar el archivo usando el comando ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Recuperando datos de HDFS

Supongamos que tenemos un archivo en HDFS llamado outfile. A continuación se muestra una demostración simple para recuperar el archivo requerido del sistema de archivos Hadoop.

Paso 1

Inicialmente, vea los datos de HDFS usando cat mando.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Paso 2

Obtenga el archivo de HDFS al sistema de archivos local usando get mando.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Apagando el HDFS

Puede apagar el HDFS mediante el siguiente comando.

$ stop-dfs.sh