fsck - Cómo obtener hadoop put para crear directorios si no existen

hdfs fsck command

Question

He estado usando el hadoop de Cloudera (0.20.2). Con esta versión, si pongo un archivo en el sistema de archivos, pero la estructura de directorios no existía, se crearon automáticamente los directorios principales:

Entonces, por ejemplo, si no tuviera directorios en hdfs y escribiera:

hadoop fs -put myfile.txt /some/non/existing/path/myfile.txt

Crearía todos los directorios: algunos, no, existentes y ruta y pondría el archivo allí.

Ahora, con una nueva oferta de hadoop (2.2.0), esta creación automática de directorios no está ocurriendo. El mismo comando de arriba rinde:

poner: `/ some / non / existing / path / '': No existe tal archivo o directorio

Tengo una solución para hacer hadoop fs -mkdir primero, para cada puesto, pero esto no va a funcionar bien.

¿Es esto configurable? ¿Algún consejo?

Answer 1

Ahora deberías usar hadoop fs -mkdir -p <path>

Answer 2

Colocar un archivo en un directorio no existente en hdfs requiere un proceso de dos pasos. Como se indica en @ rt-vybor, use la opción ''-p'' para mkdir para crear múltiples elementos de ruta faltantes. Pero como el OP preguntó cómo colocar el archivo en hdfs, lo siguiente también realiza la colocación de hdfs, y tenga en cuenta que también puede (opcionalmente) verificar que la colocación se realizó correctamente y eliminar condicionalmente la copia local.

Primero cree la ruta del directorio relevante en hdfs, y luego coloque el archivo en hdfs. Desea verificar que el archivo exista antes de colocarlo en hdfs. Y es posible que desee registrar / mostrar que el archivo se ha colocado con éxito en hdfs. Lo siguiente combina todos los pasos.

fn=myfile.txt
if [ -f $fn ] ; then
  bfn=`basename $fn` #trim path from filename
  hdfs dfs -mkdir -p /here/is/some/non/existant/path/in/hdfs/
  hdfs dfs -put $fn /here/is/some/non/existant/path/in/hdfs/$bfn
  hdfs dfs -ls /here/is/some/non/existant/path/in/hdfs/$bfn
  success=$? #check whether file landed in hdfs
  if [ $success ] ; then
    echo "remove local copy of file $fn"
    #rm -f $fn #uncomment if you want to remove file
  fi
fi

Y puede convertir esto en un script de shell, tomando una ruta de hadoop, y una lista de archivos (también crea una sola ruta una vez),

#!/bin/bash
hdfsp=${1}
shift;
hdfs dfs -mkdir -p /here/is/some/non/existant/path/in/hdfs/
for fn in $*; do
  if [ -f $fn ] ; then
    bfn=`basename $fn` #trim path from filename
    hdfs dfs -put $fn /here/is/some/non/existant/path/in/hdfs/$bfn
    hdfs dfs -ls /here/is/some/non/existant/path/in/hdfs/$bfn >/dev/null
    success=$? #check whether file landed in hdfs
    if [ $success ] ; then
      echo "remove local copy of file $fn"
      #rm -f $fn #uncomment if you want to remove file
    fi
  fi
done

Answer 3

hadoop fs ... está en desuso en su lugar usa: hdfs dfs -mkdir ....