hadoop - spark - hdinsight

Spark No se puede cargar la biblioteca nativa-hadoop para su plataforma (2)

Descargue hadoop binary ( link ) y colóquelo en su directorio de inicio (si lo desea, puede elegir una versión diferente de hadoop y cambiar los siguientes pasos en consecuencia)
Descomprima la carpeta en su directorio de inicio usando el siguiente comando. tar -zxvf hadoop_file_name
Ahora agregue exportar HADOOP_HOME = ~ / hadoop-2.8.0 a su archivo .bashrc. Abre una nueva terminal y vuelve a intentarlo.

Soy un maniquí en Ubuntu 16.04, intentando desesperadamente hacer que Spark funcione. He intentado solucionar mi problema usando las respuestas que se encuentran aquí en stackoverflow pero no pude resolver nada. Al iniciar spark con el comando ./spark-shell desde la carpeta bin, recibo este mensaje

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable".

Estoy usando la versión de Java es

java version "1.8.0_101 Java(TM) SE Runtime Environment (build 1.8.0_101-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode).

Spark es la última versión: 2.0.1 con Hadoop 2. 7. También he intentado con un paquete anterior de Spark, el 1.6.2 con Hadoop 2.4, pero obtengo el mismo resultado. También intenté instalar Spark en Windows, pero parece más difícil que hacerlo en Ubuntu.

También intenté ejecutar algunos comandos en Spark desde mi computadora portátil: puedo definir un objeto, puedo crear un RDD y almacenarlo en el caché y puedo usar la función como .map() , pero cuando intento ejecutar la función .reduceByKey() Recibo varias cadenas de mensajes de error.

Puede ser que sea la biblioteca de Hadoop compilada para 32 bits, mientras estoy en 64 bits?

Gracias.

Pasos para arreglar:

descargar binarios de Hadoop
desempaquetar al directorio de su elección
configura HADOOP_HOME para que apunte a ese directorio.
agregue $HADOOP_HOME/lib/native a LD_LIBRARY_PATH .