hadoop - software - Excepción al eliminar Spark temp dir en Windows 7 64 bit

spark mapreduce

Question

Estoy tratando de ejecutar la prueba unitaria del trabajo de chispa en Windows 7 de 64 bits. yo tengo

HADOOP_HOME=D:/winutils

winutils path= D:/winutils/bin/winutils.exe

Corrí debajo de los comandos:

winutils ls /tmp/hive
winutils chmod -R 777  /tmp/hive

Pero cuando ejecuto mi prueba obtengo el siguiente error.

Running com.dnb.trade.ui.ingest.spark.utils.ExperiencesUtilTest
Tests run: 17, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.132 sec
17/01/24 15:37:53 INFO Remoting: Remoting shut down
17/01/24 15:37:53 ERROR ShutdownHookManager: Exception while deleting Spark temp dir: C:/Users/415387/AppData/Local/Temp/spark-b1672cf6-989f-4890-93a0-c945ff147554
java.io.IOException: Failed to delete: C:/Users/415387/AppData/Local/Temp/spark-b1672cf6-989f-4890-93a0-c945ff147554
        at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:929)
        at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:65)
        at .....

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=786m; support was removed in 8.0

Caused by: java.lang.RuntimeException: java.io.IOException: Access is denied
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:525)
        ... 28 more
Caused by: java.io.IOException: Access is denied
        at java.io.WinNTFileSystem.createFileExclusively(Native Method)

He intentado cambiar la permición de forma manual. Cada vez que recibo el mismo error.

Por favor ayuda

Answer 1

Establecí la variable HADOOP_HOME de la misma manera que tu. (En Windows 10)

Intente usar la ruta completa al configurar los permisos, es decir,

D:> winutils / bin / winutils.exe chmod 777 / tmp / colmena

Esto funcionó para mí.

Además, solo una nota sobre la excepción: recibo la misma excepción al salir de la chispa de cmd ejecutando "sys.exit".

Pero ... puedo salir limpiamente cuando uso ": q" o ": quit". Entonces, no estoy seguro de lo que está sucediendo aquí, todavía estoy tratando de descubrir ...

Answer 2

Estoy enfrentando el mismo problema después de intentar ejecutar el ejemplo de WordCount con el comando spark-submit . En este momento, lo ignoro porque devuelve los resultados antes de que ocurra el error.

Encontré algunos problemas antiguos en la chispa de Jira, pero no encontré ninguna solución. (Por cierto, uno de ellos tiene el estado cerrado).

https://issues.apache.org/jira/browse/SPARK-8333

https://issues.apache.org/jira/browse/SPARK-12216

Desafortunadamente parece que no les importa chispa en las ventanas en absoluto.

Una mala solución es otorgar permiso a la carpeta Temp (en su caso * C: / Users / 415387 / AppData / Local / Temp *) a todos.

Entonces será así:

winutils chmod -R 777 C:/Users/415387/AppData/Local/Temp/

Pero te recomiendo encarecidamente que no hagas eso.

Answer 3

Estaba enfrentando un problema similar. Cambié el permiso a la carpeta / tmp en lugar de / tmp / hive

D:> winutils / bin / winutils.exe chmod 777 / tmp

No aparece ningún error después de esto y hay una salida limpia

Answer 4

Ejecutar Spark en Windows tiene este problema de eliminación de la temperatura de Spark. Puede configurarlo de la siguiente manera para ocultarlo.

Logger.getLogger("org").setLevel(Level.FATAL)