hadoop - pasa - ¿Cómo actualizar/borrar la memoria caché distribuida cuando se utiliza Hue+Beeswax para ejecutar consultas Hive que definen UDF personalizadas?

cómo borrar miscelaneos huawei

Question

He configurado un clúster de Hadoop (utilizando la distribución de Cloudera a través del Administrador de Cloudera) y estoy ejecutando algunas consultas de Hive usando la interfaz de Hue, que usa cera de abejas debajo.

Todas mis consultas funcionan bien e incluso he implementado con éxito una UDF personalizada.

Pero, al implementar el UDF, me encontré con un problema de versiones muy frustrante. En la versión inicial de mi clase UDF, utilicé una clase de terceros que causaba un StackOverflowError .

Solucioné este error y luego verifiqué que la UDF se puede implementar y utilizar con éxito desde la línea de comandos de la colmena.

Luego, cuando volví a usar Hue y Beeswax nuevamente, seguí recibiendo el mismo error. Podría arreglar esto solo cambiando mi nombre de clase de UDF java. (De Lower2 a Lower2 ).

Ahora, mi pregunta es , ¿cuál es la forma correcta de tratar este tipo de problemas de versión?

Por lo que entiendo, cuando agrego tarros usando los campos de formulario útiles a la izquierda, se agregan a la memoria caché distribuida. Entonces, ¿cómo actualizo / borro el caché distribuido? (No pude obtener LIST JARS; etc. para ejecutar desde Hive / Beeswax. Me da un error de sintaxis).

Answer 1

Dado que las clases se cargan en Beeswax Server JVM (lo mismo ocurre con HiveServer1 y HiveServer2 JVM), la implementación de una nueva versión de un jar a menudo podría requerir el reinicio de estos servicios para evitar dichos problemas de carga de clase.