hive - ¿Cómo acceder a las UDF personalizadas a través de Spark Thrift Server?
user-defined-functions amazon-emr (0)
Estoy ejecutando Spark Thrift Server en EMR. Inicié el Spark Thrift Server por:
sudo -u spark /usr/lib/spark/sbin/start-thriftserver.sh --queue interactive.thrift --jars /opt/lib/custom-udfs.jar
Tenga en cuenta que tengo un jar UDF de cliente y quiero agregarlo a la classpath Thrift Server, así que agregué --jars /opt/lib/custom-udfs.jar en el comando anterior.
Una vez que estoy en mi EMR, emití lo siguiente para conectarme al Spark Thrift Server.
beeline -u jdbc:hive2://localhost:10000/default
Luego pude emitir comandos como mostrar bases de datos. ¿Pero cómo puedo acceder al UDF personalizado? Pensé al agregar la opción --jars en la secuencia de comandos de inicio de Thrift Server, que agregaría también el uso del recurso jar para Hive.
La única forma en que puedo acceder a la UDF personalizada ahora es agregando el jar UDF del cliente al recurso Hive
add jar /opt/lib/custom-udfs.jar
Luego crea la función del UDF.
Pregunta: ¿Hay alguna manera de autoconfigurar el contenedor UDF personalizado sin agregar jar cada vez a la sesión de chispa?
¡Gracias!