apache-spark - org - spark sql example

Spark sql 2.1.0-crea la tabla xxx como select*from yyy a veces obtienes un error

Question

Usando spark sql thrift servidor JDBC / ODBC, tengo un extraño error. La mayoría de las veces, las consultas como esta siempre funcionarán:

create table xxx as select * from yyy

En beeline la instrucción de múltiples cajas simplemente funcionará bien. Pero con la primavera org.springframework.jdbc.datasource.SimpleDriverDataSource , sin importar usar jdbcTemplate , o datasource.getConnection y createStatement después de ejecutar estas 2 instrucciones, la segunda instrucción create fallará en silencio.

Y cuando falla, no más create as select funcionará. Para el controlador jdbc, da: unCategorizedException . Para el modo detallado beeline, da java.lang.reflect.InvocationTargetException(state=,code=0)

Y no importa cómo lo intente, este tipo de declaración de creación siempre fallará silenciosamente, en la interfaz de usuario de chispa, sin registro fallido, sin registro erróneo.

Lo más extraño es que solo afectará a create table xx as select ... statement, otras spark / hive sql funciona igual que no pasa nada.

Desaparecerá solo después de que reinicie el servidor de ahorro JDBC / ODBC, y se comportará de manera normal hasta la próxima vez.

Estoy utilizando hadoop 2.6.5 , con hive 2.1.1 , y spark 2.1.0 , servidor de segunda mano ejecutándose en clúster de hilos. ¿Alguien podría ayudar esto? ¿O debería dar más detalles, registros?

Después de actualizar a la chispa 2.1.1, tengo más detalles de error, que se enumeran aquí: Spark sql 2.1.1 servidor de ahorro - no se puede mover hdfs de origen al objetivo