python - examples - Extracción de datos de Neo4j utilizando PySpark

neo4j v1 examples

Question

Tengo series de tiempo actualmente almacenadas como un gráfico (utilizando una estructura de árbol de tiempo, similar a esto ) en una instancia de servidor Neo4j , versión 2.3.6 (por lo que solo la interfaz REST, no Bolt). Lo que intento hacer es realizar algunos análisis de estas series temporales de forma distribuida, utilizando PySpark .

Ahora, estoy al tanto de los proyectos existentes para conectar Spark con Neo4j, especialmente los que se enumeran aquí . El problema con estos es que se centran en crear una interfaz para trabajar con gráficos. En mi caso, los gráficos no son relevantes, ya que mis consultas de Neo4j Cypher están destinadas a producir matrices de valores. Todo lo anterior se trata de manejar estas matrices como series de tiempo; de nuevo, no como gráfico.

Mi pregunta es: ¿alguien ha consultado con éxito una instancia de Neo4j solo para REST en paralelo utilizando PySpark y, en caso afirmativo, cómo lo hizo? La biblioteca py2neo parecía un buen candidato hasta que me di cuenta de que el objeto de conexión no podía compartirse entre particiones (o si puede, no sé cómo). En este momento estoy considerando hacer que mis trabajos de Spark ejecuten consultas REST independientes en el servidor Neo4j, pero quería ver cómo la comunidad pudo haber resuelto este problema.

Mejor, Aurélien