spark - ¿Qué es ElasticSearch-Hadoop(es-hadoop) y su beneficio sobre HBase para una aplicación web en vivo?

qué es big data y como la estadística actúa en ella en el mundo empresarial

Question

No está del todo claro para mí qué es es-hadoop de la descripción .

¿Es esto simplemente un "conector" que moverá los datos de su clúster de ES a HDFS para Hadoop Analytics? Si es así, ¿por qué no simplemente va con HBase para consultas de texto de baja latencia?

¿Es es-Hadoop una instalación diferente a la ES habitual?

Alguna aclaración por favor

Gracias.

Answer 1

ES-Hadoop está mucho más cerca de ser un conector entre el ecosistema Hadoop y ES. No es una versión separada de ES.

Básicamente, mejora la integración entre la aplicación del ecosistema Hadoop a ES. En mi organización usamos esta función para 2 propósitos:

1. Antes de indexar los datos a ES, utilizamos Spark para analizar los datos y realizar una agregación relevante para reducir la cantidad de indexación que se debe realizar en ES. ES-Hadoop nos ayuda a indexar directamente desde las estructuras de datos de Spark a ES. Estamos comenzando el proceso de indexación con una sola línea de código y no necesitamos escribir el programa de indexación nosotros mismos. (La característica es configurable, y usted tiene la flexibilidad para indexar los datos como quiera).

2. En nuestra organización, utilizamos ES como nuestro clúster de análisis casi en tiempo real. Los datos en ES se colocan de manera que produzcan el mejor rendimiento para nuestros clientes. A veces (generalmente cuando tenemos ideas sobre algunas características nuevas) tenemos que obtener los datos de ES y realizar un procesamiento complejo de los datos. En esos casos, también podemos crear una estructura de datos Spark a partir de datos de ES en una sola línea de código.

Entonces, ES-Hadoop está más cerca de ser un conector bien escrito. Aún debe transportar los datos de su clúster de ES a Hadoop.

No estoy seguro acerca de la comparación con HBase. Realmente no se pueden comparar las características de HBase, que es un almacén de valores clave en comparación con ES, que es un motor de búsqueda de propósito general + capacidades de análisis muy buenas implementadas en las últimas versiones. Según lo veo, estamos tratando con diferentes herramientas que acceden a diferentes tipos de problemas.