Apache Flume - Medio ambiente

Ya discutimos la arquitectura de Flume en el capítulo anterior. En este capítulo, veamos cómo descargar y configurar Apache Flume.

Antes de continuar, debe tener un entorno Java en su sistema. Entonces, antes que nada, asegúrese de tener Java instalado en su sistema. Para algunos ejemplos en este tutorial, hemos utilizado Hadoop HDFS (como receptor). Por lo tanto, le recomendamos que instale Hadoop junto con Java. Para recopilar más información, siga el enlace -

Instalación de Flume

En primer lugar, descargue la última versión del software Apache Flume del sitio web https://flume.apache.org/.

Paso 1

Abra el sitio web. Clickea en eldownloadenlace en el lado izquierdo de la página de inicio. Lo llevará a la página de descarga de Apache Flume.

Paso 2

En la página de descargas, puede ver los enlaces para archivos binarios y fuente de Apache Flume. Haga clic en el enlace apache-flume-1.6.0-bin.tar.gz

Se le redirigirá a una lista de espejos donde podrá iniciar la descarga haciendo clic en cualquiera de estos espejos. De la misma manera, puede descargar el código fuente de Apache Flume haciendo clic en apache-flume-1.6.0-src.tar.gz .

Paso 3

Cree un directorio con el nombre Flume en el mismo directorio donde se encuentran los directorios de instalación de Hadoop, HBase, y se instaló otro software (si ya instaló alguno) como se muestra a continuación.

$ mkdir Flume

Paso 4

Extraiga los archivos tar descargados como se muestra a continuación.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Paso 5

Mover el contenido de apache-flume-1.6.0-bin.tar archivo al Flumedirectorio creado anteriormente como se muestra a continuación. (Suponga que hemos creado el directorio Flume en el usuario local llamado Hadoop).

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Configuración de Flume

Para configurar Flume, tenemos que modificar tres archivos a saber, flume-env.sh, flumeconf.properties, y bash.rc.

Establecer la ruta / ruta de clases

En el .bashrc , configure la carpeta de inicio, la ruta y la ruta de clases para Flume como se muestra a continuación.

conf Carpeta

Si abre el conf carpeta de Apache Flume, tendrá los siguientes cuatro archivos:

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template y
  • log4j.properties.

Ahora cambie el nombre

  • flume-conf.properties.template archivar como flume-conf.properties y

  • flume-env.sh.template como flume-env.sh

flume-env.sh

Abierto flume-env.sh archivo y configure el JAVA_Home a la carpeta donde se instaló Java en su sistema.

Verificación de la instalación

Verifique la instalación de Apache Flume navegando por el bin carpeta y escribiendo el siguiente comando.

$ ./flume-ng

Si ha instalado correctamente Flume, recibirá un mensaje de ayuda de Flume como se muestra a continuación.