hadoop - que - Configuración de un kafka Multi broker en cada nodo en un clúster de 5 nodos

puertos hadoop

Question

Tenemos un sandbox que tiene 5 nodos con los cinco nodos ejecutando un broker kafka (id de intermediario = 0). Ahora he copiado los archivos de configuración en los 5 nodos con distintos identificadores de broker y el directorio de archivos de registro para ejecutar varios brokers.

-rw-r--r-- 1 root root 5652 Apr  2 23:01 server.properties - (this one being the default)
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server1.properties
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server2.properties

Ahora empiezo kafka en todos los 5 nodos con nuevos archivos de configuración usando

./kafka-server-start.sh config/server1.properties &
./kafka-server-start.sh config/server2.properties &

¿Cada nodo tendrá 3 tres corredores funcionando? o sus 3 corredores para el grupo general? ¿Cómo funciona esto? ¿Alguna ayuda sería apreciada?

Answer 1

Cada nodo en su cluster solo debe tener un archivo de configuración y kafka-server-start solo debe ejecutarse una vez en cada nodo. Por ejemplo, el servidor 1 solo necesita tener un único archivo de configuración que contenga, por ejemplo, broker.id = 1 .

Cada vez que ejecuta kafka-server-start está iniciando un intermediario (es decir, un servidor). Cuando comience el corredor, Kafka localizará a los otros intermediarios a través de ZooKeeper. Esto permite agregar y eliminar nuevos intermediarios del clúster sin ningún archivo de configuración adicional que especifique los otros nodos en el clúster y sin tener que realizar ninguna reconfiguración en los nodos existentes.

Si está ejecutando kafka-server-start varias veces en el mismo nodo, entonces está iniciando múltiples intermediarios en el mismo nodo, pero eso no es lo que desea.