example - ¿Hay una manera fácil de instalar Kafka en Windows?

kafka producer console

Question

Estoy intentando instalar la cola de mensajes de Kafka en Windows para fines de prueba (no para producción: D).

Solo encontré este artículo sobre cómo instalar Apache Kafka 0.8 en Windows: http://janschulte.wordpress.com/2013/10/13/apache-kafka-0-8-on-windows/

Eso está bien pero

1. Esta desactualizado
2. Es demasiado complicado ...

Alguien sabe una manera fácil de lograr eso?

Gracias.

Answer 1

1. Descargue cualquier versión binaria (he descargado kafka_2.11-0.10.2.0) de Kafka desde https://kafka.apache.org/downloads
2. Extraerlo a cualquier carpeta (lo he extraído a "C: / Kafka")
3. Abra el símbolo del sistema
4. Vaya a la carpeta que extrajo Kafka (C: / Kafka / kafka_2.11-0.10.2.0)
5. Ejecute este comando . / Bin / windows / zookeeper-server-start.bat. / Config / zookeeper.properties para iniciar Zookeeper
6. Ejecute este comando . / Bin / windows / kafka-server-start.bat. / Config / server.properties para iniciar Kafka

¡Ahora funciona!

Answer 2

Con Chocolatey y Powershell:

1. chocolatey.exe install kafka -> instala Kafka en C:/ProgramData/chocolatey/lib/kafka/tools/kafka_2.11-1.0.0/ - su versión puede diferir, por supuesto
2. agregue C:/ProgramData/chocolatey/lib/kafka/tools/kafka_2.11-1.0.0/ a su ruta de powershell usando el notepad $PROFILE

Después de reiniciar PowerShell, kafka-console-consumer debería funcionar como un comando.

También necesita instalar ssl.properties con keystore y truststore. Póngalos, por ejemplo, en C:/ProgramData/kafka y ssl.properties en ssl.properties (tenga en cuenta el escape de las barras invertidas):

security.protocol=SSL

ssl.truststore.location=C://ProgramData//kafka//kafka-truststore.jks
ssl.truststore.password=PASSWORD

ssl.keystore.location=C://ProgramData//kafka//kafka-keystore.jks
ssl.keystore.password=PASSWORD
ssl.key.password=PASSWORD

client.id=console-test

Ahora, cosas como kafka-consumer-groups --bootstrap-server SERVERNAME:9094 --command-config C:/ProgramData/kafka/ssl.properties --list primero debe aparecer una advertencia de firewall que debería aceptar y luego generar una lista de grupos.

Answer 3

En la versión 0.9.0. hay scripts en la carpeta "bin" para windows. Puedes usarlos.

Answer 4

Este es un hilo viejo, pero para alguien que lea esto en 2018, sugiero ejecutar kafka en docker. Uno de los muchos tutoriales sobre esto: https://iteritory.com/kafka-docker-image-installation-usage-tutorial-windows/

Answer 5

Estos son los pasos que seguí para ejecutar kafka en Windows

1. Primero instale Zookeeper ( downloaded v3.3.6) zookeeper-3.3.6.tar.gz
2. Extraiga a Zookeeper y ejecute este comando en powershell / cmd /zookeeper-3.3.6/bin> ./zkServer.cmd Ahora esto debería hacer una instancia de Zookeeper en localhost:2181
3. Descargar la versión binaria de Kafka ( downloaded v0.10.0.1) kafka_2.10-0.10.0.1.tgz
4. Extrae Kafka, es hora de modificar algunas configuraciones.
5. Dentro de la extracción de Kafka puedes encontrar ./config/server.properties
6. En ./config/server.properties log.dirs=c:/kafka/kafka-logs ./config/server.properties reemplace log.dirs=c:/kafka/kafka-logs
7. Nota: asegúrese de crear esas carpetas en rutas relevantes
8. Buenas noticias: ahora Kafka viene con Windows .bat scripts, puede encontrar estos archivos dentro de la carpeta ./bin/windows
9. Inicie powershell / cmd y ejecute este comando para iniciar el agente Kafka ./bin/windows/kafka-server-start.bat ./config/server.properties
10. ¡HECHO !, ahora tienes una instancia de Zookeeper en ejecución y un agente de Kafka.

Answer 6

Los pasos son los siguientes-

1. Las variables de entorno de Java deben ser establecidas.
2. Acceda a la página de descargas de Apache Kafka y descargue el Scala 2.12 kafka_2.12-0.10.2.1.tgz
3. Descomprimirlo.

4. Abre el indicador de cmd y comienza zookeeper-

   C: / kafka_2.12-0.10.2.1>. / Bin / windows / zookeeper-server-start.bat. / Config / zookeeper.properties

5. Abra un nuevo símbolo del sistema e inicie Apache Kafka-

   C: / kafka_2.12-0.10.2.1>. / Bin / windows / kafka-server-start.bat. / Config / server.properties

6. Abra un nuevo símbolo del sistema y cree un tema con el nombre javainuse-topic, que tenga solo una partición y una réplica.

   C: / kafka_2.12-0.10.2.1>. / Bin / windows / kafka-topics.bat --create --zookeeper localhost - 2181 --replication-factor 1 --partitions 1 --topic javainuse-topic

7. Siguiente Abra un nuevo símbolo del sistema y cree un productor para enviar un mensaje al tema javainuse creado anteriormente y envíe un mensaje - Hello World Javainuse a él -

   C: / kafka_2.12-0.10.2.1>. / Bin / windows / kafka-console-producer.bat --broker-list localhost: 9092 --topic javainuse-topic

   Hola Mundo Javainuse

8. Finalmente, abra un nuevo símbolo del sistema e inicie el consumidor que escuche el tema javainuse-topic que acabamos de crear. Recibiremos el mensaje que habíamos enviado usando el productor.

   C: / kafka_2.12-0.10.2.1>. / Bin / windows / kafka-console-consumer.bat --bootstrap-server localhost: 9092 --topic javainuse-topic - desde el inicio

Los pasos detallados que incluyen capturas de pantalla y videos están disponibles en este blog: cómo comenzar con Apache Kafka

Answer 7

Ok, finalmente no es complicado :)

Los únicos pasos son:

1. Descarga Kafka y descomprímelo en algún lugar agradable (digamos C:/Kafka )
2. Instalar Cygwin

3. Edite /bin/kafka-run-class.sh y al final del archivo, cambie

   exec $JAVA $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS -cp $CLASSPATH $KAFKA_OPTS "$@"

   a

   exec java $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS -cp `cygpath -wp $CLASSPATH` $KAFKA_OPTS "$@"

4. En Variables de entorno , agregue java a su variable de sistema de ruta :

Eso es todo ... ahora puede ejecutar los servidores ZooKeeper y Kafka y comenzar a jugar con temas y cosas ...

Answer 8

Probablemente encontrará que Kafka viene con archivos .bat de Windows en la carpeta bin para ayudarlo a ejecutar Kafka en Windows. Sin embargo, esos archivos bat no se actualizan desde la versión 0.8.0 y parte de la lógica de Kafka ha cambiado (con respecto a temas, etc.).

He intentado dos maneras de resolver este problema. Una es usar Cygwin o MinGW para simular el entorno de Linux y ejecutar el script de shell de Linux, pero habría muchos otros problemas relacionados con los nombres de ruta. La otra solución, que es más simple y presenta menos problemas, es usar la versión corregida de los archivos de Windows bat.

Por favor, consulte esta entrada de blog .

Answer 9

Sí, había configurado ZOOKEEPER y Apache Kafka en mi máquina con Windows. Para ZOOKEEPER, simplemente configure ZOOKEEPER_HOME y configure la ruta también y luego cambie el nombre de zoo.sample.cfg a zoo.cfg y también cambie la ruta de acceso a dataDir en zoo.cfg

Para Apache Kafka, simplemente descomprima e inicie el servidor desde la carpeta bin e inicie Producer / Consumer desde la carpeta de Windows en el directorio Kafka

Answer 10

Sí, puede instalar y ejecutar Apache Kafka en Windows. Necesitará las siguientes cosas en su máquina para esto.

1. Java
2. Zookeeper
3. Kafka

Puedes seguir esta sencilla guía de instalación. Instalación de Apache Kafka en Windows

Answer 11

Una respuesta más actual para el beneficio de cualquier otra persona que aún se esté preguntando acerca de esto, descargué el binario y todo funcionó de inmediato. La versión fuente, sin embargo, no funcionó.