topic - kafka 8 y memoria: no hay suficiente memoria para que el entorno de ejecución de Java continúe

kafka producer

Question

Estoy usando la instancia de DigiOcean con 512 megas de RAM, obtengo el siguiente error con kafka. No soy un experto en Java. ¿Cómo puedo ajustar kafka para utilizar la pequeña cantidad de ram. Este es un servidor. No quiero pagar más por hora por una máquina más grande.

#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
# An error report file with more information is saved as:
# //hs_err_pid6500.log
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000bad30000, 986513408, 0) failed; error=''Cannot allocate memory'' (errno=12)

Answer 1

Área: HotSpot / gc

Sinopsis

Crashes due to failure to allocate large pages.

On Linux, failures when allocating large pages can lead to crashes. When running JDK 7u51 or later versions, the issue can be recognized in two ways:

    Before the crash happens, one or more lines similar to the following example will have been printed to the log:

    os::commit_memory(0x00000006b1600000, 352321536, 2097152, 0) failed;
    error=''Cannot allocate memory'' (errno=12); Cannot allocate large pages, 
    falling back to regular pages

    If a file named hs_err is generated, it will contain a line similar to the following example:

    Large page allocation failures have occurred 3 times

The problem can be avoided by running with large page support turned off, for example, by passing the "-XX:-UseLargePages" option to the java binary.

Answer 2

Puede ajustar el tamaño del montón de JVM editando kafka-server-start.sh , zookeeper-server-start.sh y así sucesivamente:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

El parámetro -Xms especifica el tamaño mínimo de -Xms dinámico. Para que al menos su servidor se inicie, intente cambiarlo para que use menos memoria. Dado que solo tiene 512M, también debe cambiar el tamaño máximo de -Xmx dinámico ( -Xmx ):

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

No estoy seguro de cuáles son los requisitos mínimos de memoria de kafka en la configuración predeterminada, tal vez necesite ajustar el tamaño del mensaje en kafka para que se ejecute.