spark - setup hadoop cluster
¿Qué es la memoria reservada en Yarn? (1)
Logré lanzar una aplicación de chispa en Yarn. Sin embargo, el uso de emory es un poco raro, como puedes ver a continuación:
¿Qué significa memoria reservada? ¿Cómo puedo administrar eficientemente toda la memoria disponible?
Gracias por adelantado.
Echa un vistazo a este blog de Cloudera que explica la nueva gestión de memoria en YARN.
Aquí están los bits pertinentes:
... Un detalle de implementación de este cambio que evita que las aplicaciones se mueran de hambre bajo esta nueva flexibilidad es la noción de contenedores reservados. Imagine que se están ejecutando dos trabajos que tienen tareas suficientes para saturar más que todo el clúster. Un trabajo quiere que cada uno de sus mapeadores obtenga 1GB, y otro trabajo quiere que sus mapeadores obtengan 2GB. Supongamos que el primer trabajo comienza y llena todo el clúster. Cuando una de sus tareas termine, dejará abierta una ranura de 1GB. Aunque el segundo trabajo merece el espacio, una política ingenua lo otorgará al primero porque es el único trabajo con tareas que encajan. Esto podría causar que el segundo trabajo se muera de hambre indefinidamente. Para evitar esta desafortunada situación, cuando se ofrece espacio en un nodo a una aplicación, si la aplicación no puede usarlo inmediatamente, lo reserva, y ninguna otra aplicación puede asignar un contenedor en ese nodo hasta que se cumpla la reserva. Cada nodo puede tener solo un contenedor reservado. El monto total de la memoria reservada se informa en la UI de ResourceManager. Un número alto significa que puede tomar más tiempo para que los nuevos trabajos tengan espacio. ,,,