linux - multinodo - ¿Cómo comprobar si los demonios de Hadoop se están ejecutando?
hdfs (8)
¿Qué son los comandos simples para verificar si los demonios de Hadoop se están ejecutando?
Por ejemplo, si estoy tratando de averiguar por qué HDFS no está configurado correctamente, querré saber una forma de comprobar si namemonode / datanode / jobtracker / tasktracker se está ejecutando en esta máquina.
¿Hay alguna forma de verificarlo rápidamente sin mirar los registros o usar ps (en Linux)?
Además de jps, otra buena idea es utilizar las interfaces web para NameNode y JobTracker provistas por Hadoop. No solo le muestra los procesos, sino que también le proporciona mucha otra información útil como el resumen de su clúster, trabajos en curso, etc. atc. para ir a la interfaz de usuario de NN, dirija su navegador web a "YOUR_NAMENODE_HOST: 9000" y para JT UI "YOUR_JOBTRACKER_HOST: 9001".
En el tipo de shell ''jps'' (es posible que necesite un jdk para ejecutar jps). Enumera todos los procesos java en ejecución y mostrará una lista de los demonios hadoop que se están ejecutando.
Intenta ejecutar esto:
for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
No encontré una gran solución, así que utilicé
ps -ef | grep hadoop | grep -P ''namenode|datanode|tasktracker|jobtracker''
Solo para ver si hay cosas corriendo
y
./hadoop dfsadmin -report
pero el último no fue útil hasta que el servidor estaba en ejecución.
Para comprobar si los nodos de Hadoop se están ejecutando o no:
sudo -u hdfs hdfs dfsadmin -report
Capacidad configurada: 28799380685 (26.82 GB)
Capacidad actual: 25104842752 (23.38 GB)
DFS restante: 25012056064 (23.29 GB)
DFS utilizado: 92786688 (88.49 MB)
DFS utilizado%: 0.37%
Bajo bloques replicados: 436
Bloques con réplicas corruptas: 0
Faltan bloques: 0Datanodes disponibles: 1 (1 total, 0 muertos)
Códigos de datos en vivo:
Nombre: 127.0.0.1:50010 (localhost.localdomain)
Nombre de host: localhost.localdomain
Rack: / predeterminado
Estado de Desmantelamiento: Normal
Capacidad configurada: 28799380685 (26.82 GB)
DFS utilizado: 92786688 (88.49 MB)
No DFS utilizado: 3694537933 (3.44 GB)
DFS restante: 25012056064 (23.29 GB)
DFS utilizado%: 0.32%
% Restante del DFS: 86.85%
Último contacto: Jue Mar 01 22:01:38 IST 2018
Prueba el comando jps . Especifica los procesos java que están en funcionamiento.
puedes usar el comando Jps como vipin dijo como este comando:
/usr/lib/java/jdk1.8.0_25/bin/jps
por supuesto, cambiará la ruta de Java con la que tiene "la ruta en la que instaló Java"
Jps es una herramienta ingeniosa para verificar si se están ejecutando los procesos esperados de Hadoop (parte de Java de Sun desde v1.5.0).
El resultado será algo así:
2287 TaskTracker
2149 JobTracker
1938 DataNode
2085 SecondaryNameNode
2349 Jps
1788 NameNode
Obtengo la respuesta de este tutorial: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
Si ve que el proceso hadoop no se está ejecutando en ps -ef|grep hadoop , ejecute sbin/start-dfs.sh . Monitor con hdfs dfsadmin -report :
[mapr@node1 bin]$ hadoop dfsadmin -report
Configured Capacity: 105689374720 (98.43 GB)
Present Capacity: 96537456640 (89.91 GB)
DFS Remaining: 96448180224 (89.82 GB)
DFS Used: 89276416 (85.14 MB)
DFS Used%: 0.09%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)
Name: 192.168.1.16:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4986138624 (4.64 GB)
DFS Remaining: 47813910528(44.53 GB)
DFS Used%: 0.08%
DFS Remaining%: 90.48%
Last contact: Tue Aug 20 13:23:32 EDT 2013
Name: 192.168.1.17:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4165779456 (3.88 GB)
DFS Remaining: 48634269696(45.29 GB)
DFS Used%: 0.08%
DFS Remaining%: 92.03%
Last contact: Tue Aug 20 13:23:34 EDT 2013