hadoop - meaning - hive traduccion
"Demasiadas fallas de recuperaciĆ³n" al usar Hive (1)
Estoy ejecutando una consulta de colmena en contra de un clúster hadoop de 3 nodos. Y recibo un error que dice "Demasiadas fallas de recuperación". Mi consulta de colmena es:
insert overwrite table tablename1 partition(namep)
select id,name,substring(name,5,2) as namep from tablename2;
esa es la consulta que estoy tratando de ejecutar. Todo lo que quiero hacer es transferir datos de tablename2 a tablename1. Cualquier ayuda es apreciada.
Esto puede deberse a varios problemas de configuración de hadoop. Aquí una pareja para buscar en particular:
- Problema DNS: examine su
/etc/hosts
- No hay suficientes hilos de http en el lado del mapeador para el reductor
Algunas correcciones sugeridas (de la resolución de problemas de Cloudera)
- set
mapred.reduce.slowstart.completed.maps = 0.80
-
tasktracker.http.threads = 80
-
mapred.reduce.parallel.copies = sqrt (node count) but in any case >= 10
Aquí hay un enlace a la resolución de problemas para más detalles
http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-kate-ting-cloudera