tutorial traduccion meaning comandos com2us hadoop mapreduce hive hiveql

hadoop - meaning - hive traduccion



"Demasiadas fallas de recuperaciĆ³n" al usar Hive (1)

Estoy ejecutando una consulta de colmena en contra de un clúster hadoop de 3 nodos. Y recibo un error que dice "Demasiadas fallas de recuperación". Mi consulta de colmena es:

insert overwrite table tablename1 partition(namep) select id,name,substring(name,5,2) as namep from tablename2;

esa es la consulta que estoy tratando de ejecutar. Todo lo que quiero hacer es transferir datos de tablename2 a tablename1. Cualquier ayuda es apreciada.


Esto puede deberse a varios problemas de configuración de hadoop. Aquí una pareja para buscar en particular:

  • Problema DNS: examine su /etc/hosts
  • No hay suficientes hilos de http en el lado del mapeador para el reductor

Algunas correcciones sugeridas (de la resolución de problemas de Cloudera)

  • set mapred.reduce.slowstart.completed.maps = 0.80
  • tasktracker.http.threads = 80
  • mapred.reduce.parallel.copies = sqrt (node count) but in any case >= 10

Aquí hay un enlace a la resolución de problemas para más detalles

http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-kate-ting-cloudera