example - hadoop tutorial español pdf

¿Cuáles son las mejores prácticas de Hadoop para manejar excepciones en Mapper o Reducer?

Question

Desea comprender las mejores prácticas para manejar las excepciones en Mapper / Reducer.

Opción 1: no tener ningún try / catch y dejar que la tarea falle y MR volverá a intentar la tarea que finalmente terminará el trabajo. La propiedad mapreduce.map/reduce.maxattempts juega un rol aquí.

Opción 2: use contadores para registrar el número de fallas en el bloque catch. Y en función de algún valor de umbral de estos errores, elimine el trabajo o simplemente use los contadores para mostrar la cantidad de registros fallidos.

¿Alguna (otra) práctica común / estándar para manejar excepciones en map-reduce?

Answer 1

Las opciones 1 y 2 enumeradas son algunas de las formas que manejamos en nuestro proyecto. Por favor, eche un vistazo aquí . Enumera algunas opciones más