hadoop webhdfs

hadoop - WebHDFS vs HttpFS



(1)

He leído un artículo relacionado con su pregunta. A continuación se muestra el enlace.

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS frente a HttpFs Diferencia principal entre WebHDFS y HttpFs: WebHDFS necesita acceso a todos los nodos del clúster y cuando se leen algunos datos, se transmiten directamente desde ese nodo, mientras que en HttpFs, un nodo único actuará de manera similar a una "puerta de enlace" y Ser un único punto de transferencia de datos al nodo cliente. Por lo tanto, los HttpF se pueden bloquear durante una transferencia de archivos grandes, pero lo bueno es que estamos minimizando la huella requerida para acceder a HDFS.

¿Cuál es la diferencia entre la API REST de HttpFS y HttpFS ?

Si entiendo correctamente:

  • HttpFS es un servicio independiente que expone una API REST sobre HDFS
  • WebHDFS es una API REST integrada en HDFS. No requiere más instalación.

¿Estoy en lo correcto?

¿Cuándo sería recomendable usar uno en lugar del otro?