hadoop - ecs - aws fargate vs ec2 pricing
Ejecutar un clúster hadoop en contenedores docker (2)
Quiero ejecutar un clúster de hadoop de varios nodos, con cada nodo dentro de un contenedor acoplador en un host diferente. Esta imagen - https://github.com/sequenceiq/hadoop-docker funciona bien para iniciar hadoop en un modo pseudo distribuido, ¿cuál es la forma más fácil de modificar esto para tener cada nodo en un contenedor diferente en un host ec2 por separado?
Hice esto con dos contenedores ejecutando nodos maestros y esclavos en dos hosts ubuntu diferentes. Hice la red entre contenedores usando tejido. He agregado las imágenes de los contenedores en la cuenta div4 de docker hub. Instalé hadoop de la misma manera, ya que está instalado en diferentes hosts. He agregado las dos imágenes con coomands para ejecutar haddop en ellas aquí:
https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/ .
Las personas de sequenceiq han creado un nuevo proyecto llamado cloud-break que está diseñado para trabajar con diferentes proveedores de la nube y crear clústeres de hadoop fácilmente. Solo tiene que ingresar sus credenciales y luego funciona igual para todos los proveedores, hasta donde puedo ver.
Entonces, para ec2, esta será probablemente la solución más fácil (especialmente debido a una buena GUI):