tier pricing fargate ecs ec2 costs aws hadoop networking docker amazon-ec2 cluster-computing

hadoop - ecs - aws fargate vs ec2 pricing



Ejecutar un clúster hadoop en contenedores docker (2)

Quiero ejecutar un clúster de hadoop de varios nodos, con cada nodo dentro de un contenedor acoplador en un host diferente. Esta imagen - https://github.com/sequenceiq/hadoop-docker funciona bien para iniciar hadoop en un modo pseudo distribuido, ¿cuál es la forma más fácil de modificar esto para tener cada nodo en un contenedor diferente en un host ec2 por separado?



Las personas de sequenceiq han creado un nuevo proyecto llamado cloud-break que está diseñado para trabajar con diferentes proveedores de la nube y crear clústeres de hadoop fácilmente. Solo tiene que ingresar sus credenciales y luego funciona igual para todos los proveedores, hasta donde puedo ver.

Entonces, para ec2, esta será probablemente la solución más fácil (especialmente debido a una buena GUI):

https://github.com/sequenceiq/cloudbreak-deployer