Servicios web de Amazon: canalización de datos
AWS Data Pipeline es un servicio web, diseñado para facilitar a los usuarios la integración de datos distribuidos en múltiples servicios de AWS y analizarlos desde una única ubicación.
Con AWS Data Pipeline, se puede acceder a los datos desde la fuente, procesarlos y, luego, transferir los resultados de manera eficiente a los respectivos servicios de AWS.
¿Cómo configurar la canalización de datos?
Los siguientes son los pasos para configurar la canalización de datos:
Step 1 - Cree la tubería mediante los siguientes pasos.
Inicie sesión en la cuenta de AWS.
Utilice este enlace a la consola de Open AWS Data Pipeline: https://console.aws.amazon.com/datapipeline/
Seleccione la región en la barra de navegación.
Haga clic en el botón Crear nueva canalización.
Complete los detalles requeridos en los campos respectivos.
En el campo Fuente, elija Construir usando una plantilla y luego seleccione esta plantilla - Comenzar usando ShellCommandActivity.
La sección Parámetros se abre solo cuando se selecciona la plantilla. Deje que la carpeta de entrada de S3 y el comando Shell se ejecuten con sus valores predeterminados. Haga clic en el icono de la carpeta junto a la carpeta de salida de S3 y seleccione los depósitos.
En Programación, deje los valores por defecto.
En Pipeline Configuration, deje el registro como habilitado. Haga clic en el icono de carpeta debajo de la ubicación de S3 para los registros y seleccione los depósitos.
En Seguridad / Acceso, deje los valores de los roles de IAM como predeterminados.
Haga clic en el botón Activar.
¿Cómo eliminar una canalización?
Eliminar la canalización también eliminará todos los objetos asociados.
Step 1 - Seleccione la tubería de la lista de tuberías.
Step 2 - Haga clic en el botón Acciones y luego elija Eliminar.
Step 3- Se abre una ventana de solicitud de confirmación. Haga clic en Eliminar.
Características de AWS Data Pipeline
Simple and cost-efficient- Sus funciones de arrastrar y soltar facilitan la creación de una canalización en la consola. Su creador de canalización visual proporciona una biblioteca de plantillas de canalización. Estas plantillas facilitan la creación de canalizaciones para tareas como procesar archivos de registro, archivar datos en Amazon S3, etc.
Reliable- Su infraestructura está diseñada para actividades de ejecución tolerantes a fallas. Si se producen fallas en la lógica de la actividad o en las fuentes de datos, AWS Data Pipeline reintenta automáticamente la actividad. Si el error continúa, enviará una notificación de error. Incluso podemos configurar estas alertas de notificación para situaciones como ejecuciones exitosas, fallas, retrasos en las actividades, etc.
Flexible - AWS Data Pipeline proporciona varias funciones como programación, seguimiento, manejo de errores, etc. Se puede configurar para realizar acciones como ejecutar trabajos de Amazon EMR, ejecutar consultas SQL directamente en bases de datos, ejecutar aplicaciones personalizadas que se ejecutan en Amazon EC2, etc.