Servicios web de Amazon - Kinesis

Amazon Kinesises un servicio gestionado, escalable y basado en la nube que permite el procesamiento en tiempo real de la transmisión de una gran cantidad de datos por segundo. Está diseñado para aplicaciones en tiempo real y permite a los desarrolladores tomar cualquier cantidad de datos de varias fuentes, escalando hacia arriba y hacia abajo que se pueden ejecutar en instancias EC2.

Se utiliza para capturar, almacenar y procesar datos de grandes flujos distribuidos, como registros de eventos y feeds de redes sociales. Después de procesar los datos, Kinesis los distribuye a varios consumidores simultáneamente.

¿Cómo utilizar Amazon KCL?

Se utiliza en situaciones en las que necesitamos datos en rápido movimiento y su procesamiento continuo. Amazon Kinesis se puede utilizar en las siguientes situaciones:

  • Data log and data feed intake- No necesitamos esperar para agrupar los datos, podemos enviar datos a una transmisión de Amazon Kinesis tan pronto como se produzcan. También protege la pérdida de datos en caso de que el productor de datos falle. Por ejemplo: los registros del sistema y de la aplicación se pueden agregar continuamente a una transmisión y pueden estar disponibles en segundos cuando sea necesario.

  • Real-time graphs- Podemos extraer gráficos / métricas utilizando Amazon Kinesis Stream para crear resultados de informes. No es necesario esperar a los lotes de datos.

  • Real-time data analytics - Podemos ejecutar análisis de datos de transmisión en tiempo real utilizando Amazon Kinesis.

¿Límites de Amazon Kinesis?

A continuación, se muestran ciertos límites que deben tenerse en cuenta al usar Amazon Kinesis Streams:

  • Se puede acceder a los registros de una transmisión hasta 24 horas de forma predeterminada y se pueden extender hasta 7 días habilitando la retención de datos extendida.

  • El tamaño máximo de un blob de datos (la carga útil de datos antes de la codificación Base64) en un registro es 1 megabyte (MB).

  • Un fragmento admite hasta 1000 registros PUT por segundo.

  • Para obtener más información relacionada con los límites, visite el siguiente enlace: https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

¿Cómo utilizar Amazon Kinesis?

Los siguientes son los pasos para usar Amazon Kinesis:

Step 1 - Configure Kinesis Stream siguiendo los siguientes pasos:

  • Inicie sesión en la cuenta de AWS. Seleccione Amazon Kinesis en Amazon Management Console.

  • Haga clic en Crear flujo y complete los campos obligatorios, como el nombre del flujo y el número de fragmentos. Haga clic en el botón Crear.

  • La transmisión ahora estará visible en la lista de transmisiones.

Step 2- Configurar usuarios en Kinesis Stream. Cree nuevos usuarios y asigne una política a cada usuario (hemos discutido el procedimiento anterior para crear usuarios y asignarles una política)

Step 3- Conecte su aplicación a Amazon Kinesis; aquí estamos conectando Zoomdata a Amazon Kinesis. Los siguientes son los pasos para conectarse.

  • Inicie sesión en Zoomdata como administrador y haga clic en Fuentes en el menú.

  • Seleccione el icono de Kinesis y complete los detalles requeridos. Haga clic en el botón Siguiente.

  • Seleccione la transmisión deseada en la pestaña Transmisión.

  • En la pestaña Campos, cree nombres de etiquetas únicos, según sea necesario, y haga clic en el botón Siguiente.

  • En la pestaña Gráficos, habilite los gráficos para los datos. Personalice la configuración según sea necesario y luego haga clic en el botón Finalizar para guardar la configuración.

Características de Amazon Kinesis

  • Real-time processing - Permite recopilar y analizar información en tiempo real, como los precios de las acciones, de lo contrario, tendremos que esperar el informe de salida de datos.

  • Easy to use - Con Amazon Kinesis, podemos crear una nueva transmisión, establecer sus requisitos y comenzar a transmitir datos rápidamente.

  • High throughput, elastic - Permite recopilar y analizar información en tiempo real, como los precios de las acciones, de lo contrario, tendremos que esperar el informe de salida de datos.

  • Integrate with other Amazon services - Se puede integrar con Amazon Redshift, Amazon S3 y Amazon DynamoDB.

  • Build kinesis applications- Amazon Kinesis proporciona a los desarrolladores bibliotecas cliente que permiten el diseño y el funcionamiento de aplicaciones de procesamiento de datos en tiempo real. Agregue la biblioteca cliente de Amazon Kinesis a la aplicación Java y notificará cuando haya nuevos datos disponibles para su procesamiento.

  • Cost-efficient- Amazon Kinesis es rentable para cargas de trabajo de cualquier escala. Pague sobre la marcha por los recursos utilizados y pague por hora el rendimiento requerido.