ftp message-queue file-transfer ibm-mq

ftp - IBM MQ para transferencia de archivos



message-queue file-transfer (5)

He usado MQ con archivos de hasta 8GB de tamaño, sin incidentes. Debe asignar suficiente espacio para que MQ los administre, pero funciona.

Estamos ante la opción de utilizar IBM MQ sobre SFTP para la transferencia de archivos. He escuchado las ventajas de este enfoque, pero nunca vi a nadie usarlo para archivos grandes.

Entonces, pregunta principal: ¿qué tan bien IMB MQ puede manejar la transferencia de archivos de gran tamaño (hasta 100 MB)? ¿Es estable? Es de un mainframe a un servidor UNIX, si es que importa.

Muchas gracias.

Los proveedores han estado realizando la transferencia de archivos a través de un sistema de mensajería como WebSphere MQ durante más de 12 años. No he usado el producto de IBM. Sin embargo, sé hasta hace poco que IBM vendió de nuevo el producto de Metastorm (bajo la marca PM4Data ) y recientemente entró al mercado con un producto de primera generación.

He visto a Metastorm Integration Manager manejar archivos de tamaños de terabytes todo el tiempo; dividir los mensajes en WebSphere MQ y realizar reconocimientos de buffers para no desbordar las colas de mensajes o tener que hacer una gran cantidad de MQ Administration.

Otras consideraciones valiosas sobre el uso de sistemas de mensajería para la transferencia de archivos frente a SFTP incluyen:

  1. Manejo de movimiento previo y posterior a los datos : como transporte de red, SFTP mueve los datos (al igual que los productos de transferencia de archivos a través de WebSphere MQ). Para realizar el procesamiento previo o posterior al movimiento, debe escribir su propia monitorización, activación, manejo de errores, etc. Los proveedores maduros en la transferencia de archivos a través del espacio de mensajería proporcionan la infraestructura lista para usar. Según su aplicación, también pueden ayudar
  2. Audit Trail - SFTP proporciona a menudo proporcionar el registro del nivel del sistema. A menudo, los proveedores que proporcionan integración de archivos a través de MQ tienen mayores capacidades de auditoría, incluyendo el manejo de movimiento previo y posterior a los datos. Algunos proveedores también ofrecen sistemas seguros basados ​​en la web para exponer ciertas integraciones a usuarios autorizados.
  3. Manejo de excepciones : SFTP dará mensajes de error síncronos a partir de los cuales codifica su lógica de error. Los proveedores que proporcionan integración de archivos a través de MQ a menudo brindan capacidades de excepción que van desde "aquí hay un mensaje en la cola que indica que ocurrió un problema ... buena suerte" hasta la integración integrada en las consolas basadas en la Web o incluso en el sistema BPM.
  4. Tratamiento de la transferencia de archivos como servicio : muchas veces, la transferencia de archivos es parte de un proceso comercial más amplio. Algunos proveedores aprovechan esto para encadenar transferencias de archivos e incluso hacer que colaboren con procesos centrados en el ser humano para proporcionar visibilidad de extremo a extremo en el contexto de una transferencia de archivos punto a punto. Además, el uso de sistemas de mensajería para la transferencia de archivos ayuda a mover a una organización a un enfoque más orientado a mensajes en tiempo real.

Espero que los detalles adicionales brinden algunos detalles en su evaluación. ¡Buena suerte!

MQ en sí mismo ofrece comunicación basada en mensajes entre programas. No puedes usarlo directamente para transferir archivos. Las personas que hablan de "enviar archivos a través de MQ" a menudo significan que escribirán los programas ellos mismos para leer de un archivo, enviar MQ, recibir de MQ y escribir en otro archivo. Esto suena tentadoramente trivial al principio, pero rápidamente se vuelve muy complejo si quieres que sea robusto. No recomendado.

Lo que debe hacer si desea involucrar a MQ en sus transferencias de archivos es usar uno de los productos de transferencia de archivos que se encuentran en MQ. Hay una serie de ofertas maduras, de las cuales no sé casi nada, junto con un nuevo producto de la propia IBM ("Websphere MQ File Transfer Edition") que se está desarrollando activamente y que recientemente anunció una versión actualizada (7.0.1).

Para responder a su pregunta específica, personalmente he usado WMQFTE para transferir un archivo de 1000 GB de una máquina AIX a una versión de Windows, por lo que no creo que sus archivos "grandes" de 100 MB sean un problema :-). No me involucro tanto con el mainframe, pero es una plataforma central para FTE.

En una de las respuestas anteriores, hay la siguiente declaración:

Las personas que hablan de "enviar archivos a través de MQ" a menudo significan que escribirán los programas ellos mismos para leer de un archivo, enviar MQ, recibir de MQ y escribir en otro archivo. Esto suena tentadoramente trivial al principio, pero rápidamente se vuelve muy complejo si quieres que sea robusto. No recomendado.

En teoría, sería bueno "enviar archivos a través de MQ" porque recibiría un mensaje de confirmación de entrega (CoD) cuando el destinatario obtuviera (lea) el archivo de la cola. Otro beneficio sería que el archivo se eliminará automáticamente de la cola cuando el destinatario lo (leyó) de la cola.

¿Sabes quizás si MQFTE ofrece lo anterior (o algo similar)?