solicitado - Framework para informática distribuida para.Net/Mono que admite la persistencia de tareas distribuidas
odp net (2)
Echa un vistazo a Gearman ( http://gearman.org/ ). Proporciona la mayoría de los requisitos que mencionaste. El principal problema de Gearman es que el servidor debe estar alojado en una máquina Linux (o usa la implementación PEARL o Python del servidor). Los nodos se pueden ejecutar en cualquier entorno / plataforma.
Estoy buscando un marco (código abierto) para la computación distribuida para .Net / Mono que no se base solo en tareas sino que sea compatible con la persistencia de tareas distribuidas.
El proyecto en cuestión es una simulación compleja del sistema que debe distribuirse en "subimulaciones" independientes más pequeñas. Estas subsimulaciones se mantendrán en funcionamiento durante un tiempo prolongado y, a intervalos, recibirán y enviarán datos al Máster, donde se está actualizando y presentando al usuario una Vista con resultados agregados.
Por lo tanto, el trabajo que se distribuirá (las subsimulaciones) es explícito y debe seguir existiendo (en línea o no) en los trabajadores durante un período prolongado, en varias sesiones. Esto requerirá un almacenamiento persistente local (serialización) por parte del Trabajador (las subimulaciones son bastante grandes y no será eficiente enviarlas al Maestro para cada sesión).
El marco debería ofrecer transparencia en cuanto a la red subyacente real o la plataforma en la nube que se está utilizando al permitir el uso de diferentes implementaciones (es decir, clúster local, Internet, una sola máquina, plataformas en la nube de terceros).
Sería bueno si en el nivel de modelo / simulación, el rendimiento podría ajustarse dependiendo de la latencia de la red (por ejemplo, ajustando la frecuencia y la granularidad de los datos que se envían entre los trabajadores y el maestro).
Miré a NGrid pero parece inacabado y anticuado. También miré a algunos de los otros sospechosos habituales (MPAPI, MPI.NET, Alchemi, etc.) pero, por lo que sé, estos no cumplen los requisitos. Si no existe tal marco, estoy interesado en consejos sobre el diseño de dicho marco.
¿Has mirado el marco de Microsoft DSS / CCR? Es un SOA, marco simultáneo desarrollado inicialmente en la plataforma de robótica. Lo usamos previamente para crear un simulador de tráfico. No está abierto per se, pero no es caro, y creo que es gratis para la academia.
Tendría que escribir la lógica para crear trabajos paralelos, pero esto en teoría no debería ser tan difícil. El marco tiene muchas herramientas de administración.
Hadoop es también otra alternativa y probablemente sea lo que recomendaría. Las solicitudes de almacenamiento que realizó son más viables con esta solución que utiliza el sistema de archivos hadoop.
http://wiki.apache.org/hadoop/HadoopStreaming ¿Hay un .NET equivalente a Apache Hadoop?
También en el hilo SO anterior se encuentra la tecnología myspace http://code.google.com/p/qizmt/