synchronization - servidor - Replicación/sincronización de archivos entre múltiples sitios usando BitTorrent

wd sync no es posible conectar con el servidor remoto

Question

Necesito construir un sistema distribuido que se base en la replicación de archivos grandes entre los sitios.

Pensé en usar la tecnología p2p como bittorrent para ahorrar ancho de banda y aumentar la confiabilidad.

¿Estoy terriblemente equivocado?

¿Alguien ha diseñado alguna vez tal solución?

¿Qué bibliotecas recomiendas?

Answer 1

Si tiene más de 2 sitios, entonces p2p es la mejor solución en mi humilde opinión.

Simplemente instale rtorrent , diluvio o cualquier otro cliente de torrente de alto rendimiento en cada sitio. De lo que puedes distribuir solo archivos .torrent con scp / sftp y disfruta.

Para asegurar el contenido de los clientes de torrents de terceros, configure el indicador privado al producir el archivo .torrent y use su propio rastreador. Opentracker es una buena opción.

Una sugerencia más: si su cliente de torrent admite el modo de súper siembra (también conocido como BEP-16 o siembra inicial), habilítelo. Ayudará a distribuir el contenido con una duplicación mínima entre nodos.

Answer 2

Acabo de encontrar este proyecto de código abierto de Twitter que da en el clavo perfectamente:

https://github.com/lg/murder

De los documentos:

Asesinato es un método de usar Bittorrent para distribuir archivos a una gran cantidad de servidores dentro de un entorno de producción. Esto permite implementaciones rápidas y escalables en entornos de cientos a decenas de miles de servidores donde los sistemas de distribución centralizados no funcionarían. Un "Asesinato" se usa normalmente para referirse a una bandada de cuervos, que en este caso se aplica a un grupo de servidores haciendo algo.

Answer 3

Una nueva solución prometedora de los desarrolladores de BitTorrent: BitTorrent Sync .

Tiene las siguientes características:

• Ilimitado y gratis!
• Actualmente es compatible con Windows, Mac y Linux. Las plataformas móviles están en proceso.
• Específicamente diseñado para manejar archivos grandes.
• Privado y seguro: todo el tráfico está encriptado.
• Protocolos de descubrimiento de pares
• Admite retransmisión de tráfico para nodos desconectados.