ftp - servidores - Opciones de Protocolo de transferencia de archivos?

servidor ftp

Question

Estoy buscando una buena manera de transferir cantidades de datos no triviales (10G> x> 10MB) de una máquina a otra, posiblemente en varias sesiones.

He mirado brevemente

• * ftp (sftp, tftp, ftp)
• http
• torrents (fuera porque no tendré una red de semillas en general)
• rsync (no estoy seguro si realmente puedo adaptar esto a lo que necesito)

¿Hay algún otro protocolo que pueda ajustarse un poco mejor a la factura? La mayoría de los anteriores no son muy tolerantes a los errores en sí mismos, sino que confían en las aplicaciones cliente / servidor para tomar el relevo. En esta etapa, me preocupo mucho más por el protocolo en sí, que por una implementación particular de cliente / servidor que funcione bien.

(Y sí sé que puedo escribir mi propio sobre udp, ¡pero preferiría casi cualquier otra cosa !)

Answer 1

BitTorrent no requiere una gran red de semillas para ser efectiva, funcionará bien con una sembradora y un par. Hay un poco de sobrecarga configurando un rastreador, etc., pero una vez configurado, sería un método agradable, rápido y tolerante a errores de transferencia.

Answer 2

Bueno, HTTP es una buena opción, ya que admite el reinicio de transferencias parciales mediante el uso de rangos de bytes . FTP o TFTP son buenos porque puede obtener un software de servidor que es extremadamente simple de configurar, en lugar de tener que bloquear algo como un servidor HTTP.

Answer 3

Uso rsync (a través de SSH) para transferir todo lo que creo que puede llevar más de un minuto.

Es fácil limitar la velocidad, suspender / reanudar y obtener informes de progreso. Puede automatizarlo con claves SSH. Ya está (normalmente) instalado (en los cuadros * nix, de todos modos).

Dependiendo de lo que necesite, rsync probablemente pueda adaptarse. Si está distribuyendo a muchos usuarios, FTP / HTTP podría ser mejor para las preocupaciones del firewall; pero rsync es ideal para transferencias one-to-one o one-to-a-few.

Answer 4

rsync es casi siempre la mejor opción.

ya que solo transfiere las diferencias, si la transferencia se interrumpe, la próxima vez no será tan diferente como la primera (cuando no había un archivo en el destino)

Answer 5

GridFTP es lo que Argonne está utilizando para transportar grandes cantidades de datos de manera confiable.