download - servidores - aws storage
¿La descarga de Amazon S3 falla a veces? (7)
Acabamos de agregar un autoupdater en nuestro software y recibimos un informe de error que decía que la actualización automática no se completaba correctamente porque la suma de comprobación sha1 del archivo descargado no coincidía. Estamos alojados en Amazon S3 ...
Eso es algo malo con mi código o algo malo con S3.
Releí mi código para detectar cosas sospechosas y escribí una secuencia de comandos simple descargando y comprobando la suma de comprobación del archivo descargado, y de hecho recibí algunos errores de vez en cuando (1 de 40 ayer). Hoy parece estar bien.
¿Experimentó ese tipo de problema? ¿Hay algún tipo de solución?
información adicional: la prueba se ejecutó en Japón.
Aparte del tiempo de inactividad de hace unas semanas. Ninguno de los que he oído hablar.
Hicieron un buen trabajo teniendo en cuenta que la única vez que se cayó fue debido a un oscuro error del servidor que se extendió por toda la nube. Fueron muy abiertos al respecto y lo resolvieron tan pronto como se enteraron. (Sucedió durante un fin de semana, iirc)
Entonces son bastante confiables. Mi consejo es verificar tu código. Y créelo al soporte de Amazon si todavía es un problema.
Estoy de acuerdo, la verificación cuádruple de tu código sería una buena idea. No digo que no pueda suceder, pero no creo haberlo visto nunca, y ahora he usado S3 bastante bien. Sin embargo, he administrado mal algunas excepciones / interrupciones de conexión varias veces y terminé con piezas que no coincidían con lo que esperaba.
Me sorprendería bastante si realmente envían datos incorrectos, pero, como siempre, todo es posible.
Más que enviar datos incorrectos, creo que obtuve un ERROR403. Si solo vuelvo a intentarlo, generalmente está bien.
Y estoy de acuerdo: vi un montón de informes sobre personas que hablaban de que Amazon estaba totalmente deprimido, pero nadie hablaba de un error "a veces mi acceso se rechaza", así que supongo que podría haber un error de mi parte. Acabo de configurar el registro en Amazon.
¡Gracias de todas formas! Seguiré tu consejo y dejaré de culpar al "otro tipo".
Ocasionalmente recibo errores 404 inesperados con OBTENER objetos que son parte de una LISTA precedente pero nuevos para el cubo y otros misceláneos. errores (p. ej .: 403 en mi id de acceso y clave secreta), pero nada catastrófico.
Mi código se ejecuta en el lado del servidor, por lo que he implementado un buen manejo de errores y registro. Creo que es una buena idea hacerlo cada vez que tenga un servidor en la red comunicándose con otro servidor. :PAG
El S3 de Amazon ocasionalmente fallará con errores durante las cargas o descargas, generalmente errores "500: Servidor interno". La tasa de error normalmente es bastante baja, pero puede aumentar si el servicio tiene una gran carga. La tasa de error nunca es 0%, por lo que incluso en el mejor de los casos, la solicitud ocasional fallará.
¿Está revisando el código de respuesta HTTP en su copia de seguridad automática? De lo contrario, debe verificar que su descarga haya tenido éxito (HTTP 200) antes de realizar una suma de comprobación. Idealmente, su aplicación debería volver a intentar descargas fallidas, porque los errores transitorios son una "característica" inevitable de S3 que los clientes deben manejar.
Vale la pena señalar que si sus clientes obtienen 500 errores, probablemente no verá ninguna evidencia de estos en los registros del servidor S3. Estos errores parecen ocurrir antes de que la solicitud llegue al componente de registro del servicio.
Nunca he oído hablar de un problema durante la descarga. Eso es raro. Recibo TONELADAS de 500 mensajes de error interno del servidor al cargar. Es por eso que tengo un daemon que sube mientras el usuario está haciendo otra cosa.
No parece ser algo en su código, tal vez realmente hay algo mal con S3 (o con S3-> Japón).
Puede intentar encender un servidor EC2, y simplemente ejecutar la prueba a partir de allí (el tráfico no costará dinero, ¡así que use todo lo que quiera!) Y vea si obtiene errores. Si lo haces, entonces no tienes suerte y S3 no es para ti :)
¡Buena suerte!
vale, esto es un poco viejo ahora, pero como referencia. Acabo de ejecutar una migración de datos de varios gigs de datos desde un servidor EC2 directamente a s3. Recibo 500 errores cada 10 minutos aproximadamente, lo que representa una tasa de error de aproximadamente el 1% de PUT. Entonces, sí, S3 tiene un problema con 500 errores.
No he hecho mucho en el camino de GET, así que no puedo comentar