the - Límite de solicitud de Amazon Web Services S3
what is the maximum length of a file name in s3? (3)
Estoy usando AWS para ejecutar algunos procesos de datos. Tengo 400 instancias puntuales en EC2 con 4 procesos cada una, todas escritas en un solo cubo en S3. Empecé a recibir un error (aparentemente poco común) que decía:
503: ralentización
¿Alguien sabe cuál es el límite de solicitud real para un cubo S3? No puedo encontrar ninguna documentación de AWS en él.
¡Gracias!
AWS documenta 503 como resultado de un error temporal. No refleja un límite específico.
De acuerdo con la sección "Mejores prácticas para usar Amazon S3" sobre el manejo de errores ( http://aws.amazon.com/articles/1904/ ):
Los errores de la serie 500 indican que una solicitud no tuvo éxito, pero se puede volver a intentar. Aunque infrecuentes, estos errores deben esperarse como parte de la interacción normal con el servicio y deben manejarse explícitamente con un algoritmo de retroceso exponencial (idealmente uno que utiliza jitter). Uno de estos algoritmos se puede encontrar en http://en.wikipedia.org/wiki/Truncated_binary_exponential_backoff .
Particularmente, si de repente comienza a ejecutar cientos de PUT por segundo en un solo contenedor, puede encontrar que algunas solicitudes devuelven un error 503 de "ralentización" mientras el servicio funciona para reparticionar la carga. Al igual que con todos los errores de la serie 500, estos deben ser manejados con un retroceso exponencial.
Aunque menos detallada, la documentación de respuestas de error S3 incluye 503 Slow Down ( http://docs.aws.amazon.com/AmazonS3/latest/API/ErrorResponses.html ).
Para agregar a lo que James dijo, hay algunos aspectos internos sobre la partición de S3 que se han discutido y que se pueden usar para mitigar esto en el futuro porque se requiere un retroceso exponencial.
Vea aquí: http://aws.typepad.com/aws/2012/03/amazon-s3-performance-tips-tricks-seattle-hiring-event.html
En resumen, no almacene todo con el mismo prefijo o hay una mayor probabilidad de que tenga estos errores. Encuentre alguna manera de hacer que el primer carácter en el prefijo sea lo más aleatorio posible para evitar zonas activas en el particionamiento interno de S3.
Por lo que he leído, Slow Down es un error muy poco frecuente. Sin embargo, después de publicar esta pregunta, recibí un correo electrónico de AWS que decía que había limitado mis solicitudes de LIST a 10 solicitudes por segundo porque tenía demasiadas para un segmento específico.
He estado usando un script de cola personalizada para el proyecto en el que estoy trabajando, que se basó en las solicitudes de LIST para determinar el siguiente elemento para procesar. Después de toparme con este problema, cambié a AWS SQS, que fue mucho más fácil de implementar de lo que pensé que sería. No más cola personalizada, no más cantidad masiva de solicitudes LIST.
Gracias por las respuestas!