performance - entrar - crear directorio en ubuntu
Máx. Archivos por directorio en S3 (3)
Si tuviera un millón de imágenes, ¿sería mejor almacenarlas en alguna jerarquía de carpetas / subcarpetas o simplemente colocarlas en un cubo (sin ninguna carpeta)?
¿Vaciar todas las imágenes en un cubo sin jerarquía ralentizaría las operaciones de LIST?
¿Existe una sobrecarga significativa en la creación de carpetas y subcarpetas sobre la marcha y la configuración de sus ACL (programáticamente hablando)?
La respuesta a la pregunta original "Máx. Archivos por directorio en S3" es: ILIMITADO. Ver también límite S3 para objetos en un cubo .
S3 no respeta los espacios de nombres jerárquicos. Cada segmento contiene simplemente una cantidad de asignaciones de la clave al objeto (junto con los metadatos asociados, las ACL, etc.).
Aunque la clave de su objeto puede contener un ''/'', S3 trata la ruta como una cadena simple y coloca todos los objetos en un espacio de nombre plano.
En mi experiencia, las operaciones LIST toman (linealmente) más tiempo a medida que aumenta el recuento de objetos, pero esto es probablemente un síntoma del aumento de E / S requerido en los servidores de Amazon, y por cable a su cliente.
Sin embargo, los tiempos de búsqueda no parecen aumentar con el recuento de objetos; probablemente sea algún tipo de implementación de tabla hash O (1) en su extremo, por lo que tener muchos objetos en el mismo contenedor debería ser tan eficiente como pequeños cubos para uso normal (es decir, no LISTA).
En cuanto a la ACL, las concesiones se pueden establecer en el cubo y en cada objeto individual. Como no hay jerarquía, son sus únicas dos opciones. Obviamente, establecer tantas concesiones a nivel de cubo reducirá masivamente sus dolores de cabeza de administrador si tiene millones de archivos, pero recuerde que solo puede otorgar permisos, no revocarlos, por lo que las concesiones de todo el cubo deberían ser el subconjunto máximo de la ACL para todos su contenido.
Recomiendo dividir en cubos separados para:
- contenido totalmente diferente: tener cubos separados para imágenes, sonido y otros datos hace que la arquitectura sea más sensata
- ACL significativamente diferentes: si puede tener un depósito con cada objeto que recibe una ACL específica, o dos depósitos con diferentes ACL y sin ACL específicas de un objeto, tome los dos intervalos.
Utilizo una estructura de directorio con una raíz y luego al menos un subdirectorio. A menudo uso "fecha de importación del documento" como el directorio debajo de la raíz. Esto puede hacer que la administración de copias de seguridad sea un poco más fácil. Cualquiera que sea el sistema de archivos que esté utilizando, tendrá que alcanzar un límite de conteo de archivos (un límite práctico, si no físico) con el tiempo. También podrías pensar en apoyar raíces múltiples.