google-cloud-storage - google - gsutil create folder

¿La forma más rápida de obtener el tamaño de almacenamiento de Google?

Question

Actualmente estoy haciendo esto, pero es MUY lento ya que tengo varios terabytes de datos en el cubo:

gsutil du -sh gs://my-bucket-1/

Y lo mismo para una subcarpeta:

gsutil du -sh gs://my-bucket-1/folder

¿Es posible obtener de alguna manera el tamaño total de un grupo completo (o una subcarpeta) en otro lugar o de alguna otra manera que sea mucho más rápido?

Answer 1

Lamentablemente no. Si necesita saber el tamaño del cubo en este momento, no hay una manera más rápida de lo que está haciendo.

Si necesita verificar esto regularmente, puede habilitar el registro de depósito. Google Cloud Storage generará un registro de almacenamiento diario que puede usar para verificar el tamaño del depósito. Si eso fuera útil, puede leer más sobre esto aquí: https://cloud.google.com/storage/docs/accesslogs#delivery

Answer 2

Si el registro de almacenamiento diario que obtiene al habilitar el registro de depósito (según la sugerencia de Brandon) no funcionará para usted, una cosa que podría hacer para acelerar el proceso es deshacerse de la solicitud. Por ejemplo, podrías hacer algo como:

gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk ''{sum+=$1} END {print sum}'' *.size

(asumiendo que sus subcarpetas se nombren comenzando con letras del alfabeto inglés; de lo contrario, deberá ajustar la forma en que ejecutó los comandos anteriores).