google cloud storage - Problemas de Google Cloud ML y GCS Bucket

google-cloud-storage google-cloud-platform

Question

Estoy usando implementaciones de código abierto de Tensorflow de trabajos de investigación, por ejemplo DCGAN-tensorflow . La mayoría de las bibliotecas que estoy usando están configuradas para entrenar el modelo localmente, pero quiero usar Google Cloud ML para entrenar el modelo ya que no tengo una GPU en mi computadora portátil. Me resulta difícil cambiar el código para admitir los depósitos de GCS. Por el momento, estoy guardando mis registros y modelos en / tmp y luego ejecuto un comando ''gsutil'' para copiar el directorio a gs: // my-bucket al final del entrenamiento ( ejemplo aquí ). Si intento guardar el modelo directamente en gs: // my-bucket, nunca aparece.

En cuanto a los datos de entrenamiento, una de las muestras de tensorflow copia datos de GCS a / tmp para entrenamiento ( ejemplo aquí ), pero esto solo funciona cuando el conjunto de datos es pequeño. Quiero usar celebA, y es demasiado grande para copiar en / tmp cada ejecución. ¿Existe alguna documentación o guía sobre cómo actualizar el código que se entrena localmente para usar Google Cloud ML?

Las implementaciones ejecutan varias versiones de Tensorflow, principalmente .11 y .12

Answer 1

Actualmente no hay una guía definitiva. La idea básica sería reemplazar todas las ocurrencias de operaciones nativas de archivos Python con equivalentes en el módulo file_io , más notablemente:

• open() -> file_io.FileIO()
• os.path.exists() -> file_io.file_exists()
• glob.glob() -> file_io.file_exists()

Estas funciones funcionarán localmente y en GCS (así como en cualquier sistema de archivos registrado). Sin embargo, file_io en file_io que existen algunas pequeñas diferencias en file_io y las operaciones estándar de archivo (por ejemplo, se admite un conjunto diferente de ''modos'').

Afortunadamente, el punto de verificación y la redacción de tf.train.Saver.save funcionan de forma inmediata, solo asegúrese de pasar una ruta GCS a tf.train.Saver.save y tf.summary.FileWriter .

En la muestra que envió, eso parece potencialmente doloroso. Considere mono parchear las funciones de Python para asignar a los equivalentes de TensorFlow cuando el programa comienza a tener que hacerlo solo una vez (se muestra here ).

Como nota al margen, todos los ejemplos en this página muestran la lectura de archivos de GCS.