python - tensorflow serving docker

¿Cómo implementar y servir predicción utilizando TensorFlow desde la API?

Question

De google tutorial sabemos cómo entrenar a un modelo en TensorFlow. Pero, ¿cuál es la mejor manera de salvar un modelo entrenado? Luego, sirva la predicción utilizando una API de python mínima básica en el servidor de producción.

Mi pregunta es básicamente para las mejores prácticas de TensorFlow para guardar el modelo y servir la predicción en un servidor en vivo sin comprometer la velocidad y el problema de la memoria. Dado que el servidor API se ejecutará en segundo plano para siempre.

Un pequeño fragmento de código de python será apreciado.

Answer 1

TensorFlow Serving es un sistema de código abierto de alto rendimiento para modelos de aprendizaje automático, diseñado para entornos de producción y optimizado para TensorFlow. La versión inicial contiene servidores de C ++ y ejemplos de clientes de Python basados ​​en gRPC . La arquitectura básica se muestra en el siguiente diagrama.

Para comenzar rápidamente, echa un vistazo al tutorial .