interference - Ejemplo para implementar un modelo de Tensorflow a través de una API RESTful

tensorflow serving rest api

Question

¿Hay algún código de ejemplo para implementar un modelo de Tensorflow a través de una API RESTful? Veo ejemplos para un programa de línea de comando y para una aplicación móvil. ¿Existe un marco para esto o solo personas cargan el modelo y exponen el método de predicción a través de un marco web (como Flask) para tomar la entrada (decir a través de JSON) y devolver la respuesta? Por marco quiero decir escalar para un gran número de solicitudes de predicción. Por supuesto, dado que los modelos son inmutables, podemos iniciar varias instancias de nuestro servidor de predicción y ponerlo detrás de un equilibrador de carga (como HAProxy). Mi pregunta es, ¿las personas están usando algún marco para esto o haciendo esto desde cero, o, quizás esto ya está disponible en Tensorflow y no lo he notado?

Answer 1

TensorFlow Serving es un sistema de servicio abierto de alto rendimiento para modelos de aprendizaje automático, diseñado para entornos de producción y optimizado para TensorFlow. El lanzamiento inicial contiene ejemplos construidos con gRPC , pero puede reemplazar fácilmente el front-end (indicado como "cliente" en el diagrama a continuación) con una API RESTful para satisfacer sus necesidades.

Para comenzar rápidamente, mira el tutorial .

Answer 2

https://github.com/sugyan/tensorflow-mnist muestra un ejemplo simple de restAPI usando Flask y cargando el modo pre-entrenado (restaurar).

@app.route(''/api/mnist'', methods=[''POST''])
def mnist():
    input = ((255 - np.array(request.json, dtype=np.uint8)) / 255.0).reshape(1, 784)
    output1 = simple(input)
    output2 = convolutional(input)
    return jsonify(results=[output1, output2])

Además, vea la demostración en línea en https://tensorflow-mnist.herokuapp.com/ . Parece que la API es lo suficientemente rápida.