python - start - tensorflow serving

TensorFlow REST Frontend pero no TensorFlow Sirviendo

Question

Quiero implementar un modelo simple de TensorFlow y ejecutarlo en un servicio REST como Flask. No encontré hasta ahora buen ejemplo en github o aquí.

No estoy listo para usar TF Serving como se sugirió en otras publicaciones, es la solución perfecta para Google pero es excesiva para mis tareas con gRPC, bazel, codificación C ++, protobuf ...

Answer 1

Este proyecto github muestra un ejemplo práctico de restaurar un punto de control modelo y usar Flask.

@app.route(''/api/mnist'', methods=[''POST''])
def mnist():
    input = ((255 - np.array(request.json, dtype=np.uint8)) / 255.0).reshape(1, 784)
    output1 = simple(input)
    output2 = convolutional(input)
    return jsonify(results=[output1, output2])

La demo línea parece bastante rápida.

Answer 2

Hay maneras diferentes de hacer esto. Puramente, usar tensorflow no es muy flexible, sin embargo es relativamente sencillo. La desventaja de este enfoque es que debe reconstruir el gráfico e inicializar las variables en el código donde restaura el modelo. Hay una manera mostrada en tensorflow skflow / contrib learn que es más elegante, sin embargo, esto no parece ser funcional en este momento y la documentación no está actualizada.

here puse un pequeño ejemplo en github que muestra cómo se nombrarían los parámetros GET o POST en un modelo de flujo tensorial REST desplegado en un matraz.

El código principal está entonces en una función que toma un diccionario basado en los datos POST / GET:

@app.route(''/model'', methods=[''GET'', ''POST''])
@parse_postget
def apply_model(d):
    tf.reset_default_graph()
    with tf.Session() as session:
        n = 1
        x = tf.placeholder(tf.float32, [n], name=''x'')
        y = tf.placeholder(tf.float32, [n], name=''y'')
        m = tf.Variable([1.0], name=''m'')
        b = tf.Variable([1.0], name=''b'')
        y = tf.add(tf.mul(m, x), b) # fit y_i = m * x_i + b
        y_act = tf.placeholder(tf.float32, [n], name=''y_'')
        error = tf.sqrt((y - y_act) * (y - y_act))
        train_step = tf.train.AdamOptimizer(0.05).minimize(error)

        feed_dict = {x: np.array([float(d[''x_in''])]), y_act: np.array([float(d[''y_star''])])}
        saver = tf.train.Saver()
        saver.restore(session, ''linear.chk'')
        y_i, _, _ = session.run([y, m, b], feed_dict)
    return jsonify(output=float(y_i))

Answer 3

No me gusta poner mucho código con el procesamiento de datos / modelos en el archivo de descanso del matraz. Usualmente tengo clase de modelo tf y demás por separado. es decir , podría ser algo como esto:

# model init, loading data
cifar10_recognizer = Cifar10_Recognizer()
cifar10_recognizer.load(''data/c10_model.ckpt'')

@app.route(''/tf/api/v1/SomePath'', methods=[''GET'', ''POST''])
def upload():
    X = []
    if request.method == ''POST'':
        if ''photo'' in request.files:
            # place for uploading process workaround, obtaining input for tf
            X = generate_X_c10(f)

        if len(X) != 0:
            # designing desired result here
            answer = np.squeeze(cifar10_recognizer.predict(X))
            top3 = (-answer).argsort()[:3]
            res = ([cifar10_labels[i] for i in top3], [answer[i] for i in top3])

            # you can simply print this to console
            # return ''Prediction answer: {}''.format(res)

            # or generate some html with result
            return fk.render_template(''demos/c10_show_result.html'',
                                      name=file,
                                      result=res)

    if request.method == ''GET'':
        # in html I have simple form to upload img file
        return fk.render_template(''demos/c10_classifier.html'')

cifar10_recognizer.predict (X) es func simple, que ejecuta la operación de predicción en la sesión tf:

    def predict(self, image):
        logits = self.sess.run(self.model, feed_dict={self.input: image})
        return logits

ps guardar / restaurar el modelo desde un archivo es un proceso extremadamente largo, trate de evitar esto mientras sirve solicitudes de publicación / recepción