python - usar - Cómo devolver el historial de pérdida de validación en Keras

stackoverflowespañol

Question

Utilizando Anaconda Python 2.7 Windows 10.

Estoy entrenando un modelo de lenguaje usando el ejemplo de Keras:

print(''Build model...'')
model = Sequential()
model.add(GRU(512, return_sequences=True, input_shape=(maxlen, len(chars))))
model.add(Dropout(0.2))
model.add(GRU(512, return_sequences=False))
model.add(Dropout(0.2))
model.add(Dense(len(chars)))
model.add(Activation(''softmax''))

model.compile(loss=''categorical_crossentropy'', optimizer=''rmsprop'')

def sample(a, temperature=1.0):
    # helper function to sample an index from a probability array
    a = np.log(a) / temperature
    a = np.exp(a) / np.sum(np.exp(a))
    return np.argmax(np.random.multinomial(1, a, 1))


# train the model, output generated text after each iteration
for iteration in range(1, 3):
    print()
    print(''-'' * 50)
    print(''Iteration'', iteration)
    model.fit(X, y, batch_size=128, nb_epoch=1)
    start_index = random.randint(0, len(text) - maxlen - 1)

    for diversity in [0.2, 0.5, 1.0, 1.2]:
        print()
        print(''----- diversity:'', diversity)

        generated = ''''
        sentence = text[start_index: start_index + maxlen]
        generated += sentence
        print(''----- Generating with seed: "'' + sentence + ''"'')
        sys.stdout.write(generated)

        for i in range(400):
            x = np.zeros((1, maxlen, len(chars)))
            for t, char in enumerate(sentence):
                x[0, t, char_indices[char]] = 1.

            preds = model.predict(x, verbose=0)[0]
            next_index = sample(preds, diversity)
            next_char = indices_char[next_index]

            generated += next_char
            sentence = sentence[1:] + next_char

            sys.stdout.write(next_char)
            sys.stdout.flush()
        print()

Según la documentación de Keras, el método model.fit devuelve una devolución de llamada de historial, que tiene un atributo de historial que contiene las listas de pérdidas sucesivas y otras métricas.

hist = model.fit(X, y, validation_split=0.2)
print(hist.history)

Después de entrenar mi modelo, si ejecuto print(model.history) obtengo el error:

 AttributeError: ''Sequential'' object has no attribute ''history''

¿Cómo devuelvo mi historial de modelos después de entrenar mi modelo con el código anterior?

ACTUALIZAR

El problema era que:

Primero se definió lo siguiente:

from keras.callbacks import History 
history = History()

La opción de devolución de llamada tenía que ser llamada

model.fit(X_train, Y_train, nb_epoch=5, batch_size=16, callbacks=[history])

Pero ahora si imprimo

print(history.History)

vuelve

{}

a pesar de que me encontré con una iteración.

Answer 1

El diccionario con las historias de "acc", "loss", etc. está disponible y guardado en la variable hist.history .

Answer 2

El siguiente código simple funciona muy bien para mí:

    seqModel =model.fit(x_train, y_train,
          batch_size      = batch_size,
          epochs          = num_epochs,
          validation_data = (x_test, y_test),
          shuffle         = True,
          verbose=0, callbacks=[TQDMNotebookCallback()]) #for visualization

Asegúrese de asignar la función de ajuste a una variable de salida. Entonces puedes acceder a esa variable muy fácilmente

# visualizing losses and accuracy
train_loss = seqModel.history[''loss'']
val_loss   = seqModel.history[''val_loss'']
train_acc  = seqModel.history[''acc'']
val_acc    = seqModel.history[''val_acc'']
xc         = range(num_epochs)

plt.figure()
plt.plot(xc, train_loss)
plt.plot(xc, val_loss)

Espero que esto ayude. fuente: https://keras.io/getting-started/faq/#how-can-i-record-the-training-validation-loss-accuracy-at-each-epoch

Answer 3

En realidad, también puedes hacerlo con el método de iteración. Porque a veces es posible que necesitemos usar el método de iteración en lugar del método de épocas incorporado para visualizar los resultados de entrenamiento después de cada iteración.

history = [] #Creating a empty list for holding the loss later
for iteration in range(1, 3):
    print()
    print(''-'' * 50)
    print(''Iteration'', iteration)
    result = model.fit(X, y, batch_size=128, nb_epoch=1) #Obtaining the loss after each training
    history.append(result.history[''loss'']) #Now append the loss after the training to the list.
    start_index = random.randint(0, len(text) - maxlen - 1)
print(history)

De esta manera le permite obtener la pérdida que desea mientras mantiene su método de iteración.

Answer 4

Otra opción es CSVLogger: https://keras.io/callbacks/#csvlogger . Crea un archivo csv que anexa el resultado de cada época. Incluso si interrumpes el entrenamiento, puedes ver cómo evolucionó.

Answer 5

Se ha resuelto.

Las pérdidas solo salvan a la Historia durante las épocas. Estaba ejecutando iteraciones en lugar de usar la opción incorporada de Keras en épocas.

Así que en lugar de hacer 4 iteraciones ahora tengo

model.fit(......, nb_epoch = 4)

Ahora devuelve la pérdida por cada carrera de época:

print(hist.history)
{''loss'': [1.4358016599558268, 1.399221191623641, 1.381293383180471, h1.3758836857303727]}

Answer 6

Solo un ejemplo a partir de

history = model.fit(X, Y, validation_split=0.33, nb_epoch=150, batch_size=10, verbose=0)

Puedes usar

print(history.history.keys())

para enumerar todos los datos en la historia.

Luego, puede imprimir el historial de pérdida de validación de la siguiente manera:

print(history.history[''val_loss''])

Answer 7

También encontré que puedes usar verbose=2 para hacer que keras imprima las pérdidas:

history = model.fit(X, Y, validation_split=0.33, nb_epoch=150, batch_size=10, verbose=2)

Y eso imprimiría lindas líneas como esta:

Epoch 1/1
 - 5s - loss: 0.6046 - acc: 0.9999 - val_loss: 0.4403 - val_acc: 0.9999

Según su documentation :

verbose: 0, 1, or 2. Verbosity mode. 0 = silent, 1 = progress bar, 2 = one line per epoch.