machine - lstm keras ejemplos

Keras: la diferencia entre el abandono de LSTM y el abandono recurrente de LSTM

Question

De la documentación de Keras:

abandono: flotar entre 0 y 1. Fracción de las unidades a caer para la transformación lineal de las entradas.

recurrent_dropout: Flota entre 0 y 1. Fracción de las unidades a caer para la transformación lineal del estado recurrente.

¿Alguien puede señalar dónde se encuentra la imagen debajo de cada abandono?

Answer 1

Sugiero echar un vistazo a (la primera parte de) este documento . El abandono regular se aplica en las entradas y / o las salidas, es decir, las flechas verticales de x_t y h_t . En que lo agregue como un argumento a su capa, enmascarará las entradas; puede agregar una capa de exclusión después de su capa recurrente para enmascarar las salidas también. Las máscaras de deserción recurrente (o "cae") las conexiones entre las unidades recurrentes; esas serían las flechas horizontales en tu foto.

Esta foto está tomada del papel de arriba. A la izquierda, abandono regular en las entradas y salidas. A la derecha, abandono regular MÁS abandono recurrente:

(Ignore el color de las flechas en este caso; en el papel están haciendo un punto adicional de mantener las mismas máscaras de abandono en cada paso del tiempo)