neural network - sirven - ¿Cómo organizar la red neuronal recurrente?

redes neuronales recurrentes

Question

Quiero modelar lo siguiente:

y (t) = F (x (t-1), x (t-2), ... x (tk))

o digamos una función que su salida actual depende de las últimas k entradas.

1- Sé que una forma es tener una red neuronal clásica con k entradas como {x (t-1), x (t-2), ... x (tk)} para cada y (t) y entrenarla. Entonces, ¿cuál es el beneficio de usar un RNN para resolver ese problema?

2- Suponiendo usar RNN, ¿debería usar solo x (t) (o x (t-1)) y asumir que la (s) capa (s) oculta (s) puede (n) encontrar la relación de y (t) su memoria (capa oculta)?

3- El uso de redes profundas como Deep RNN o LSTM tiene algún beneficio superior para tal problema, considerando que queremos estimar la producción en función de las últimas k entradas.

Answer 1

1. No te aconsejaría que uses un clásico RNN vainilla. Teóricamente tiene la capacidad de almacenar información de entradas previas en su memoria, pero prácticamente requiere un número expotencialmente grande de nodos.
2. Asumiendo implementaciones vanilla clásicas siempre y cuando las arquitecturas modernas (como, por ejemplo, LSTM o GRU) - depende de si desea utilizar un modelo direccional o bidireccional. Si desea predecir el siguiente paso, generalmente una arquitectura direccional es mejor. Si desea analizar mejor las secuencias dadas, le aconsejo que las aplique de forma bidireccional.
3. Los LSTM y GRU hacen uso de celdas de memoria adicionales que le ayudan a mantener las dependencias entre las entradas en la memoria. Se consideran las mejores arquitecturas en este momento. Los RNN profundos (por lo general son redes profundas con topologías recurrentes) utilizan su profundidad de la misma manera que las redes neuronales feedforward.