machine learning - tipos - ¿Diferencia fundamental entre las redes neuronales feed-forward y las redes neuronales recurrentes?

redes neuronales recurrentes wikipedia

Question

A menudo he leído que existen diferencias fundamentales entre las redes neuronales recurrentes (RNN) y feed-forward, debido a la falta de un estado interno y, por lo tanto, de memoria a corto plazo en las redes feed-forward. Esto me pareció plausible a primera vista.

Sin embargo, cuando entiendo una red neuronal recurrente con el algoritmo Backpropagation through time , las redes recurrentes se transforman en redes feed feed forward equivalentes, si entiendo correctamente.

Esto implicaría que, de hecho, no hay una diferencia fundamental. ¿Por qué las RNN funcionan mejor en ciertas tareas (reconocimiento de imágenes, predicción de series de tiempo, ...) que las redes de avance profundo?

Answer 1

El hecho de que el entrenamiento se hace usando algún truco, no cambia el hecho de que existe una diferencia fundamental en la preservación del estado de la red , que está ausente en la red de feed-forward.

La red de reenvío "desenrollada" no es equivalente a la red recurrente. Es solo una aproximación de Markov (al nivel dado por la cantidad de niveles "desenrollados"). Entonces, simplemente "simula" la red recurrente con la memoria de paso k , mientras que la red neuronal recurrente real tiene (en teoría) memoria ilimitada.