neural network - programacion - ¿Qué factor de multiplicación y adición usar al hacer la tasa de aprendizaje adaptativo en redes neuronales?

redes neuronales inteligencia artificial

Question

Soy nuevo en las redes neuronales y, para controlar el asunto, he implementado un MLP feed-forward básico que actualmente entreno a través de la retro-propagación. Soy consciente de que hay formas más sofisticadas y mejores para hacer eso, pero en Introducción al aprendizaje automático sugieren que con uno o dos trucos, el descenso de gradiente básico puede ser efectivo para aprender de datos del mundo real. Uno de los trucos es la velocidad de aprendizaje adaptativo .

La idea es aumentar la tasa de aprendizaje en un valor constante a cuando el error se reduce, y disminuirla en una fracción b de la tasa de aprendizaje cuando el error aumenta. Entonces, básicamente, el cambio en la tasa de aprendizaje está determinado por:

+(a)

si estamos aprendiendo en la dirección correcta, y

-(b * <learning rate>)

si estamos arruinando nuestro aprendizaje. Sin embargo, en el libro anterior no hay consejos sobre cómo establecer estos parámetros. No esperaría una sugerencia precisa ya que el ajuste de parámetros es un tema completo en sí mismo, pero solo una pista al menos en su orden de magnitud. ¿Algunas ideas?

Gracias,
Tunnuz

Answer 1

No he estudiado las redes neuronales por mucho tiempo (10 años o más), pero después de ver su pregunta, pensé que podría explorarla rápidamente. Seguí viendo las mismas cifras en Internet en relación con los factores de aumento ( a ) y disminución ( b ) ( 1.2 y 0.5 respectivamente).

He logrado rastrear estos valores hasta Martin Riedmiller y el algoritmo RPROP de Heinrich Braun (1992). Riedmiller y Braun son bastante específicos sobre los parámetros razonables para elegir.

Ver: RPROP: un algoritmo de aprendizaje adaptativo rápido

Espero que esto ayude.