Aprendizaje y adaptación
Como se dijo anteriormente, ANN está completamente inspirado en la forma en que funciona el sistema nervioso biológico, es decir, el cerebro humano. La característica más impresionante del cerebro humano es aprender, por lo que ANN adquiere la misma característica.
¿Qué es el aprendizaje en ANN?
Básicamente, aprender significa hacer y adaptar el cambio en sí mismo a medida que se produce un cambio de entorno. ANN es un sistema complejo o más precisamente podemos decir que es un sistema adaptativo complejo, que puede cambiar su estructura interna en función de la información que pasa por él.
¿Por qué es importante?
Al ser un sistema adaptativo complejo, el aprendizaje en ANN implica que una unidad de procesamiento es capaz de cambiar su comportamiento de entrada / salida debido al cambio en el entorno. La importancia del aprendizaje en ANN aumenta debido a la función de activación fija, así como al vector de entrada / salida, cuando se construye una red en particular. Ahora, para cambiar el comportamiento de entrada / salida, necesitamos ajustar los pesos.
Clasificación
Puede definirse como el proceso de aprender a distinguir los datos de muestras en diferentes clases al encontrar características comunes entre las muestras de las mismas clases. Por ejemplo, para realizar el entrenamiento de ANN, tenemos algunas muestras de entrenamiento con características únicas, y para realizar sus pruebas tenemos algunas muestras de prueba con otras características únicas. La clasificación es un ejemplo de aprendizaje supervisado.
Reglas de aprendizaje de redes neuronales
Sabemos que, durante el aprendizaje de ANN, para cambiar el comportamiento de entrada / salida, necesitamos ajustar los pesos. Por tanto, se requiere un método con la ayuda del cual se puedan modificar los pesos. Estos métodos se denominan reglas de aprendizaje, que son simplemente algoritmos o ecuaciones. A continuación se muestran algunas reglas de aprendizaje para la red neuronal:
Regla de aprendizaje de Hebbian
Esta regla, una de las más antiguas y sencillas, fue introducida por Donald Hebb en su libro The Organization of Behavior en 1949. Es una especie de aprendizaje no supervisado y de retroalimentación.
Basic Concept - Esta regla se basa en una propuesta de Hebb, quien escribió -
“Cuando un axón de la célula A está lo suficientemente cerca como para excitar una célula B y participa repetida o persistentemente en su activación, se produce algún proceso de crecimiento o cambio metabólico en una o ambas células, de modo que la eficiencia de A, como una de las células que dispara B , está incrementado."
Del postulado anterior, podemos concluir que las conexiones entre dos neuronas podrían fortalecerse si las neuronas se disparan al mismo tiempo y podrían debilitarse si se disparan en momentos diferentes.
Mathematical Formulation - De acuerdo con la regla de aprendizaje de Hebb, la siguiente es la fórmula para aumentar el peso de la conexión en cada paso de tiempo.
$$ \ Delta w_ {ji} (t) \: = \: \ alpha x_ {i} (t) .y_ {j} (t) $$
Aquí, $ \ Delta w_ {ji} (t) $ = incremento por el cual el peso de la conexión aumenta en el paso de tiempo t
$ \ alpha $ = la tasa de aprendizaje positiva y constante
$ x_ {i} (t) $ = el valor de entrada de la neurona presináptica en el paso de tiempo t
$ y_ {i} (t) $ = la salida de la neurona presináptica en el mismo paso de tiempo t
Regla de aprendizaje del perceptrón
Esta regla es un error que corrige el algoritmo de aprendizaje supervisado de redes feedforward de una sola capa con función de activación lineal, introducido por Rosenblatt.
Basic Concept- Al ser de naturaleza supervisada, para calcular el error, habría una comparación entre la salida deseada / objetivo y la salida real. Si se encuentra alguna diferencia, se debe realizar un cambio en los pesos de conexión.
Mathematical Formulation - Para explicar su formulación matemática, suponga que tenemos 'n' número de vectores de entrada finitos, x (n), junto con su vector de salida deseado / objetivo t (n), donde n = 1 a N.
Ahora se puede calcular la salida 'y', como se explicó anteriormente, sobre la base de la entrada neta, y la función de activación que se aplica sobre esa entrada neta se puede expresar de la siguiente manera:
$$ y \: = \: f (y_ {in}) \: = \: \ begin {cases} 1, & y_ {in} \:> \: \ theta \\ 0, & y_ {in} \: \ leqslant \: \ theta \ end {casos} $$
Dónde θ es el umbral.
La actualización de peso se puede realizar en los dos casos siguientes:
Case I - cuando t ≠ y, luego
$$ w (nuevo) \: = \: w (antiguo) \: + \; tx $$
Case II - cuando t = y, luego
Sin cambio de peso
Regla de aprendizaje delta (regla de Widrow-Hoff)
Es presentado por Bernard Widrow y Marcian Hoff, también llamado método de mínimos cuadrados medios (LMS), para minimizar el error en todos los patrones de entrenamiento. Es una especie de algoritmo de aprendizaje supervisado con función de activación continua.
Basic Concept- La base de esta regla es la aproximación en pendiente descendente, que continúa para siempre. La regla delta actualiza los pesos sinápticos para minimizar la entrada neta a la unidad de salida y el valor objetivo.
Mathematical Formulation - Para actualizar los pesos sinápticos, la regla delta viene dada por
$$ \ Delta w_ {i} \: = \: \ alpha \ :. x_ {i} .e_ {j} $$
Aquí $ \ Delta w_ {i} $ = cambio de peso para i ésimo patrón;
$ \ alpha $ = la tasa de aprendizaje positiva y constante;
$ x_ {i} $ = el valor de entrada de la neurona presináptica;
$ e_ {j} $ = $ (t \: - \: y_ {in}) $, la diferencia entre la salida deseada / objetivo y la salida real $ y_ {in} $
La regla delta anterior es para una única unidad de salida.
La actualización de peso se puede realizar en los dos casos siguientes:
Case-I - cuando t ≠ y, luego
$$ w (nuevo) \: = \: w (antiguo) \: + \: \ Delta w $$
Case-II - cuando t = y, luego
Sin cambio de peso
Regla de aprendizaje competitivo (el ganador se lo lleva todo)
Se ocupa del entrenamiento no supervisado en el que los nodos de salida intentan competir entre sí para representar el patrón de entrada. Para comprender esta regla de aprendizaje, debemos comprender la red competitiva que se da de la siguiente manera:
Basic Concept of Competitive Network- Esta red es como una red feedforward de una sola capa con conexión de retroalimentación entre las salidas. Las conexiones entre las salidas son de tipo inhibitorio, mostradas por líneas punteadas, lo que significa que los competidores nunca se apoyan a sí mismos.
Basic Concept of Competitive Learning Rule- Como se dijo anteriormente, habrá una competencia entre los nodos de salida. Por lo tanto, el concepto principal es que durante el entrenamiento, la unidad de salida con la activación más alta para un patrón de entrada dado, será declarada ganadora. Esta regla también se llama El ganador se lo lleva todo porque solo se actualiza la neurona ganadora y el resto de las neuronas no se modifican.
Mathematical formulation - A continuación se presentan los tres factores importantes para la formulación matemática de esta regla de aprendizaje -
Condition to be a winner - Suponga que si una neurona $ y_ {k} $ quiere ser la ganadora, entonces se da la siguiente condición:
$$ y_ {k} \: = \: \ begin {cases} 1 & if \: v_ {k} \:> \: v_ {j} \: para \: todos \: j, \: j \: \ neq \: k \\ 0 y de lo contrario \ end {cases} $$
Significa que si alguna neurona, digamos $ y_ {k} $ , quiere ganar, entonces su campo local inducido (la salida de la unidad de suma), digamos $ v_ {k} $, debe ser el más grande entre todas las demás neuronas en la red.
Condition of sum total of weight - Otra restricción sobre la regla de aprendizaje competitivo es que la suma total de pesos de una neurona de salida en particular será 1. Por ejemplo, si consideramos neurona k entonces -
$$ \ Displaystyle \ sum \ limits_ {j} w_ {kj} \: = \: 1 \: \: \: \: \: \: \: \: \: para \: todos \: k $$
Change of weight for winner- Si una neurona no responde al patrón de entrada, entonces no se produce ningún aprendizaje en esa neurona. Sin embargo, si una neurona en particular gana, los pesos correspondientes se ajustan de la siguiente manera
$$ \ Delta w_ {kj} \: = \: \ begin {cases} - \ alpha (x_ {j} \: - \: w_ {kj}), y si \: neuron \: k \: gana \\ 0, y si \: neurona \: k \: pérdidas \ end {casos} $$
Aquí $ \ alpha $ es la tasa de aprendizaje.
Esto muestra claramente que estamos favoreciendo a la neurona ganadora ajustando su peso y si hay una pérdida de neurona, entonces no necesitamos molestarnos en reajustar su peso.
Regla de aprendizaje de Outstar
Esta regla, introducida por Grossberg, se refiere al aprendizaje supervisado porque se conocen los resultados deseados. También se llama aprendizaje de Grossberg.
Basic Concept- Esta regla se aplica sobre las neuronas dispuestas en una capa. Está especialmente diseñado para producir un resultado deseadod de la capa de p neuronas.
Mathematical Formulation - Los ajustes de peso en esta regla se calculan de la siguiente manera
$$ \ Delta w_ {j} \: = \: \ alpha \ :( d \: - \: w_ {j}) $$
aquí d es la salida de neurona deseada y $ \ alpha $ es la tasa de aprendizaje.