perl - oculta - redes neuronales ejemplos

La red neuronal multicapa no predice valores negativos

Question

He implementado un perceptrón multicapa para predecir el pecado de los vectores de entrada. Los vectores consisten en cuatro -1,0,1 elegidos al azar y un sesgo establecido en 1. La red debe predecir el pecado de la suma de los contenidos de los vectores.

por ejemplo, Entrada = <0,1, -1,0,1> Salida = Sin (0 + 1 + (- 1) + 0 + 1)

El problema que tengo es que la red nunca predecirá un valor negativo y muchos de los valores de pecado de los vectores son negativos. Predice perfectamente todas las salidas positivas o cero. Supongo que hay un problema con la actualización de los pesos, que se actualizan después de cada época. ¿Alguien ha encontrado este problema con NN antes? ¡¡Cualquier ayuda en absoluto sería grande!!

nota: la red tiene 5 entradas, 6 unidades ocultas en 1 capa oculta y 1 salida. Estoy usando una función sigmoide en las capas ocultas y de salida de las activaciones, y he probado toneladas de tasas de aprendizaje (actualmente 0.1);

Answer 1

Hay muchos tipos diferentes de funciones de activación, muchas de las cuales están diseñadas para generar un valor de 0 a 1. Si está usando una función que solo genera entre 0 y 1, intente ajustarlo para que salga entre 1 y -1 . Si estuviera usando FANN , le diría que use la función de activación FANN_SIGMOID_SYMMETRIC .

Answer 2

Siendo un largo tiempo desde que miré los perceptrones multicapa, tomé esto con un grano de sal.

Volvería a escalar su dominio de problema al dominio [0,1] en lugar de [-1,1]. Si echas un vistazo al gráfico de la función logística:

Genera valores entre [0,1]. No espero que produzca resultados negativos. Podría estar equivocado, duro.

EDITAR :

En realidad, puede extender la función logística a su dominio de problema. Use la curva logística generalizada que establece los parámetros A y K en los límites de su dominio.

Otra opción es la tangente hiperbólica, que va de [-1, + 1] y no tiene constantes para configurar.