nnet - neuralnet r

R-neuralnet-El backprop tradicional parece extraño

Question

Estoy experimentando con los diferentes algoritmos en el paquete neuralnet pero cuando pruebo el algoritmo backprop tradicional los resultados son muy extraños / decepcionantes. Casi todos los resultados calculados son ~ .33 ??? Supongo que debo estar usando el algoritmo de forma incorrecta, como si lo ejecutara con el valor predeterminado rprop+ diferencia entre muestras. Sin duda, la retropropagación normal no es tan mala, especialmente si puede converger tan rápidamente al umbral proporcionado.

library(neuralnet)
data(infert)
set.seed(123)
fit <- neuralnet::neuralnet(formula = case~age+parity+induced+spontaneous,
data = infert, hidden = 3,
learningrate = 0.01,
algorithm = "backprop",
err.fct = "ce",
linear.output = FALSE,
lifesign = ''full'',
lifesign.step = 100)
preds <- neuralnet::compute(fit, infert[,c("age","parity","induced","spontaneous")])$net.result
summary(preds)
V1
Min. :0.3347060
1st Qu.:0.3347158
Median :0.3347161
Mean :0.3347158
3rd Qu.:0.3347162
Max. :0.3347286 

¿Se supone que algunas configuraciones son diferentes aquí?

Ejemplo predeterminado neuralnet

set.seed(123)
fit <- neuralnet::neuralnet(formula = case~age+parity+induced+spontaneous,
data = infert, hidden = 3,
err.fct = "ce",
linear.output = FALSE,
lifesign = ''full'',
lifesign.step = 100)
preds <- neuralnet::compute(fit, infert[,c("age","parity","induced","spontaneous")])$net.result
summary(preds)
V1
Min. :0.1360947
1st Qu.:0.1516387
Median :0.1984035
Mean :0.3346734
3rd Qu.:0.4838288
Max. :1.0000000 

Answer 1

Se recomienda que normalice sus datos antes de alimentarlos a una red neuronal. Si haces eso, entonces estás listo para ir:

library(neuralnet)
data(infert)
set.seed(123)
infert[,c(''age'',''parity'',''induced'',''spontaneous'')] <- scale(infert[,c(''age'',''parity'',''induced'',''spontaneous'')])
fit <- neuralnet::neuralnet(formula = case~age+parity+induced+spontaneous,
data = infert, hidden = 3,
learningrate = 0.01,
algorithm = "backprop",
err.fct = "ce",
linear.output = FALSE,
lifesign = ''full'',
lifesign.step = 100)
preds <- neuralnet::compute(fit, infert[,c("age","parity","induced","spontaneous")])$net.result
summary(preds)
V1
Min. :0.02138785
1st Qu.:0.21002456
Median :0.21463423
Mean :0.33471568
3rd Qu.:0.47239818
Max. :0.97874839 

En realidad, hay algunas preguntas sobre SO que tratan con esto. ¿Por qué tenemos que normalizar la entrada de una red neuronal artificial? parecía tener algunos de los más detalles.