neural-network - tutorial - net forward

¿Cómo puedo tener múltiples pérdidas en una red en Caffe?

Question

Si defino múltiples capas de pérdida en una red, ¿habrá múltiples propagaciones hacia atrás desde esos extremos hasta el comienzo de la red? Quiero decir, ¿trabajan incluso de esa manera?
Supongamos que tengo algo así:

Layer1{
}
Layer2{
}
...
Layer_n{
}
Layer_cls1{
bottom:layer_n
top:cls1
}
Layer_cls_loss1{
type:some_loss
bottom:cls1
top:loss1
}
Layer_n1{
bottom:layer_n
..
}
Layer_n2{
}
...
layer_n3{
}
Layer_cls2{
bottom:layer_n3
top:cls2
}
Layer_cls_loss2{
type:some_loss
bottom:cls2
top:loss2
}
layer_n4{
bottom:layer_n3
..
}
...
layer_cls3End{
top:cls_end
bottom:...
}
loss{
bottom:cls_end
top:loss:
type: someloss
}

Entonces, básicamente, supongamos que en lugar de tener una clasificación / pérdida por cada red, también tenemos varias en medio.

y En caso de que funcionen, ¿cómo podría sumar todas las pérdidas y convertir mi pérdida final en la suma de todas las pérdidas anteriores?

Answer 1

Caffe hace esto por ti.
Además, para cada capa de pérdida tiene el parámetro loss_weight que le permite decidir qué tan influyente es esta pérdida específica con respecto a todas las otras pérdidas en la red.
En general, la pérdida minimizada por caffe es la suma ponderada de todas las capas de pérdida en el modelo.