numpy - Capa de pérdida de información

neural-network protocol-buffers

Question

Deseo utilizar una capa de pérdida del tipo InfogainLoss en mi modelo. Pero estoy teniendo dificultades para definirlo correctamente.

1. ¿Hay algún tutorial / ejemplo sobre el uso de la capa INFOGAIN_LOSS ?

2. ¿Debería la entrada a esta capa, las probabilidades de clase, ser la salida de una capa SOFTMAX , o es suficiente para ingresar la "parte superior" de una capa totalmente conectada?

INFOGAIN_LOSS requiere tres entradas: probabilidades de clase, etiquetas y la matriz H La matriz H se puede proporcionar como parámetros de capa infogain_loss_param { source: "fiename" } .
Supongamos que tengo un script de Python que calcula H como una numpy.array de formas (L,L) con dtype=''f4'' (donde L es el número de etiquetas en mi modelo).

3. ¿Cómo puedo convertir mi numpy.array en un archivo binproto que se puede proporcionar como un infogain_loss_param { source } para el modelo?

4. Supongamos que quiero que se proporcione H como la tercera entrada (inferior) a la capa de pérdida (en lugar de como un parámetro de modelo). ¿Cómo puedo hacer esto?
   ¿Defino una nueva capa de datos que "arriba" es H ? Si es así, ¿no se aumentarían los datos de esta capa en cada iteración de entrenamiento como se incrementan los datos de entrenamiento? ¿Cómo puedo definir múltiples capas de "datos" de entrada no relacionadas, y cómo sabe Caffe leer de la capa de "datos" de entrenamiento / prueba lote tras lote, mientras que de la capa de "datos" H sabe leer solo una vez durante todo el entrenamiento ¿proceso?

Answer 1

Como tuve que buscar en muchos sitios web para descifrar el código completo, pensé en compartir mi implementación:

Capa de Python para calcular la matriz H con pesos para cada clase:

import numpy as np
import caffe


class ComputeH(caffe.Layer):
    def __init__(self, p_object, *args, **kwargs):
        super(ComputeH, self).__init__(p_object, *args, **kwargs)
        self.n_classes = -1

    def setup(self, bottom, top):
        if len(bottom) != 1:
            raise Exception("Need (only) one input to compute H matrix.")

        params = eval(self.param_str)
        if ''n_classes'' in params:
            self.n_classes = int(params[''n_classes''])
        else:
            raise Exception(''The number of classes (n_classes) must be specified.'')

    def reshape(self, bottom, top):
        top[0].reshape(1, 1, self.n_classes, self.n_classes)

    def forward(self, bottom, top):
        classes, cls_num = np.unique(bottom[0].data, return_counts=True)

        if np.size(classes) != self.n_classes or self.n_classes == -1:
            raise Exception("Invalid number of classes")

        cls_num = cls_num.astype(float)

        cls_num = cls_num.max() / cls_num
        weights = cls_num / np.sum(cls_num)

        top[0].data[...] = np.diag(weights)

    def backward(self, top, propagate_down, bottom):
        pass

y la parte relevante del train_val.prototxt:

layer {
    name: "computeH"
    bottom: "label"
    top: "H"
    type: "Python"
    python_param {
        module: "digits_python_layers"
        layer: "ComputeH"
        param_str: ''{"n_classes": 7}''
    }
    exclude { stage: "deploy" }
}
layer {
  name: "loss"
  type: "InfogainLoss"
  bottom: "score"
  bottom: "label"
  bottom: "H"
  top: "loss"
  infogain_loss_param {
    axis: 1  # compute loss and probability along axis
  }
  loss_param {
      normalization: 0
  }
  exclude {
    stage: "deploy"
  }
}

Answer 2

La capa se resume

-log(p_i)

y entonces el p_i necesita estar en (0, 1] para tener sentido como una función de pérdida (de lo contrario, puntuaciones de confianza más altas producirán una pérdida más alta). Vea la curva a continuación para conocer los valores de log (p).

No creo que tengan que sumar 1, pero pasarlos a través de una capa Softmax logrará ambas propiedades.

Answer 3

1. ¿Hay algún tutorial / ejemplo sobre el uso de la capa InfogainLoss ? :
Un buen ejemplo se puede encontrar here : usar InfogainLoss para abordar el desequilibrio de clase.

2. ¿Debería la entrada a esta capa, las probabilidades de clase, ser la salida de una capa Softmax ?
Históricamente, la respuesta solía ser SÍ según la respuesta de Yair . La antigua implementación de "InfogainLoss" necesitaba ser la salida de la capa "Softmax" o cualquier otra capa que asegure que los valores de entrada estén en el rango [0..1].

El notó que usar "InfogainLoss" encima de la capa "Softmax" puede provocar inestabilidad numérica. Su solicitud de extracción , que combina estas dos capas en una sola (al igual que la capa "SoftmaxWithLoss" ), fue aceptada y fusionada en los repositorios oficiales de Caffe el 14/04/2017. here se dan las matemáticas de esta capa combinada.

La "apariencia" de la capa mejorada es exactamente igual a la anterior, aparte del hecho de que ya no es necesario pasar explícitamente la entrada a través de una capa "Softmax" .

3. ¿Cómo puedo convertir un numpy.array en un archivo binproto ?

En pitón

H = np.eye( L, dtype = ''f4'' ) 
import caffe
blob = caffe.io.array_to_blobproto( H.reshape( (1,1,L,L) ) )
with open( ''infogainH.binaryproto'', ''wb'' ) as f :
    f.write( blob.SerializeToString() )

Ahora puede agregar al INFOGAIN_LOSS modelo la capa INFOGAIN_LOSS con H como parámetro:

layer {
  bottom: "topOfPrevLayer"
  bottom: "label"
  top: "infoGainLoss"
  name: "infoGainLoss"
  type: "InfogainLoss"
  infogain_loss_param {
    source: "infogainH.binaryproto"
  }
}

4. Cómo cargar H como parte de una capa DATA

Citando la publicación de Evan Shelhamer :

Actualmente no hay forma de hacer que las capas de datos carguen entradas a diferentes velocidades. Cada paso hacia adelante todas las capas de datos avanzarán. Sin embargo, la entrada constante de H podría hacerse haciendo un archivo de entrada lmdb / leveldb / hdf5 que sea solo H ya que la capa de datos se repetirá y seguirá cargando la misma H. ​​Esto obviamente desperdicia el disco IO.