machine-learning - tipos - redes neuronales ejemplos

¿Cómo construir una red neuronal de convolución en Azure Machine Learning?

Question

Alguien debería agregar "net #" como una etiqueta. Estoy tratando de mejorar mi red neuronal en Azure Machine Learning Studio convirtiéndola en una red neuronal de convolución usando este tutorial:

https://gallery.cortanaintelligence.com/Experiment/Neural-Network-Convolution-and-pooling-deep-net-2

Las diferencias entre la mía y el tutorial es que estoy haciendo una regresión con 35 funciones y 1 etiqueta y están haciendo una clasificación con características de 28x28 y 10 etiquetas.

Comienzo con el segundo y segundo ejemplo y hago que trabajen con:

input Data [35];
hidden H1 [100]
from Data all;
hidden H2 [100]
from H1 all;
output Result [1] linear
from H2 all;

Ahora la transformación a la convolución no entiendo bien. En el tutorial y la documentación aquí: https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-azure-ml-netsharp-reference-guide no menciona cómo los valores de tupla del nodo se calculan para las capas ocultas. El tutorial dice:

hidden C1 [5, 12, 12]
from Picture convolve {
InputShape = [28, 28];
KernelShape = [ 5, 5];
Stride = [ 2, 2];
MapCount = 5;
}
hidden C2 [50, 4, 4]
from C1 convolve {
InputShape = [ 5, 12, 12];
KernelShape = [ 1, 5, 5];
Stride = [ 1, 2, 2];
Sharing = [ F, T, T];
MapCount = 10;
}

Parece que [5, 12, 12] y [50,4,4] salieron de ninguna parte junto con KernalShape, Stride y MapCount. ¿Cómo sé qué valores son válidos para mi ejemplo? Intenté usar los mismos valores, pero no funcionó y tengo una sensación ya que tiene una entrada [28,28] y tengo un [35], necesito tuplas con 2 enteros y no 3.

Acabo de probar con valores aleatorios que parecen correlacionarse con el tutorial:

const { T = true; F = false; }
input Data [35];
hidden C1 [7, 23]
from Data convolve {
InputShape = [35];
KernelShape = [7];
Stride = [2];
MapCount = 7;
}
hidden C2 [200, 6]
from C1 convolve {
InputShape = [ 7, 23];
KernelShape = [ 1, 7];
Stride = [ 1, 2];
Sharing = [ F, T];
MapCount = 14;
}
hidden H3 [100]
from C2 all;
output Result [1] linear
from H3 all;

En este momento, parece imposible depurar porque el único código de error que Azure Machine Learning Studio ofrece es:

Exception":{"ErrorId":"LibraryException","ErrorCode":"1000","ExceptionType":"ModuleException","Message":"Error 1000: TLC library exception: Exception of type ''Microsoft.Numerics.AFxLibraryException'' was thrown.","Exception":{"Library":"TLC","ExceptionType":"LibraryException","Message":"Exception of type ''Microsoft.Numerics.AFxLibraryException'' was thrown."}}}Error: Error 1000: TLC library exception: Exception of type ''Microsoft.Numerics.AFxLibraryException'' was thrown. Process exited with error code -2

Por último, mi configuración es

¡Gracias por la ayuda!

Answer 1

La definición de red correcta para la entrada de 35 columnas de longitud con kernels y zancadas dados sería la siguiente:

const { T = true; F = false; }
input Data [35];
hidden C1 [7, 15]
from Data convolve {
InputShape = [35];
KernelShape = [7];
Stride = [2];
MapCount = 7;
}
hidden C2 [14, 7, 5]
from C1 convolve {
InputShape = [ 7, 15];
KernelShape = [ 1, 7];
Stride = [ 1, 2];
Sharing = [ F, T];
MapCount = 14;
}
hidden H3 [100]
from C2 all;
output Result [1] linear
from H3 all;

Primero, el C1 = [7,15]. La primera dimensión es simplemente el MapCount. Para la segunda dimensión, la forma del kernel define la longitud de la "ventana" que se utiliza para escanear las columnas de entrada, y la zancada define cuánto se mueve en cada paso. De modo que las ventanas del kernel cubrirían las columnas 1-7, 3-9, 5-11, ..., 29-35, produciendo la segunda dimensión de 15 cuando cuentas las ventanas.

Luego, el C2 = [14,7,5]. La primera dimensión es nuevamente el MapCount. Para la segunda y tercera dimensión, la "ventana" del kernel de 1 por 7 tiene que cubrir el tamaño de entrada de 7 por 15, usando los pasos de 1 y 2 a lo largo de las dimensiones correspondientes.

Tenga en cuenta que puede especificar la forma de la capa oculta C2 de [98,5] o incluso [490], si desea aplanar las salidas.