statistics - Restricted Boltzmann Machine-reconstrucción
machine-learning artificial-intelligence (3)
Una charla de Geoff Hinton:
Leí algunos artículos sobre máquinas Boltzmann restringidas. Estas máquinas fueron probadas para su capacidad de reconstrucción. Entiendo cómo funciona el entrenamiento, pero no cómo se hace esta reconstrucción. ¿Alguien puede darme algunas pistas?
Creo que te refieres a una gestión basada en los resultados que se utiliza en el contexto de un autoencoder para recordar las entradas, más bien como una red de memoria asociativa.
Durante la fase de aprendizaje, las unidades de entrada y los nodos de salida (unidades) se fijan a los valores encontrados en el conjunto de entrenamiento, después de lo cual se usa el muestreo Boltzmann repetido (por ejemplo, mediante la combinación de Metros Hastings y Recocido Simulado) junto con descenso de gradiente para optimizar el pesa sobre todas las conexiones entre los nodos de entrada, ocultos y de salida. Después del entrenamiento, la red restringida de Boltzmann se puede utilizar para 1) clasificar / predecir o 2) generar memoria en modo de funcionamiento libre.
En el modo de clasificación / predicción, algunas o todas las unidades de entrada se bloquean mientras que los nodos ocultos y de salida se muestrean con el muestreo de Boltzmann. Las propiedades estadísticas (esencialmente los medios) de los nodos de salida son las predicciones o clasificaciones. Si el RBM está estructurado como un autoencoder de capa única, con una capa de entrada que se asemeja a la capa de salida y una capa oculta dispersa o más pequeña, un número limitado de entradas que da como resultado la recuperación completa de una entrada de formación constituiría una "reconstrucción".
El documento de ciencia 2006 de Hinton analiza algunas de estas ideas:
http://www.cs.toronto.edu/~hinton/science.pdf
Sin embargo, este documento es una aplicación bastante específica de RBM y redes neuronales. En este documento, utiliza los RBM para preparar una red neuronal profunda (en muchas capas).
En el algoritmo de Hinton , utilizan RBM para el preentrenamiento, de modo que los pesos iniciales se acercan a una buena solución que garantiza la convergencia del descenso del gradiente.
En el siguiente paso, la red inicial (por ejemplo, [1000 500 100 2]) se despliega para proporcionar una red de autocodificador ([1000 500 100 2 100 500 1000]). Las partes del codificador ([1000 500 100 2]) y del decodificador ([2 100 500 1000]) utilizan inicialmente los mismos pesos.
La última etapa es la puesta a punto . Utiliza la retropropagación a través de todo el autocoder ([1000 500 100 2 100 500 1000]) para ajustar los pesos (minimizando el error que es la diferencia entre la entrada y su reconstrucción) para una reconstrucción óptima. La salida del autocoder es la reconstrucción de la entrada.