machine learning - redes - Aprendizaje supervisado(clasificación de documentos) utilizando técnicas de aprendizaje profundo
deep learning vs machine learning (3)
Estaba leyendo los documentos sobre aprendizaje profundo. La mayoría de ellos se refieren al aprendizaje no supervisado.
También dicen que las neuronas están pre-entrenadas usando una red RBM no supervisada. Más tarde se ajustan con el algoritmo de propagación de Back (supervisado).
Entonces, ¿podemos resolver problemas de aprendizaje supervisado utilizando el aprendizaje profundo?
Estoy tratando de averiguar si se puede aplicar el aprendizaje profundo para el problema de clasificación de documentos. Sé que hay clasificadores bastante buenos disponibles. Pero mi objetivo es averiguar si podemos usar el aprendizaje profundo para este fin o no.
El aprendizaje profundo se trata de aprender conceptos desconocidos, por lo que generalmente se usan en términos de encontrar patrones en conjuntos de datos. Esto no está supervisado ya que estos patrones no son necesariamente conocidos a priori. En el aprendizaje supervisado, sin embargo, el tipo de patrón que necesita se entiende fácilmente a priori en forma de patrones de capacitación que se ajustan a los datos que está tratando de conocer. Estos patrones se convierten en la base para adaptar su modelo (por ejemplo, una red neuronal entrenada utilizando la propagación de retorno) a sus datos. No hay un verdadero descubrimiento de nuevos conceptos y componentes. Entonces, desde esta perspectiva, diría que no, el aprendizaje profundo no se puede aplicar a la resolución de problemas de aprendizaje supervisado.
Una vez dicho esto, es posible que pueda usarlo para encontrar patrones interesantes en sus datos. A continuación, podría utilizar estos patrones interesantes como base para el entrenamiento utilizando un enfoque supervisado estándar. Tal vez esto es lo que hicieron anteriormente, donde mencionas
"También dicen que las neuronas están pre-entrenadas usando una red RBM no supervisada. Más tarde se afinan usando el algoritmo de propagación de Back (supervisado)".
Sin haber leído lo que leyeron, tal vez comenzaron con un algoritmo no supervisado para encontrar los datos más interesantes y al hacerlo realizaron una forma de reducción de dimensionalidad, lo que permitió obtener datos que fueron más fáciles de entrenar que los datos originales, utilizando un algoritmo supervisado.
En resumen, sí, puede ser, y a menudo se usa de manera supervisada. Exactamente como Ben J describió: la "profundidad" de la arquitectura se usa de forma no supervisada para crear una representación muy abstracta de sus datos, que luego puede usarse como capa de preprocesamiento (sin ajuste fino) o como inicialización. para la red neuronal (con ajuste fino, similar a Hinton). En particular, puede usar dicho enfoque para los textos.
Hay un interesante artículo muy reciente de Hinton sobre el modelado de documentos de texto con DBM: http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf
Hay muchos recursos disponibles en línea, en particular la biblioteca pylearn implementa tales enfoques, incluido el DBN "clásico" (Deep Beiief Network) http://deeplearning.net/tutorial/DBN.html
Además, también es posible hacer una clasificación usando RBM solo apilados, este modelo se denomina "clasificación RBM". Se pueden obtener más detalles aquí: http://machinelearning.org/archive/icml2008/papers/601.pdf
Además de la buena referencia proporcionada anteriormente, hay otro documento del grupo de Yann Le Cunn que hace la clasificación de texto simplemente codificando caracteres sin usar ninguna biblioteca externa de extracción de características. Funciona simplemente codificando a nivel de personaje. Ellos afirman 98% de precisión.