Gensim - Modelado de temas
Este capítulo trata sobre el modelado de temas con respecto a Gensim.
Para anotar nuestros datos y comprender la estructura de la oración, uno de los mejores métodos es utilizar algoritmos lingüísticos computacionales. Sin duda, con la ayuda de estos algoritmos lingüísticos computacionales podemos comprender algunos detalles más finos sobre nuestros datos, pero,
¿Podemos saber qué tipo de palabras aparecen con más frecuencia que otras en nuestro corpus?
¿Podemos agrupar nuestros datos?
¿Podemos ser temas subyacentes en nuestros datos?
Podríamos lograr todo esto con la ayuda del modelado de temas. Así que profundicemos en el concepto de modelos temáticos.
¿Qué son los modelos de tema?
Un modelo de tema puede definirse como el modelo probabilístico que contiene información sobre los temas de nuestro texto. Pero aquí surgen dos preguntas importantes que son las siguientes:
Primero, what exactly a topic is?
El tema, como su nombre lo indica, son las ideas subyacentes o los temas representados en nuestro texto. Para darle un ejemplo, el corpus que contienenewspaper articles tendría los temas relacionados con finance, weather, politics, sports, various states news y así.
Segundo, what is the importance of topic models in text processing?
Como sabemos, para identificar similitudes en el texto, podemos utilizar técnicas de búsqueda y recuperación de información mediante el uso de palabras. Pero, con la ayuda de modelos de temas, ahora podemos buscar y organizar nuestros archivos de texto usando temas en lugar de palabras.
En este sentido podemos decir que los temas son la distribución probabilística de palabras. Es por eso que, al usar modelos de temas, podemos describir nuestros documentos como distribuciones probabilísticas de temas.
Objetivos de los modelos de tema
Como se discutió anteriormente, el enfoque del modelado de temas es sobre ideas y temas subyacentes. Sus principales objetivos son los siguientes:
Los modelos de temas se pueden utilizar para resumir el texto.
Se pueden utilizar para organizar los documentos. Por ejemplo, podemos usar el modelado de temas para agrupar artículos de noticias en una sección organizada / interconectada, como organizar todos los artículos de noticias relacionados concricket.
Pueden mejorar el resultado de la búsqueda. ¿Cómo? Para una consulta de búsqueda, podemos usar modelos de temas para revelar que el documento tiene una combinación de diferentes palabras clave, pero que tienen la misma idea.
El concepto de recomendaciones es muy útil para el marketing. Es utilizado por varios sitios web de compras en línea, sitios web de noticias y muchos más. Los modelos de temas ayudan a hacer recomendaciones sobre qué comprar, qué leer a continuación, etc. Lo hacen buscando materiales que tengan un tema común en la lista.
Algoritmos de modelado de temas en Gensim
Sin lugar a dudas, Gensim es el conjunto de herramientas de modelado de temas más popular. Su disponibilidad gratuita y estar en Python lo hacen más popular. En esta sección, discutiremos algunos de los algoritmos de modelado de temas más populares. Aquí, nos centraremos en "qué" en lugar de "cómo" porque Gensim los abstrae muy bien para nosotros.
Asignación de Dirichlet latente (LDA)
La asignación de Dirichlet latente (LDA) es la técnica más común y popular actualmente en uso para el modelado de temas. Es el que los investigadores de Facebook utilizaron en su artículo de investigación publicado en 2013. Fue propuesto por primera vez por David Blei, Andrew Ng y Michael Jordan en 2003. Propusieron LDA en su artículo que se titulaba simplementeLatent Dirichlet allocation.
Características de LDA
Conozcamos más sobre esta maravillosa técnica a través de sus características -
Probabilistic topic modeling technique
LDA es una técnica de modelado de temas probabilísticos. Como discutimos anteriormente, en el modelado de temas asumimos que en cualquier colección de documentos interrelacionados (pueden ser artículos académicos, artículos de periódicos, publicaciones de Facebook, tweets, correos electrónicos, etc.), hay algunas combinaciones de temas incluidos en cada documento. .
El objetivo principal del modelado probabilístico de temas es descubrir la estructura de temas oculta para la recopilación de documentos interrelacionados. Las siguientes tres cosas se incluyen generalmente en la estructura de un tema:
Topics
Distribución estadística de temas entre los documentos
Palabras en un documento que comprende el tema
Work in an unsupervised way
LDA funciona de forma no supervisada. Es porque, LDA usa probabilidades condicionales para descubrir la estructura del tema oculto. Se asume que los temas están distribuidos de manera desigual a lo largo de la colección de documentos interrelacionados.
Very easy to create it in Gensim
En Gensim, es muy fácil crear un modelo LDA. solo necesitamos especificar el corpus, el mapeo del diccionario y la cantidad de temas que nos gustaría usar en nuestro modelo.
Model=models.LdaModel(corpus, id2word=dictionary, num_topics=100)May face computationally intractable problem
Calcular la probabilidad de cada posible estructura temática es un desafío computacional al que se enfrenta LDA. Es un desafío porque necesita calcular la probabilidad de cada palabra observada en cada posible estructura temática. Si tenemos una gran cantidad de temas y palabras, LDA puede enfrentar un problema computacionalmente intratable.
Indexación semántica latente (LSI)
Los algoritmos de modelado de temas que se implementaron por primera vez en Gensim con Latent Dirichlet Allocation (LDA) es Latent Semantic Indexing (LSI). También es llamadoLatent Semantic Analysis (LSA).
Fue patentado en 1988 por Scott Deerwester, Susan Dumais, George Furnas, Richard Harshman, Thomas Landaur, Karen Lochbaum y Lynn Streeter. En esta sección vamos a configurar nuestro modelo LSI. Se puede hacer de la misma manera que configura el modelo LDA. necesitamos importar el modelo LSI degensim.models.
Papel de LSI
En realidad, LSI es una técnica de PNL, especialmente en semántica distributiva. Analiza la relación entre un conjunto de documentos y los términos que contienen estos documentos. Si hablamos de su funcionamiento, entonces construye una matriz que contiene recuentos de palabras por documento a partir de una gran parte de texto.
Una vez construido, para reducir el número de filas, el modelo LSI utiliza una técnica matemática llamada descomposición de valor singular (SVD). Además de reducir el número de filas, también conserva la estructura de similitud entre columnas. En la matriz, las filas representan palabras únicas y las columnas representan cada documento. Funciona con base en la hipótesis de distribución, es decir, asume que las palabras que tienen un significado cercano aparecerán en el mismo tipo de texto.
Model=models.LsiModel(corpus, id2word=dictionary, num_topics=100)Proceso de Dirichlet jerárquico (HDP)
Los modelos de temas como LDA y LSI ayudan a resumir y organizar grandes archivos de textos que no es posible analizar a mano. Además de LDA y LSI, otro modelo de tema poderoso en Gensim es HDP (Proceso de Dirichlet jerárquico). Básicamente, es un modelo de membresía mixta para el análisis no supervisado de datos agrupados. A diferencia de LDA (su contraparte finita), HDP infiere el número de temas de los datos.
Model=models.HdpModel(corpus, id2word=dictionary