PNL - Recuperación de información
La recuperación de información (IR) puede definirse como un programa de software que se ocupa de la organización, el almacenamiento, la recuperación y la evaluación de información de los repositorios de documentos, en particular la información textual. El sistema ayuda a los usuarios a encontrar la información que necesitan, pero no devuelve explícitamente las respuestas a las preguntas. Informa la existencia y ubicación de documentos que pueden contener la información requerida. Los documentos que satisfacen los requisitos del usuario se denominan documentos relevantes. Un sistema de infrarrojos perfecto recuperará solo los documentos relevantes.
Con la ayuda del siguiente diagrama, podemos comprender el proceso de recuperación de información (IR):
Del diagrama anterior se desprende claramente que un usuario que necesite información deberá formular una solicitud en forma de consulta en lenguaje natural. Luego, el sistema de infrarrojos responderá recuperando la salida relevante, en forma de documentos, sobre la información requerida.
Problema clásico en el sistema de recuperación de información (IR)
El objetivo principal de la investigación de RI es desarrollar un modelo para recuperar información de los repositorios de documentos. Aquí, vamos a discutir un problema clásico, llamadoad-hoc retrieval problem, relacionado con el sistema de infrarrojos.
En la recuperación ad-hoc, el usuario debe ingresar una consulta en lenguaje natural que describa la información requerida. Luego, el sistema de infrarrojos devolverá los documentos requeridos relacionados con la información deseada. Por ejemplo, supongamos que estamos buscando algo en Internet y da algunas páginas exactas que son relevantes según nuestro requisito, pero también puede haber algunas páginas no relevantes. Esto se debe al problema de recuperación ad-hoc.
Aspectos de la recuperación ad-hoc
Los siguientes son algunos aspectos de la recuperación ad-hoc que se abordan en la investigación de RI:
¿Cómo los usuarios con la ayuda de comentarios de relevancia pueden mejorar la formulación original de una consulta?
¿Cómo implementar la fusión de bases de datos, es decir, cómo se pueden fusionar los resultados de diferentes bases de datos de texto en un conjunto de resultados?
¿Cómo manejar datos parcialmente corruptos? ¿Qué modelos son apropiados para el mismo?
Modelo de recuperación de información (IR)
Matemáticamente, los modelos se utilizan en muchas áreas científicas con el objetivo de comprender algún fenómeno en el mundo real. Un modelo de recuperación de información predice y explica lo que un usuario encontrará en relación con la consulta dada. El modelo IR es básicamente un patrón que define los aspectos antes mencionados del procedimiento de recuperación y consta de lo siguiente:
Un modelo de documentos.
Un modelo de consultas.
Una función de coincidencia que compara consultas con documentos.
Matemáticamente, un modelo de recuperación consta de:
D - Representación de documentos.
R - Representación para consultas.
F - El marco de modelado para D, Q junto con la relación entre ellos.
R (q,di)- Una función de similitud que ordena los documentos con respecto a la consulta. También se llama clasificación.
Tipos de modelo de recuperación de información (IR)
Un modelo de modelo de información (IR) se puede clasificar en los siguientes tres modelos:
Modelo IR clásico
Es el modelo IR más simple y fácil de implementar. Este modelo se basa en conocimientos matemáticos que también se reconocieron y entendieron fácilmente. Booleano, Vector y Probabilístico son los tres modelos IR clásicos.
Modelo IR no clásico
Es completamente opuesto al modelo IR clásico. Este tipo de modelos de IR se basan en principios distintos de la similitud, la probabilidad y las operaciones booleanas. El modelo de lógica de la información, el modelo de teoría de la situación y los modelos de interacción son los ejemplos del modelo de RI no clásico.
Modelo IR alternativo
Es la mejora del modelo IR clásico haciendo uso de algunas técnicas específicas de otros campos. El modelo de clúster, el modelo difuso y los modelos de indexación semántica latente (LSI) son el ejemplo de modelo de RI alternativo.
Características de diseño de los sistemas de recuperación de información (IR)
Aprendamos ahora sobre las características de diseño de los sistemas IR:
Índice invertido
La estructura de datos principal de la mayoría de los sistemas de infrarrojos tiene la forma de índice invertido. Podemos definir un índice invertido como una estructura de datos que lista, para cada palabra, todos los documentos que lo contienen y la frecuencia de las ocurrencias en el documento. Facilita la búsqueda de "resultados" de una palabra de consulta.
Detener la eliminación de palabras
Las palabras vacías son aquellas palabras de alta frecuencia que se considera poco probable que sean útiles para la búsqueda. Tienen menos pesos semánticos. Todos estos tipos de palabras están en una lista llamada lista de detención. Por ejemplo, los artículos "a", "una", "el" y preposiciones como "en", "de", "para", "en", etc. son ejemplos de palabras vacías. El tamaño del índice invertido se puede reducir significativamente mediante la lista de detención. Según la ley de Zipf, una lista de exclusión que cubra unas pocas docenas de palabras reduce el tamaño del índice invertido a casi la mitad. Por otro lado, a veces la eliminación de la palabra de parada puede provocar la eliminación del término que es útil para la búsqueda. Por ejemplo, si eliminamos el alfabeto "A" de "Vitamina A", entonces no tendría importancia.
Derivado
La derivación, la forma simplificada de análisis morfológico, es el proceso heurístico de extraer la forma básica de las palabras cortando los extremos de las palabras. Por ejemplo, las palabras reír, reír, reír se derivarían de la palabra raíz reír.
En las secciones siguientes, analizaremos algunos modelos de IR importantes y útiles.
El modelo booleano
Es el modelo de recuperación de información (IR) más antiguo. El modelo se basa en la teoría de conjuntos y el álgebra booleana, donde los documentos son conjuntos de términos y las consultas son expresiones booleanas sobre términos. El modelo booleano se puede definir como:
D- Un conjunto de palabras, es decir, los términos de indexación presentes en un documento. Aquí, cada término está presente (1) o ausente (0).
Q - Una expresión booleana, donde los términos son los términos del índice y los operadores son productos lógicos - Y, suma lógica - O y diferencia lógica - NO
F - Álgebra booleana sobre conjuntos de términos y sobre conjuntos de documentos
Si hablamos de la retroalimentación de relevancia, entonces, en el modelo de RI booleano, la predicción de relevancia se puede definir de la siguiente manera:
R - Se predice que un documento es relevante para la expresión de consulta si y solo si satisface la expresión de consulta como -
((˅) ˄ ˄ ˜ ℎ)
Podemos explicar este modelo mediante un término de consulta como una definición inequívoca de un conjunto de documentos.
Por ejemplo, el término de consulta “economic” define el conjunto de documentos que están indexados con el término “economic”.
Ahora, ¿cuál sería el resultado después de combinar términos con el operador AND booleano? Definirá un conjunto de documentos que es menor o igual que los conjuntos de documentos de cualquiera de los términos individuales. Por ejemplo, la consulta con términos“social” y “economic”producirá el conjunto de documentos de documentos que están indexados con ambos términos. En otras palabras, conjunto de documentos con la intersección de ambos conjuntos.
Ahora, ¿cuál sería el resultado después de combinar términos con el operador booleano OR? Definirá un conjunto de documentos que sea mayor o igual que los conjuntos de documentos de cualquiera de los términos individuales. Por ejemplo, la consulta con términos“social” o “economic” producirá el conjunto de documentos de documentos que están indexados con el término “social” o “economic”. En otras palabras, conjunto de documentos con la unión de ambos conjuntos.
Ventajas del modo booleano
Las ventajas del modelo booleano son las siguientes:
El modelo más simple, que se basa en conjuntos.
Fácil de entender e implementar.
Solo recupera coincidencias exactas
Le da al usuario una sensación de control sobre el sistema.
Desventajas del modelo booleano
Las desventajas del modelo booleano son las siguientes:
La función de similitud del modelo es booleana. Por tanto, no habría coincidencias parciales. Esto puede resultar molesto para los usuarios.
En este modelo, el uso del operador booleano tiene mucha más influencia que una palabra crítica.
El lenguaje de consulta es expresivo, pero también complicado.
Sin clasificación para los documentos recuperados.
Modelo de espacio vectorial
Debido a las desventajas anteriores del modelo booleano, Gerard Salton y sus colegas sugirieron un modelo, que se basa en el criterio de similitud de Luhn. El criterio de similitud formulado por Luhn establece que "cuantas más representaciones coincidan en elementos dados y su distribución, mayor será la probabilidad de que representen información similar".
Considere los siguientes puntos importantes para comprender más sobre el modelo de espacio vectorial:
Las representaciones de índices (documentos) y las consultas se consideran vectores incrustados en un espacio euclidiano de alta dimensión.
La medida de similitud de un vector de documento con un vector de consulta suele ser el coseno del ángulo entre ellos.
Fórmula de medida de similitud de coseno
El coseno es un producto escalar normalizado, que se puede calcular con la ayuda de la siguiente fórmula:
$$ Puntuación \ lgroup \ vec {d} \ vec {q} \ rgroup = \ frac {\ sum_ {k = 1} ^ m d_ {k} \ :. q_ {k}} {\ sqrt {\ sum_ {k = 1} ^ m \ lgroup d_ {k} \ rgroup ^ 2} \:. \ Sqrt {\ sum_ {k = 1} ^ m} m \ lgroup q_ {k} \ rgroup ^ 2} $$
$$ Puntuación \ lgroup \ vec {d} \ vec {q} \ rgroup = 1 \: when \: d = q $$
$$ Score \ lgroup \ vec {d} \ vec {q} \ rgroup = 0 \: cuando \: d \: y \: q \: comparten \: no \: items $$
Representación del espacio vectorial con consulta y documento
La consulta y los documentos están representados por un espacio vectorial bidimensional. Los términos soncar y insurance. Hay una consulta y tres documentos en el espacio vectorial.
El documento mejor clasificado en respuesta a los términos automóvil y seguro será el documento d2 porque el ángulo entre q y d2es el más pequeño. La razón detrás de esto es que tanto el concepto de automóvil como el de seguro son sobresalientes en d 2 y, por lo tanto, tienen pesos altos. Por otro lado,d1 y d3 También mencione ambos términos, pero en cada caso, uno de ellos no es un término de importancia central en el documento.
Ponderación del término
La ponderación de términos significa las ponderaciones de los términos en el espacio vectorial. Cuanto mayor sea el peso del término, mayor será el impacto del término en el coseno. Deberían asignarse más ponderaciones a los términos más importantes del modelo. Ahora la pregunta que surge aquí es cómo podemos modelar esto.
Una forma de hacer esto es contar las palabras de un documento como su peso de término. Sin embargo, ¿crees que sería un método eficaz?
Otro método, que es más eficaz, es utilizar term frequency (tfij), document frequency (dfi) y collection frequency (cfi).
Término Frecuencia (tf ij )
Puede definirse como el número de apariciones de wi en dj. La información que se captura por la frecuencia del término es qué tan prominente es una palabra dentro del documento dado o, en otras palabras, podemos decir que cuanto mayor es la frecuencia del término, más esa palabra es una buena descripción del contenido de ese documento.
Frecuencia del documento (df i )
Puede definirse como el número total de documentos de la colección en la que aparece w i . Es un indicador de informatividad. Las palabras semánticamente enfocadas aparecerán varias veces en el documento a diferencia de las palabras semánticamente desenfocadas.
Frecuencia de recogida (cf i )
Puede definirse como el número total de ocurrencias de wi en la colección.
Matemáticamente, $ df_ {i} \ leq cf_ {i} \: y \: \ sum_ {j} tf_ {ij} = cf_ {i} $
Formas de ponderación de frecuencia de documentos
Conozcamos ahora las diferentes formas de ponderación de frecuencia de documentos. Los formularios se describen a continuación:
Factor de frecuencia de término
Esto también se clasifica como el término factor de frecuencia, lo que significa que si un término t aparece a menudo en un documento, luego una consulta que contiene tdebería recuperar ese documento. Podemos combinar palabrasterm frequency (tfij) y document frequency (dfi) en un solo peso de la siguiente manera:
$$ peso \ left (i, j \ right) = \ begin {cases} (1 + log (tf_ {ij})) log \ frac {N} {df_ {i}} \: if \: tf_ {i, j} \: \ geq1 \\ 0 \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \ : \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: if \: tf_ {i, j} \: = 0 \ end {cases } $$
Aquí N es el número total de documentos.
Frecuencia de documento inverso (idf)
Esta es otra forma de ponderación de frecuencia de documentos y a menudo se denomina ponderación de idf o ponderación de frecuencia de documento inversa. El punto importante de la ponderación del idf es que la escasez del término en la colección es una medida de su importancia y la importancia es inversamente proporcional a la frecuencia de aparición.
Matemáticamente,
$$ idf_ {t} = log \ left (1+ \ frac {N} {n_ {t}} \ right) $$
$$ idf_ {t} = log \ left (\ frac {N-n_ {t}} {n_ {t}} \ right) $$
Aquí,
N = documentos de la colección
n t = documentos que contienen el término t
Mejora de la consulta del usuario
El objetivo principal de cualquier sistema de recuperación de información debe ser la precisión: producir documentos relevantes según los requisitos del usuario. Sin embargo, la pregunta que surge aquí es cómo podemos mejorar el resultado mejorando el estilo de formación de consultas del usuario. Ciertamente, la salida de cualquier sistema de infrarrojos depende de la consulta del usuario y una consulta bien formateada producirá resultados más precisos. El usuario puede mejorar su consulta con la ayuda derelevance feedback, un aspecto importante de cualquier modelo de infrarrojos.
Retroalimentación de relevancia
La retroalimentación de relevancia toma la salida que se devuelve inicialmente de la consulta dada. Esta salida inicial se puede utilizar para recopilar información del usuario y saber si esa salida es relevante para realizar una nueva consulta o no. Las retroalimentaciones se pueden clasificar de la siguiente manera:
Comentarios explícitos
Puede definirse como la retroalimentación que se obtiene de los evaluadores de relevancia. Estos evaluadores también indicarán la relevancia de un documento recuperado de la consulta. Para mejorar el rendimiento de la recuperación de consultas, la información de retroalimentación de relevancia debe interpolarse con la consulta original.
Los evaluadores u otros usuarios del sistema pueden indicar la relevancia explícitamente utilizando los siguientes sistemas de relevancia:
Binary relevance system - Este sistema de retroalimentación de relevancia indica que un documento es relevante (1) o irrelevante (0) para una consulta determinada.
Graded relevance system- El sistema de retroalimentación de relevancia calificada indica la relevancia de un documento, para una consulta determinada, sobre la base de la calificación mediante el uso de números, letras o descripciones. La descripción puede ser como "no relevante", "algo relevante", "muy relevante" o "relevante".
Retroalimentación implícita
Es la retroalimentación que se infiere del comportamiento del usuario. El comportamiento incluye la duración del tiempo que el usuario pasó viendo un documento, qué documento se selecciona para ver y cuál no, acciones de navegación y desplazamiento de la página, etc. Uno de los mejores ejemplos de comentarios implícitos esdwell time, que es una medida de cuánto tiempo pasa un usuario viendo la página vinculada en un resultado de búsqueda.
Pseudo Feedback
También se llama retroalimentación ciega. Proporciona un método para el análisis local automático. La parte manual de la retroalimentación de relevancia se automatiza con la ayuda de la retroalimentación de pseudo relevancia para que el usuario obtenga un rendimiento de recuperación mejorado sin una interacción extendida. La principal ventaja de este sistema de retroalimentación es que no requiere evaluadores como en el sistema de retroalimentación de relevancia explícita.
Considere los siguientes pasos para implementar esta retroalimentación:
Step 1- Primero, el resultado devuelto por la consulta inicial debe tomarse como resultado relevante. El rango de resultado relevante debe estar entre los primeros 10-50 resultados.
Step 2 - Ahora, seleccione los 20-30 términos principales de los documentos utilizando, por ejemplo, la frecuencia de términos (tf) -frecuencia de documento inverso (idf).
Step 3- Agregue estos términos a la consulta y haga coincidir los documentos devueltos. Luego devuelva los documentos más relevantes.