Procesamiento del discurso en lenguaje natural

El problema más difícil de la IA es procesar el lenguaje natural mediante computadoras o, en otras palabras, el procesamiento del lenguaje natural es el problema más difícil de la inteligencia artificial. Si hablamos de los principales problemas de la PNL, entonces uno de los principales problemas de la PNL es el procesamiento del discurso: construir teorías y modelos de cómo las expresiones se unen para formarcoherent discourse. En realidad, el lenguaje siempre consiste en grupos de oraciones colocadas, estructuradas y coherentes en lugar de oraciones aisladas y sin relación como las películas. Estos grupos coherentes de oraciones se conocen como discurso.

Concepto de coherencia

La coherencia y la estructura del discurso están interconectadas de muchas formas. La coherencia, junto con la propiedad de un buen texto, se utiliza para evaluar la calidad de salida del sistema de generación de lenguaje natural. La pregunta que surge aquí es ¿qué significa que un texto sea coherente? Supongamos que recopilamos una oración de cada página del periódico, entonces, ¿será un discurso? Por supuesto no. Es porque estas oraciones no exhiben coherencia. El discurso coherente debe poseer las siguientes propiedades:

Relación de coherencia entre enunciados

El discurso sería coherente si tuviera conexiones significativas entre sus enunciados. Esta propiedad se llama relación de coherencia. Por ejemplo, debe existir algún tipo de explicación para justificar la conexión entre enunciados.

Relación entre entidades

Otra propiedad que hace que un discurso sea coherente es que debe haber cierto tipo de relación con las entidades. Este tipo de coherencia se llama coherencia basada en entidades.

Estructura del discurso

Una cuestión importante con respecto al discurso es qué tipo de estructura debe tener el discurso. La respuesta a esta pregunta depende de la segmentación que aplicamos al discurso. Las segmentaciones discursivas pueden definirse como determinantes de los tipos de estructuras para grandes discursos. Es bastante difícil implementar la segmentación del discurso, pero es muy importante parainformation retrieval, text summarization and information extraction tipo de aplicaciones.

Algoritmos para la segmentación del discurso

En esta sección, aprenderemos sobre los algoritmos para la segmentación del discurso. Los algoritmos se describen a continuación:

Segmentación del discurso no supervisada

La clase de segmentación del discurso no supervisada a menudo se representa como segmentación lineal. Podemos comprender la tarea de la segmentación lineal con la ayuda de un ejemplo. En el ejemplo, existe la tarea de segmentar el texto en unidades de varios párrafos; las unidades representan el pasaje del texto original. Estos algoritmos dependen de la cohesión que puede definirse como el uso de ciertos dispositivos lingüísticos para unir las unidades textuales. Por otro lado, la cohesión del léxico es la cohesión que se indica por la relación entre dos o más palabras en dos unidades como el uso de sinónimos.

Segmentación del discurso supervisada

El método anterior no tiene límites de segmento etiquetados a mano. Por otro lado, la segmentación del discurso supervisada debe tener datos de entrenamiento etiquetados con límites. Es muy fácil adquirir el mismo. En la segmentación del discurso supervisada, los marcadores del discurso o las palabras clave juegan un papel importante. El marcador del discurso o palabra clave es una palabra o frase que funciona para señalar la estructura del discurso. Estos marcadores del discurso son específicos del dominio.

Coherencia del texto

La repetición léxica es una forma de encontrar la estructura en un discurso, pero no satisface el requisito de ser discurso coherente. Para lograr el discurso coherente, debemos centrarnos en las relaciones de coherencia en lo específico. Como sabemos, la relación de coherencia define la posible conexión entre enunciados en un discurso. Hebb ha propuesto este tipo de relaciones de la siguiente manera:

Estamos tomando dos términos S0 y S1 para representar el significado de las dos oraciones relacionadas -

Resultado

Infiere que el estado afirmado por término S0 podría causar que el estado afirmado por S1. Por ejemplo, dos declaraciones muestran el resultado de la relación: Ram fue atrapado en el fuego. Su piel ardía.

Explicación

Infiere que el estado afirmado por S1 podría causar que el estado afirmado por S0. Por ejemplo, dos declaraciones muestran la relación: Ram peleó con el amigo de Shyam. Estaba borracho.

Paralelo

Infiere p (a1, a2, ...) de la afirmación de S0 y p (b1, b2,…) de la aserción S1. Aquí ai y bi son similares para todo i. Por ejemplo, dos afirmaciones son paralelas: Ram quería un coche. Shyam quería dinero.

Elaboración

Infiere la misma proposición P de ambas afirmaciones: S0 y S1Por ejemplo, dos declaraciones muestran la elaboración de la relación: Ram era de Chandigarh. Shyam era de Kerala.

Ocasión

Ocurre cuando un cambio de estado puede inferirse de la afirmación de S0, estado final del cual se puede inferir de S1y viceversa. Por ejemplo, las dos declaraciones muestran la ocasión de la relación: Ram tomó el libro. Se lo dio a Shyam.

Construyendo una estructura jerárquica del discurso

La coherencia de todo el discurso también se puede considerar mediante la estructura jerárquica entre relaciones de coherencia. Por ejemplo, el siguiente pasaje se puede representar como estructura jerárquica:

  • S1 - Ram fue al banco a depositar dinero.

  • S2 - Luego tomó un tren a la tienda de ropa de Shyam.

  • S3 - Quería comprar algo de ropa.

  • S4 - No tiene ropa nueva para fiesta.

  • S5 - También quería hablar con Shyam sobre su salud.

Resolución de referencia

La interpretación de las oraciones de cualquier discurso es otra tarea importante y para lograrlo necesitamos saber de quién o de qué entidad se está hablando. Aquí, la referencia a la interpretación es el elemento clave.Referencepuede definirse como la expresión lingüística para denotar una entidad o individuo. Por ejemplo, en el pasillo, Ram , el gerente del banco ABC , vio a su amigo Shyam en una tienda. Fue a su encuentro, las expresiones lingüísticas como Ram, His, He son referencia.

En la misma nota, reference resolution puede definirse como la tarea de determinar a qué entidades se hace referencia mediante qué expresión lingüística.

Terminología utilizada en la resolución de referencia

Usamos las siguientes terminologías en la resolución de referencia:

  • Referring expression- La expresión de lenguaje natural que se utiliza para realizar una referencia se denomina expresión de referencia. Por ejemplo, el pasaje usado arriba es una expresión de referencia.

  • Referent- Es la entidad a la que se refiere. Por ejemplo, en el último ejemplo dado, Ram es un referente.

  • Corefer- Cuando se utilizan dos expresiones para referirse a la misma entidad, se denominan correferencias. Por ejemplo,Ram y he son corredores.

  • Antecedent- El término tiene licencia para usar otro término. Por ejemplo,Ram es el antecedente de la referencia he.

  • Anaphora & Anaphoric- Puede definirse como la referencia a una entidad que se haya introducido previamente en la oración. Y la expresión de referencia se llama anafórica.

  • Discourse model - El modelo que contiene las representaciones de las entidades a las que se ha hecho referencia en el discurso y la relación que mantienen.

Tipos de expresiones de referencia

Veamos ahora los diferentes tipos de expresiones de referencia. Los cinco tipos de expresiones de referencia se describen a continuación:

Frases sustantivas indefinidas

Este tipo de referencia representa las entidades que son nuevas para el oyente en el contexto del discurso. Por ejemplo, en la oración que Ram había ido un día para traerle algo de comida, algo es una referencia indefinida.

Frases sustantivas definidas

Contrario a lo anterior, este tipo de referencia representa las entidades que no son nuevas o identificables para el oyente en el contexto del discurso. Por ejemplo, en la oración - Solía ​​leer The Times of India - The Times of India es una referencia definitiva.

Pronombres

Es una forma de referencia definitiva. Por ejemplo, Ram se rió tan fuerte como pudo. La palabrahe representa una expresión de referencia de pronombre.

Demostrativos

Estos se demuestran y se comportan de manera diferente a los pronombres definidos simples. Por ejemplo, esto y aquello son pronombres demostrativos.

Nombres

Es el tipo más simple de expresión de referencia. Puede ser el nombre de una persona, organización y ubicación también. Por ejemplo, en los ejemplos anteriores, Ram es la expresión de arbitraje de nombres.

Tareas de resolución de referencia

Las dos tareas de resolución de referencia se describen a continuación.

Resolución de correferencia

Es la tarea de encontrar expresiones referentes en un texto que hagan referencia a una misma entidad. En palabras simples, es la tarea de encontrar expresiones correferidas. Un conjunto de expresiones de correferencia se denomina cadena de correferencia. Por ejemplo, él, el director general y el suyo, son expresiones de referencia del primer pasaje que se da como ejemplo.

Restricción en la resolución de correferencia

En inglés, el principal problema para la resolución de correferencia es el pronombre it. La razón detrás de esto es que el pronombre tiene muchos usos. Por ejemplo, puede referirse de manera muy similar a él y ella. El pronombre también se refiere a las cosas que no se refieren a cosas específicas. Por ejemplo, está lloviendo. Es realmente bueno.

Resolución de la anáfora pronominal

A diferencia de la resolución de correferencia, la resolución de anáfora pronominal puede definirse como la tarea de encontrar el antecedente de un solo pronombre. Por ejemplo, el pronombre es suyo y la tarea de la resolución de la anáfora pronominal es encontrar la palabra Ram porque Ram es el antecedente.