Procesamiento del lenguaje natural - Introducción
El lenguaje es un método de comunicación con la ayuda del cual podemos hablar, leer y escribir. Por ejemplo, pensamos, tomamos decisiones, planificamos y más en lenguaje natural; precisamente, en palabras. Sin embargo, la gran pregunta que nos enfrentamos en esta era de la IA es si podemos comunicarnos de manera similar con las computadoras. En otras palabras, ¿pueden los seres humanos comunicarse con las computadoras en su lenguaje natural? Para nosotros es un desafío desarrollar aplicaciones de PNL porque las computadoras necesitan datos estructurados, pero el habla humana no está estructurada y, a menudo, es de naturaleza ambigua.
En este sentido, podemos decir que el Procesamiento del Lenguaje Natural (PNL) es el subcampo de las Ciencias de la Computación, especialmente la Inteligencia Artificial (IA) que se preocupa por permitir que las computadoras comprendan y procesen el lenguaje humano. Técnicamente, la tarea principal de la PNL sería programar computadoras para analizar y procesar una gran cantidad de datos del lenguaje natural.
Historia de la PNL
Hemos dividido la historia de la PNL en cuatro fases. Las fases tienen preocupaciones y estilos distintivos.
Primera fase (fase de traducción automática): finales de la década de 1940 hasta finales de la de 1960
El trabajo realizado en esta fase se centró principalmente en la traducción automática (MT). Esta fase fue un período de entusiasmo y optimismo.
Veamos ahora todo lo que tenía la primera fase:
La investigación sobre la PNL comenzó a principios de la década de 1950 después de la investigación de Booth & Richens y el memorando de Weaver sobre traducción automática en 1949.
1954 fue el año en que se demostró un experimento limitado de traducción automática del ruso al inglés en el experimento de Georgetown-IBM.
Ese mismo año se inició la publicación de la revista MT (Machine Translation).
La primera conferencia internacional sobre traducción automática (MT) se celebró en 1952 y la segunda en 1956.
En 1961, el trabajo presentado en la Conferencia Internacional de Teddington sobre traducción automática de idiomas y análisis del lenguaje aplicado fue el punto culminante de esta fase.
Segunda fase (fase influenciada por la IA): finales de los sesenta hasta finales de los setenta
En esta fase, el trabajo realizado estuvo principalmente relacionado con el conocimiento del mundo y su papel en la construcción y manipulación de representaciones de significado. Por eso, esta fase también se llama fase con sabor a IA.
La fase tenía en ella, lo siguiente:
A principios de 1961, se inició el trabajo sobre los problemas de abordar y construir datos o bases de conocimientos. Este trabajo fue influenciado por la IA.
Ese mismo año, también se desarrolló un sistema de respuesta a preguntas de BÉISBOL. La entrada a este sistema estaba restringida y el procesamiento del lenguaje involucrado era simple.
Minsky (1968) describe un sistema mucho más avanzado. Este sistema, en comparación con el sistema de preguntas y respuestas de BÉISBOL, fue reconocido y proporcionado para la necesidad de inferencia en la base de conocimientos para interpretar y responder a la entrada del lenguaje.
Tercera fase (fase gramático-lógica): finales de los setenta hasta finales de los ochenta
Esta fase puede describirse como la fase gramatico-lógica. Debido al fracaso de la construcción de sistemas prácticos en la última fase, los investigadores avanzaron hacia el uso de la lógica para la representación del conocimiento y el razonamiento en IA.
La tercera fase tuvo lo siguiente:
El enfoque gramatico-lógico, hacia el final de la década, nos ayudó con poderosos procesadores de oraciones de propósito general como Core Language Engine y Discourse Representation Theory de SRI, que ofrecían un medio para abordar un discurso más extenso.
En esta fase obtuvimos algunos recursos prácticos y herramientas como analizadores, por ejemplo, Alvey Natural Language Tools junto con sistemas más operativos y comerciales, por ejemplo, para consultas de bases de datos.
El trabajo sobre léxico en la década de 1980 también apuntó en la dirección del enfoque gramatico-lógico.
Cuarta fase (fase léxica y corpus): década de 1990
Podemos describir esto como una fase léxica y de corpus. La fase tenía un enfoque lexicalizado de la gramática que apareció a fines de la década de 1980 y se convirtió en una influencia cada vez mayor. Hubo una revolución en el procesamiento del lenguaje natural en esta década con la introducción de algoritmos de aprendizaje automático para el procesamiento del lenguaje.
Estudio de lenguajes humanos
El lenguaje es un componente crucial para la vida humana y también el aspecto más fundamental de nuestro comportamiento. Podemos experimentarlo principalmente de dos formas: escrita y hablada. En forma escrita, es una forma de transmitir nuestro conocimiento de una generación a la siguiente. En la forma hablada, es el medio principal para que los seres humanos se coordinen entre sí en su comportamiento diario. El idioma se estudia en diversas disciplinas académicas. Cada disciplina viene con su propio conjunto de problemas y un conjunto de soluciones para abordarlos.
Considere la siguiente tabla para comprender esto:
Disciplina | Problemas | Herramientas |
---|---|---|
Lingüistas |
¿Cómo se pueden formar frases y oraciones con palabras? ¿Qué frena el posible significado de una oración? |
Intuiciones sobre la buena formación y el significado. Modelo matemático de estructura. Por ejemplo, semántica teórica de modelos, teoría del lenguaje formal. |
Psicolingüistas |
¿Cómo los seres humanos pueden identificar la estructura de las oraciones? ¿Cómo se puede identificar el significado de las palabras? ¿Cuándo tiene lugar la comprensión? |
Técnicas experimentales principalmente para medir el desempeño de seres humanos. Análisis estadístico de observaciones. |
Filósofos |
¿Cómo adquieren significado las palabras y las oraciones? ¿Cómo se identifican los objetos con las palabras? ¿Cuál es el significado? |
Argumentación del lenguaje natural mediante el uso de la intuición. Modelos matemáticos como la lógica y la teoría de modelos. |
Lingüistas computacionales |
¿Cómo podemos identificar la estructura de una oración? ¿Cómo se pueden modelar el conocimiento y el razonamiento? ¿Cómo podemos usar el lenguaje para realizar tareas específicas? |
Algoritmos Estructuras de datos Modelos formales de representación y razonamiento. Técnicas de IA como métodos de búsqueda y representación. |
Ambigüedad e incertidumbre en el lenguaje
La ambigüedad, generalmente utilizada en el procesamiento del lenguaje natural, se puede referir a la capacidad de ser entendido de más de una forma. En términos simples, podemos decir que la ambigüedad es la capacidad de ser entendido de más de una forma. El lenguaje natural es muy ambiguo. La PNL tiene los siguientes tipos de ambigüedades:
Ambigüedad léxica
La ambigüedad de una sola palabra se llama ambigüedad léxica. Por ejemplo, tratando la palabrasilver como sustantivo, adjetivo o verbo.
Ambigüedad sintáctica
Este tipo de ambigüedad ocurre cuando una oración se analiza de diferentes maneras. Por ejemplo, la frase "El hombre vio a la niña con el telescopio". Es ambiguo si el hombre vio a la niña con un telescopio o la vio a través de su telescopio.
Ambigüedad semántica
Este tipo de ambigüedad ocurre cuando el significado de las palabras mismas puede ser malinterpretado. En otras palabras, la ambigüedad semántica ocurre cuando una oración contiene una palabra o frase ambigua. Por ejemplo, la frase “El automóvil golpeó el poste mientras se movía” tiene ambigüedad semántica porque las interpretaciones pueden ser “El automóvil, mientras se mueve, golpeó el poste” y “El automóvil golpeó el poste mientras el poste se movía”.
Ambigüedad anafórica
Este tipo de ambigüedad surge debido al uso de entidades anáforas en el discurso. Por ejemplo, el caballo corrió colina arriba. Fue muy empinado. Pronto se cansó. Aquí, la referencia anafórica de "eso" en dos situaciones provoca ambigüedad.
Ambigüedad pragmática
Este tipo de ambigüedad se refiere a la situación en la que el contexto de una frase le da múltiples interpretaciones. En palabras simples, podemos decir que la ambigüedad pragmática surge cuando la declaración no es específica. Por ejemplo, la oración “Tú también me gustas” puede tener múltiples interpretaciones como me gustas (igual que a ti me gustas), me gustas (igual que otra dosis).
Fases de la PNL
El siguiente diagrama muestra las fases o pasos lógicos en el procesamiento del lenguaje natural:
Procesamiento morfológico
Es la primera fase de la PNL. El propósito de esta fase es dividir fragmentos de entrada del lenguaje en conjuntos de fichas correspondientes a párrafos, oraciones y palabras. Por ejemplo, una palabra como“uneasy” se puede dividir en dos tokens de subpalabras como “un-easy”.
Análisis de sintaxis
Es la segunda fase de la PNL. El propósito de esta fase es doble: comprobar que una oración está bien formada o no y dividirla en una estructura que muestre las relaciones sintácticas entre las diferentes palabras. Por ejemplo, la oración como“The school goes to the boy” sería rechazado por el analizador sintáctico o el analizador sintáctico.
Análisis semántico
Es la tercera fase de la PNL. El propósito de esta fase es extraer el significado exacto, o puede decir el significado del diccionario del texto. Se verifica la significación del texto. Por ejemplo, el analizador semántico rechazaría una oración como "Helado caliente".
Análisis pragmático
Es la cuarta fase de la PNL. El análisis pragmático simplemente se ajusta a los objetos / eventos reales, que existen en un contexto dado con referencias de objetos obtenidas durante la última fase (análisis semántico). Por ejemplo, la oración “Pon el plátano en la canasta en el estante” puede tener dos interpretaciones semánticas y el analizador pragmático elegirá entre estas dos posibilidades.