IA con Python: procesamiento de lenguaje natural
El procesamiento del lenguaje natural (NLP) se refiere al método de inteligencia artificial para comunicarse con sistemas inteligentes utilizando un lenguaje natural como el inglés.
El procesamiento del lenguaje natural es necesario cuando desea que un sistema inteligente como un robot funcione según sus instrucciones, cuando desea escuchar la decisión de un sistema clínico experto basado en el diálogo, etc.
El campo de la PNL implica hacer que las computadoras realicen tareas útiles con los lenguajes naturales que usan los humanos. La entrada y salida de un sistema de PNL pueden ser:
- Speech
- Texto escrito
Componentes de la PNL
En esta sección, aprenderemos sobre los diferentes componentes de la PNL. Hay dos componentes de la PNL. Los componentes se describen a continuación:
Comprensión del lenguaje natural (NLU)
Implica las siguientes tareas:
Mapeo de la entrada dada en lenguaje natural en representaciones útiles.
Analizar diferentes aspectos del idioma.
Generación de lenguaje natural (NLG)
Es el proceso de producir frases y oraciones significativas en forma de lenguaje natural a partir de alguna representación interna. Implica -
Text planning - Esto incluye recuperar el contenido relevante de la base de conocimientos.
Sentence planning - Esto incluye elegir las palabras requeridas, formar frases significativas, establecer el tono de la oración.
Text Realization - Esto es mapear el plan de la oración en la estructura de la oración.
Dificultades en NLU
La NLU es muy rica en forma y estructura; sin embargo, es ambiguo. Puede haber diferentes niveles de ambigüedad:
Ambigüedad léxica
Está en un nivel muy primitivo, como el nivel de palabra. Por ejemplo, ¿tratar la palabra "tablero" como sustantivo o verbo?
Ambigüedad a nivel de sintaxis
Una oración se puede analizar de diferentes formas. Por ejemplo, "Levantó el escarabajo con gorra roja". - ¿Usó gorra para levantar el escarabajo o levantó un escarabajo que tenía gorra roja?
Ambigüedad referencial
Refiriéndose a algo usando pronombres. Por ejemplo, Rima fue a Gauri. Ella dijo: "Estoy cansada". - ¿Exactamente quién está cansado?
Terminología de PNL
Veamos ahora algunos términos importantes en la terminología de la PNL.
Phonology - Es el estudio de la organización del sonido de forma sistemática.
Morphology - Es un estudio de construcción de palabras a partir de unidades significativas primitivas.
Morpheme - Es una unidad primitiva de significado en una lengua.
Syntax- Se refiere a ordenar palabras para formar una oración. También implica determinar el papel estructural de las palabras en la oración y en las frases.
Semantics - Se preocupa por el significado de las palabras y cómo combinar palabras en frases y oraciones significativas.
Pragmatics - Se trata del uso y comprensión de frases en diferentes situaciones y cómo se ve afectada la interpretación de la frase.
Discourse - Se trata de cómo la oración inmediatamente anterior puede afectar la interpretación de la oración siguiente.
World Knowledge - Incluye el conocimiento general del mundo.
Pasos en PNL
Esta sección muestra los diferentes pasos de la PNL.
Análisis léxico
Implica identificar y analizar la estructura de las palabras. Léxico de un idioma significa la colección de palabras y frases en un idioma. El análisis léxico consiste en dividir todo el texto en párrafos, oraciones y palabras.
Análisis sintáctico (análisis)
Implica el análisis de las palabras en la oración para la gramática y la organización de las palabras de una manera que muestre la relación entre las palabras. El analizador sintáctico inglés rechaza una oración como "La escuela va al niño".
Análisis semántico
Extrae el significado exacto o el significado del diccionario del texto. Se comprueba la significación del texto. Se realiza mapeando estructuras sintácticas y objetos en el dominio de tareas. El analizador semántico no tiene en cuenta frases como "helado caliente".
Integración del discurso
El significado de cualquier oración depende del significado de la oración inmediatamente anterior. Además, también aporta el significado de la oración inmediatamente posterior.
Análisis pragmático
Durante esto, lo que se dijo se reinterpreta según lo que realmente significaba. Implica derivar aquellos aspectos del lenguaje que requieren conocimiento del mundo real.