Python - Tokenización de Word

La tokenización de palabras es el proceso de dividir una gran muestra de texto en palabras. Este es un requisito en las tareas de procesamiento del lenguaje natural donde cada palabra necesita ser capturada y sujeta a un análisis adicional como clasificarlas y contarlas para un sentimiento particular, etc. El kit de herramientas de lenguaje natural (NLTK) es una biblioteca que se usa para lograr esto. Instale NLTK antes de continuar con el programa Python para la tokenización de palabras.

conda install -c anaconda nltk

A continuación usamos el word_tokenize método para dividir el párrafo en palabras individuales.

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

Cuando ejecutamos el código anterior, produce el siguiente resultado.

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']

Oraciones de tokenización

También podemos tokenizar las oraciones en un párrafo como tokenizamos las palabras. Usamos el métodosent_tokenizelograr esto. A continuación se muestra un ejemplo.

import nltk
sentence_data = "Sun rises in the east. Sun sets in the west."
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

Cuando ejecutamos el código anterior, produce el siguiente resultado.

['Sun rises in the east.', 'Sun sets in the west.']