nlp - cómo representar los diccionarios geográficos o los diccionarios como características en crf++?

named-entity-recognition

Question

cómo usar diccionarios geográficos o diccionarios como características en CRF ++ ?

Para elaborar: supongamos que quiero hacer NER con los nombres de personas, y estoy teniendo un diccionario geográfico (o diccionario) que contiene los nombres de las personas más comunes, quiero usar este diccionario geográfico como entrada para crf ++, ¿cómo puedo hacer eso?

Estoy usando el paquete de campo aleatorio condicional crf ++ para realizar tareas de reconocimiento de entidades nombradas. Sé cómo representar algunas características de uso común en crf ++. Por ejemplo, si queremos usar mayúsculas como característica, podemos agregar una columna separada en la plantilla de funciones de crf, que indica si una palabra está en mayúscula o no.

Answer 1

Puede crear una nueva característica que indique si un token está en el diccionario / mirador. Simplemente verifique la membresía establecida y configure la función Gazeteer en 1 o 0.