spanish - El procesamiento de sentimiento NLP para datos basura toma tiempo

procesamiento de lenguaje natural nltk

Question

Estoy tratando de encontrar el Sentimiento para el texto de entrada. Esta prueba es una frase basura y cuando traté de encontrar el Sentimiento, la Anotación para analizar la oración tarda unos 30 segundos. Para texto normal toma menos de un segundo. Si necesito procesar millones de datos, aumentará el tiempo de procesamiento. Cualquier solución a esto

String text = "Nm n n 4 n n bkj nun4hmnun Onn njnb hm5bn nm55m nbbh n mnrrnut but n rym4n nbn 4nn65 m nun m n nn nun 4nm 5 gm n my b bb b b rtmrt55tmmm5tttn b b bb g bn nn n h r ret n nun bn d. B bbbbbbbbbbr bung NHnhn nn nk, v v v n gain t g 4gnyhimmigration ndn nb NVnb bin uny 7 nbbbbbnn vv bbvb ninn njnj n4 nm n km n n n cb j bun. Nhfnt bn nn. N hm nn nun m bum my b mmmnbjk nn n by nn nun nun n nun nn bn n nhn n nn n n m NH nb4mnm mkn 4 n n n n hm r b rnfngg4d in b nut mmmkmmm5 bbjn n n ij BBM 8u8i by nun n.nn hm n. n4n By 4n4n bunny RN bny hm j mi. Nymmn FBT not mn n n nm g by n n nnm? Rnyb vCard n5 Yu nn n n n n nt .nm mn nt n nb n n n n by y5nnnhyyh h b b nt njj n m f4n re";
Properties props = new Properties();
            props.setProperty("annotators","tokenize, ssplit, pos,parse,sentiment");
            StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
            Annotation annotation = pipeline.process(text);

Para la calculización del sentimiento NLP tengo que analizar los datos y creo que esa es la razón por la que toma tiempo.

Gracias

Answer 1

Sí, el analizador de PCFG estándar (el que se ejecuta de forma predeterminada sin ninguna otra opción especificada) se ahogará con este tipo de datos largos y sin sentido. Es posible que tenga más suerte con el analizador de constituyentes de shift-reduce , que es sustancialmente más rápido que el PCFG y casi tan preciso.