poner - agregar filtro de idioma a twitter popularhashtags-scala

como poner twitter en español 2018

Question

Soy nuevo en Spark y Scala. Ejecuté las etiquetas hash populares de streaming de Spark streaming job-twitter.

Agregué un filtro para algunas palabras y pude filtrar los tweets:

val filter = Array("spark", "Big Data")
val stream = TwitterUtils.createStream(ssc, None, filter) 

Del mismo modo, quiero agregar un filtro de idioma para que solo se transmitan los tweets en inglés. Twitter4j tiene Track() y Locations . ¿Tiene un filtro de idioma? Si es así, ¿cómo funciona en Scala?

Answer 1

Estoy repitiendo lo que ya se ha dicho en este hilo Spark .

Spark usa Twitter4J para el feed. Twitter4J a partir de la versión 3.0.6 tiene getLang ( doc ) que le permite:

.filter(_.getLang == "en")

que se puede usar contra DStream de twitter4j.Status .

Pero desafortunadamente Spark usa una versión anterior de Twitter4J ( doc ) que no tiene getLang .

Actualice Twitter4J dentro de Spark a 3.0.6, espere a que Spark actualice su Twitter4J, o un enfoque completamente diferente.