nlp - Datos de entrenamiento para el análisis de sentimiento

machine-learning text-analysis

Question

¿Dónde puedo obtener un corpus de documentos que ya han sido clasificados como positivos / negativos para el sentimiento en el dominio corporativo? Quiero un gran corpus de documentos que proporcionen reseñas para las empresas, como reseñas de compañías proporcionadas por analistas y medios de comunicación.

Encuentro corpora que tienen reseñas de productos y películas. ¿Existe un corpus para el dominio comercial que incluya reseñas de empresas que coincidan con el idioma de los negocios?

Answer 1

Aquí hay algunos más;

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

Answer 2

Esta es una lista que escribí hace unas semanas, de mi blog . Algunos de estos conjuntos de datos se han incluido recientemente en la plataforma NLTK Python.

Lexicons

• Opinion Lexicon por Bing Liu

  • URL : http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
  • DOCUMENTOS : Minería y resumen de opiniones de clientes
  • NOTAS : Incluido en la plataforma NLTK Python

• Léxico de subjetividad de MPQA

  • URL : http://mpqa.cs.pitt.edu/#subj_lexicon
  • DOCUMENTOS : Reconociendo la polaridad contextual en el análisis de sentimiento a nivel de frase (Theresa Wilson, Janyce Wiebe y Paul Hoffmann, 2005) .

• SentiWordNet

  • URL : http://sentiwordnet.isti.cnr.it
  • NOTAS : Incluido en la plataforma NLTK Python

• Harvard General Inquirer

  • URL : http://www.wjh.harvard.edu/~inquirer
  • DOCUMENTOS : El investigador general: un enfoque informático para el análisis de contenido (Stone, Philip J., Dexter C. Dunphry, Marshall S. Smith y Daniel M. Ogilvie, 1966)

• Indagación lingüística y conteos de palabras (LIWC)

  • URL : http://www.liwc.net

• Vader Lexicon

  • URL : https://github.com/cjhutto/vaderSentiment , http://comp.social.gatech.edu/papers
  • DOCUMENTOS : Vader: un modelo parsimonioso basado en reglas para el análisis del sentimiento del texto de las redes sociales (Hutto, Gilbert. 2014)

Conjuntos de datos

• Conjuntos de datos MPQA

  • URL : http://mpqa.cs.pitt.edu

  • NOTAS : Licencia pública GNU.

    • Datos de debate político
    • Datos de Debate del producto
    • Anotaciones de sentido subjetivo

• Sentiment140 (Tweets)

  • URL : http://help.sentiment140.com/for-students
  • DOCUMENTOS : Clasificación de Twitter enviados utilizando Supervisión a distancia (Go, Alec, Richa Bhayani y Lei Huang)
  • URL : http://help.sentiment140.com , https://groups.google.com/forum/#!forum/sentiment140

• STS-Gold (Tweets)

  • URL : http://www.tweenator.com/index.php?page_id=13
  • DOCUMENTOS : conjuntos de datos de evaluación para el análisis del sentimiento de Twitter (Saif, Fernández, He, Alani)
  • NOTAS : Como Sentiment140, pero el conjunto de datos es más pequeño y con anotadores humanos. Viene con 3 archivos: tweets, entidades (con su opinión) y un conjunto agregado.

• Conjunto de datos de revisión del cliente (reseñas de productos)

  • URL : http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • DOCUMENTOS : Minería y resumen de opiniones de clientes
  • NOTAS : Título de la revisión, característica del producto, etiqueta positiva / negativa con fortaleza de opinión, otra información (comparaciones, resolución de pronombres, etc.)

  Incluido en la plataforma NLTK Python

• Conjunto de datos de pros y contras (oraciones de pros y contras)

  • URL : http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • DOCUMENTOS : Opiniones mineras en oraciones comparativas (Ganapathibhotla, Liu 2008)
  • NOTAS : una lista de oraciones etiquetadas <pros> o <cons>

  Incluido en la plataforma NLTK Python

• Oraciones comparativas (Reseñas)

  • URL : http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • DOCUMENTOS : identificación de oraciones comparativas en documentos de texto (Nitin Jindal y Bing Liu) , características de opinión minera en reseñas de clientes (Minqing Hu y Bing Liu)
  • NOTAS : Sentencia, frase etiquetada POS, entidades, tipo de comparación (no igual, equitativo, superlativo, no gradable)

  Incluido en la plataforma NLTK Python

• Sanders Analytics Twitter Sentiment Corpus (Tweets)

  • URL : http://www.sananalytics.com/lab/twitter-sentiment

  5513 tweets clasificados a mano con 4 temas diferentes. Debido a los ToS de Twitter, se incluye un pequeño script de Python para descargar todos los tweets. Las clasificaciones de sentimientos en sí mismas se proporcionan de forma gratuita y sin restricciones. Se pueden usar para productos comerciales. Ellos pueden ser redistribuidos. Pueden ser modificados.

• Tweets en español (Tweets)

  • URL : http://www.daedalus.es/TASS2013/corpus.php

• SemEval 2014 (Tweets)

  • URL : http://alt.qcri.org/semeval2014/task9

  NO DEBE volver a distribuir los tweets, las anotaciones o el corpus obtenido (del archivo Léame)

• Varios conjuntos de datos (reseñas)

  • URL : https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
  • DOCUMENTOS : Creación de un modelo de minería de opinión entre dominios de propósito general (Whitehead y Yaeger) , Minería de opinión utilizando modelos de clasificación de conjuntos (Whitehead y Yaeger)

• Varios conjuntos de datos n. ° 2 (Reseñas)

  • URL : http://www.text-analytics101.com/2011/07/user-review-datasets_20.html

Referencias

• Keenformatics - Léxicos y conjuntos de datos de análisis de sentimiento (mi blog)
• Experiencia personal

Answer 3

No estoy al tanto de que dicho corpus esté disponible de forma gratuita, pero podría probar un método no supervisado en un conjunto de datos sin etiqueta.

Answer 4

Puede obtener una amplia selección de revisiones en línea de Datafiniti. La mayoría de las revisiones vienen con datos de calificación, lo que proporcionaría más granularidad en el sentimiento que en positivo / negativo. Aquí hay una lista de empresas con comentarios , y aquí hay una lista de productos con reseñas .

Answer 5

Si tiene algunos recursos (canales de medios, blogs, etc.) sobre el dominio que desea explorar, puede crear su propio corpus. Hago esto en Python:

• usando Beautiful Soup http://www.crummy.com/software/BeautifulSoup/ para analizar el contenido que quiero clasificar.
• separe esas oraciones que significan opiniones positivas / negativas sobre las empresas.
• Use NLTK para procesar estas oraciones, tokenize words, POS tagging, etc.
• Use NLTK PMI para calcular bigrams o trigramas mos frecuentes en una sola clase

Crear corpus es un trabajo arduo de preprocesamiento, verificación, etiquetado, etc., pero tiene los beneficios de preparar un modelo para un dominio específico que muchas veces aumenta la precisión. Si puede obtener un corpus ya preparado, continúe con el análisis de opinión;)

Answer 6

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

Puede usar twitter, con sus emoticonos, así: http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

Espero que te ayude a empezar. Hay más en la literatura, si le interesan subtareas específicas como la negación, el alcance del sentimiento, etc.

Para enfocarse en las empresas, puede emparejar un método con la detección de temas o, a bajo costo, muchas menciones de una compañía determinada. O puede obtener sus datos anotados por Mechanical Turkers.