python - tfidftransformer - ¿Cómo puedo vectorizar la lista usando sklearn DictVectorizer?

tfidfvectorizer

Question

Encontré el siguiente ejemplo en el sitio de sklearn docs:

>>> measurements = [
...     {''city'': ''Dubai'', ''temperature'': 33.},
...     {''city'': ''London'', ''temperature'': 12.},
...     {''city'': ''San Fransisco'', ''temperature'': 18.},
... ]

>>> from sklearn.feature_extraction import DictVectorizer
>>> vec = DictVectorizer()

>>> vec.fit_transform(measurements).toarray()
array([[  1.,   0.,   0.,  33.],
       [  0.,   1.,   0.,  12.],
       [  0.,   0.,   1.,  18.]])

>>> vec.get_feature_names()
[''city=Dubai'', ''city=London'', ''city=San Fransisco'', ''temperature'']

Y necesito vectorizar el dict que se ve así:

>>> measurements = [
...     {''city'': [''Dubai'',''London''], ''temperature'': 33.},
...     {''city'': [''London'',''San Fransisco''], ''temperature'': 12.},
...     {''city'': [''San Fransisco''], ''temperature'': 18.},
... ]

para obtener el siguiente resultado:

array([[  1.,   1.,   0.,  33.],
       [  0.,   1.,   1.,  12.],
       [  0.,   0.,   1.,  18.]])

Quiero decir que el valor de dict debe ser una lista (o tupla, etc.).

¿Puedo hacer esto usando DictVectorizer o de otra manera?

Answer 1

Cambiar la representación a

>>> measurements = [
...     {''city=Dubai'': True, ''city=London'': True, ''temperature'': 33.},
...     {''city=London'': True, ''city=San Fransisco'': True, ''temperature'': 12.},
...     {''city'': ''San Fransisco'', ''temperature'': 18.},
... ]

Entonces el resultado es exactamente como esperabas:

>>> vec.fit_transform(measurements).toarray()
array([[  1.,   1.,   0.,  33.],
       [  0.,   1.,   1.,  12.],
       [  0.,   0.,   1.,  18.]])