python - onehotencoder - no se puede usar FeatureUnion en scikit-learn debido a diferentes dimensiones

sklearn categorical encoding

Question

Estoy tratando de usar FeatureUnion para extraer diferentes características de una estructura de datos, pero falla debido a diferentes dimensiones: ValueError: blocks[0,:] has incompatible row dimensions

Implementacion

Mi FeatureUnion está construida de la siguiente manera:

 features = FeatureUnion([
(''f1'', Pipeline([
(''get'', GetItemTransformer(''f1'')),
(''transform'', vectorizer_f1)
])),
(''f2'', Pipeline([
(''get'', GetItemTransformer(''f2'')),
(''transform'', vectorizer_f1)
]))
])

GetItemTransformer se utiliza para obtener diferentes partes de datos de la misma estructura. La Idea se describe aquí en scikit-learn issue-tracker.

La Estructura misma se almacena como {''f1'': data_f1, ''f2'': data_f2} donde data_f1 son listas diferentes con diferentes longitudes.

Pregunta

Como el Y-Vector es diferente de los Data-Fields, supongo que se produce el error, pero ¿cómo puedo escalar el vector para que se ajuste en ambos casos?

Answer 1

No sé si esto se aplica a su pregunta, pero nos encontramos con el mismo error en una situación ligeramente diferente y lo solucionamos.

Nuestras entradas de f1 eran listas de 15 valores numéricos y necesitábamos hacer tf-idf en f2 . Esto generó el mismo error sobre las dimensiones de fila incompatibles.

Después de ejecutarlo a través del depurador, descubrimos que las formas de nuestras matrices eran sutilmente diferentes yendo a la llamada hstack() en FeatureUnion : (2569,) y (2659, 706) .

Si lanzamos f1 a una matriz numpy 2D, la forma cambia a (2659, 15) y la llamada hstack funciona.

El elenco fue algo así: f1 = np.array(list(f1)) .

Answer 2

Esto es lo que funcionó para mí:

class ArrayCaster(BaseEstimator, TransformerMixin):
def fit(self, x, y=None):
return self
def transform(self, data):
print data.shape
print np.transpose(np.matrix(data)).shape
return np.transpose(np.matrix(data))
FeatureUnion([(''text'', Pipeline([
(''selector'', ItemSelector(key=''text'')),
(''vect'', CountVectorizer(ngram_range=(1,1), binary=True, min_df=3)),
(''tfidf'', TfidfTransformer())
])
),
(''other data'', Pipeline([
(''selector'', ItemSelector(key=''has_foriegn_char'')),
(''caster'', ArrayCaster())
])
)])