sklearn - python multiclass classification

GridSearch para un estimador dentro de OneVsRestClassifier

Question

Quiero realizar GridSearchCV en un modelo de SVC, pero eso usa la estrategia de uno contra todos. Para la última parte, puedo hacer esto:

model_to_set = OneVsRestClassifier(SVC(kernel="poly"))

Mi problema es con los parámetros. Digamos que quiero probar los siguientes valores:

parameters = {"C":[1,2,4,8], "kernel":["poly","rbf"],"degree":[1,2,3,4]}

Para realizar GridSearchCV, debería hacer algo como:

 cv_generator = StratifiedKFold(y, k=10)
model_tunning = GridSearchCV(model_to_set, param_grid=parameters, score_func=f1_score, n_jobs=1, cv=cv_generator)

Sin embargo, luego lo ejecuto, obtengo:

Traceback (most recent call last):
File "/.../main.py", line 66, in <module>
argclass_sys.set_model_parameters(model_name="SVC", verbose=3, file_path=PATH_ROOT_MODELS)
File "/.../base.py", line 187, in set_model_parameters
model_tunning.fit(self.feature_encoder.transform(self.train_feats), self.label_encoder.transform(self.train_labels))
File "/usr/local/lib/python2.7/dist-packages/sklearn/grid_search.py", line 354, in fit
return self._fit(X, y)
File "/usr/local/lib/python2.7/dist-packages/sklearn/grid_search.py", line 392, in _fit
for clf_params in grid for train, test in cv)
File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 473, in __call__
self.dispatch(function, args, kwargs)
File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 296, in dispatch
job = ImmediateApply(func, args, kwargs)
File "/usr/local/lib/python2.7/dist-packages/sklearn/externals/joblib/parallel.py", line 124, in __init__
self.results = func(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/sklearn/grid_search.py", line 85, in fit_grid_point
clf.set_params(**clf_params)
File "/usr/local/lib/python2.7/dist-packages/sklearn/base.py", line 241, in set_params
% (key, self.__class__.__name__))
ValueError: Invalid parameter kernel for estimator OneVsRestClassifier

Básicamente, dado que el SVC está dentro de un OneVsRestClassifier y ese es el estimador que envío a GridSearchCV, no se puede acceder a los parámetros del SVC.

Para lograr lo que quiero, veo dos soluciones:

1. Al crear el SVC, de alguna manera le dicen que no use la estrategia de uno contra uno, sino el uno contra todos.
2. Indique de algún modo el GridSearchCV que los parámetros corresponden al estimador dentro del OneVsRestClassifier.

Todavía tengo que encontrar una manera de hacer cualquiera de las alternativas mencionadas. ¿Sabes si hay alguna manera de hacer alguno de ellos? ¿O tal vez podrías sugerir otra forma de obtener el mismo resultado?

¡Gracias!

Answer 1

Cuando utiliza estimadores anidados con la búsqueda de grillas, puede determinar los parámetros con __ como separador. En este caso, el modelo SVC se almacena como un atributo denominado estimator dentro del modelo OneVsRestClassifier :

from sklearn.datasets import load_iris
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
from sklearn.grid_search import GridSearchCV
from sklearn.metrics import f1_score
iris = load_iris()
model_to_set = OneVsRestClassifier(SVC(kernel="poly"))
parameters = {
"estimator__C": [1,2,4,8],
"estimator__kernel": ["poly","rbf"],
"estimator__degree":[1, 2, 3, 4],
}
model_tunning = GridSearchCV(model_to_set, param_grid=parameters,
score_func=f1_score)
model_tunning.fit(iris.data, iris.target)
print model_tunning.best_score_
print model_tunning.best_params_

Eso produce:

0.973290762737
{''estimator__kernel'': ''poly'', ''estimator__C'': 1, ''estimator__degree'': 2}