python - gridsearchcv - sklearn

Búsqueda en grilla para la evaluación hiperparámetro de agrupamiento en scikit-learn

Question

Estoy agrupando una muestra de alrededor de 100 registros (sin etiquetar) y tratando de usar grid_search para evaluar el algoritmo de agrupación con varios hiperparámetros. Estoy anotando usando silhouette_score que funciona bien.

Mi problema aquí es que no necesito usar el aspecto de validación cruzada de GridSearchCV / RandomizedSearchCV , pero no puedo encontrar un GridSearch / RandomizedSearch simple. Puedo escribir mis propios objetos, pero los objetos ParameterSampler y ParameterGrid son muy útiles.

Mi próximo paso será subclasificar BaseSearchCV e implementar mi propio método _fit() , pero pensé que valía la pena preguntar ¿hay alguna forma más sencilla de hacerlo, por ejemplo, pasando algo al parámetro cv ?

def silhouette_score(estimator, X):
    clusters = estimator.fit_predict(X)
    score = metrics.silhouette_score(distance_matrix, clusters, metric=''precomputed'')
    return score

ca = KMeans()
param_grid = {"n_clusters": range(2, 11)}

# run randomized search
search = GridSearchCV(
    ca,
    param_distributions=param_dist,
    n_iter=n_iter_search,
    scoring=silhouette_score,
    cv= # can I pass something here to only use a single fold?
    )
search.fit(distance_matrix)

Answer 1

Ok, esto podría ser una vieja pregunta pero uso este tipo de código:

Primero, queremos generar todas las combinaciones posibles de parámetros:

def make_generator(parameters):
    if not parameters:
        yield dict()
    else:
        key_to_iterate = list(parameters.keys())[0]
        next_round_parameters = {p : parameters[p]
                    for p in parameters if p != key_to_iterate}
        for val in parameters[key_to_iterate]:
            for pars in make_generator(next_round_parameters):
                temp_res = pars
                temp_res[key_to_iterate] = val
                yield temp_res

Luego crea un bucle fuera de esto:

# add fix parameters - here - it''s just a random one
fixed_params = {"max_iter":300 } 

param_grid = {"n_clusters": range(2, 11)}

for params in make_generator(param_grid):
    params.update(fixed_params)
    ca = KMeans( **params )
    ca.fit(_data)
    labels = ca.labels_
    # Estimate your clustering labels and 
    # make decision to save or discard it!

Por supuesto, se puede combinar en una bonita función. Así que esta solución es principalmente un ejemplo.

Espero que ayude a alguien!

Answer 2

Recientemente me encontré con un problema similar. cv_custom el cv_custom personalizado iterable que define la estrategia de división y es una entrada para el parámetro de validación cruzada cv . Este iterable debe contener una pareja para cada pliegue con muestras identificadas por sus índices, por ejemplo ([fold1_train_ids], [fold1_test_ids]), ([fold2_train_ids], [fold2_test_ids]), ... En nuestro caso, solo necesitamos una pareja para un pliegue con índices de todos los ejemplos en el tren y también en la parte de prueba ([train_ids], [test_ids])

N = len(distance_matrix)
cv_custom = [(range(0,N), range(0,N))]
scores = cross_val_score(clf, X, y, cv=cv_custom)