memory - org - sklearn metrics specificity

¿Cómo puedo corregir un error de memoria al ejecutar el puntaje de silueta de scikit-learns?

Question

Ejecuto un algoritmo de agrupamiento y quiero evaluar el resultado usando el puntaje de silueta en scikit-learn. Pero en scikit-learn, necesita calcular la matriz de distancias: distance = pairwise_distances (X, metric = metric, ** kwds)

Debido al hecho de que mis datos son del orden de 300 K, y mi memoria es de 2 GB, y el resultado está fuera de la memoria. Y no puedo evaluar el resultado del agrupamiento.

¿Alguien sabe cómo superar este problema?

Answer 1

Establezca el parámetro sample_size en la llamada a silhouette_score a un valor menor a 300K. El uso de este parámetro muestreará puntos de datos de X y calculará el silhouette_score en aquellos en lugar de la matriz completa.