sirve - k means en r ejemplo

Enfoque simple para asignar clústeres para nuevos datos después del agrupamiento de k-means

Question

Estoy ejecutando k-means clustering en un marco de datos df1, y estoy buscando un método simple para calcular el centro de clúster más cercano para cada observación en un nuevo marco de datos df2 (con los mismos nombres de variable). Piense en df1 como el conjunto de entrenamiento y df2 en el conjunto de pruebas; Quiero agrupar en el conjunto de entrenamiento y asignar cada punto de prueba al grupo correcto.

Sé cómo hacer esto con la función de apply y algunas funciones simples definidas por el usuario (las publicaciones anteriores sobre el tema generalmente han propuesto algo similar):

df1 <- data.frame(x=runif(100), y=runif(100))
df2 <- data.frame(x=runif(100), y=runif(100))
km <- kmeans(df1, centers=3)
closest.cluster <- function(x) {
  cluster.dist <- apply(km$centers, 1, function(y) sqrt(sum((x-y)^2)))
  return(which.min(cluster.dist)[1])
}
clusters2 <- apply(df2, 1, closest.cluster)

Sin embargo, estoy preparando este ejemplo de agrupación para un curso en el que los estudiantes no estarán familiarizados con la función de apply , por lo que preferiría si pudiera asignar las agrupaciones a df2 con una función incorporada. ¿Existen funciones incorporadas convenientes para encontrar el clúster más cercano?

Answer 1

Algo que noté tanto en el enfoque de la pregunta como en los de flexclust es que son bastante lentos (comparados aquí para un conjunto de entrenamiento y pruebas con 1 millón de observaciones con 2 características cada una).

El ajuste del modelo original es razonablemente rápido:

set.seed(144)
df1 <- data.frame(x=runif(1e6), y=runif(1e6))
df2 <- data.frame(x=runif(1e6), y=runif(1e6))
system.time(km <- kmeans(df1, centers=3))
#    user  system elapsed 
#   1.204   0.077   1.295 

La solución que publiqué en la pregunta es lenta en el cálculo de las asignaciones de agrupación de conjuntos de prueba, ya que llama de forma más closest.cluster a closest.cluster para cada punto de configuración de prueba:

system.time(pred.test <- apply(df2, 1, closest.cluster))
#    user  system elapsed 
#  42.064   0.251  42.586 

Mientras tanto, el paquete flexclust parece agregar muchos gastos generales, independientemente de si convertimos el modelo ajustado con as.kcca o as.kcca uno nuevo con kcca (aunque la predicción al final es mucho más rápida)

# APPROACH #1: Convert from the kmeans() output
system.time(km.flexclust <- as.kcca(km, data=df1))
#    user  system elapsed 
#  87.562   1.216  89.495 
system.time(pred.flexclust <- predict(km.flexclust, newdata=df2))
#    user  system elapsed 
#   0.182   0.065   0.250 

# Approach #2: Fit the k-means clustering model in the flexclust package
system.time(km.flexclust2 <- kcca(df1, k=3, kccaFamily("kmeans")))
#    user  system elapsed 
# 125.193   7.182 133.519 
system.time(pred.flexclust2 <- predict(km.flexclust2, newdata=df2))
#    user  system elapsed 
#   0.198   0.084   0.302 

Parece que hay otro enfoque sensato aquí: usar una solución rápida de vecinos k más cercanos como un árbol kd para encontrar el vecino más cercano de cada observación de conjunto de prueba dentro del conjunto de centroides de clúster. Esto se puede escribir de forma compacta y es relativamente rápido:

library(FNN)
system.time(pred.knn <- get.knnx(km$center, df2, 1)$nn.index[,1])
#    user  system elapsed 
#   0.315   0.013   0.345 
all(pred.test == pred.knn)
# [1] TRUE

Answer 2

Podría usar el paquete flexclust , que tiene un método de predict implementado para k-means:

library("flexclust")
data("Nclus")

set.seed(1)
dat <- as.data.frame(Nclus)
ind <- sample(nrow(dat), 50)

dat[["train"]] <- TRUE
dat[["train"]][ind] <- FALSE

cl1 = kcca(dat[dat[["train"]]==TRUE, 1:2], k=4, kccaFamily("kmeans"))
cl1    
#
# call:
# kcca(x = dat[dat[["train"]] == TRUE, 1:2], k = 4)
#
# cluster sizes:
#
#  1   2   3   4 
#130 181  98  91 

pred_train <- predict(cl1)
pred_test <- predict(cl1, newdata=dat[dat[["train"]]==FALSE, 1:2])

image(cl1)
points(dat[dat[["train"]]==TRUE, 1:2], col=pred_train, pch=19, cex=0.3)
points(dat[dat[["train"]]==FALSE, 1:2], col=pred_test, pch=22, bg="orange")

También hay métodos de conversión para convertir los resultados de funciones de cluster como stats::kmeans o cluster::pam a objetos de la clase kcca y viceversa:

as.kcca(cl, data=x)
# kcca object of family ‘kmeans’ 
#
# call:
# as.kcca(object = cl, data = x)
#
# cluster sizes:
#
#  1  2 
#  50 50