vacios - superponer graficas en r

Dividir un marco de datos por el número de filas

Question

Tengo un marco de datos compuesto por 400,000 filas y aproximadamente 50 columnas. Como este marco de datos es tan grande, es demasiado costoso computacionalmente para trabajar. Me gustaría dividir este marco de datos en otros más pequeños, después de lo cual ejecutaré las funciones que me gustaría ejecutar y luego volver a montar el marco de datos al final.

No hay ninguna variable de agrupación que me gustaría usar para dividir este marco de datos. Me gustaría dividirlo por el número de filas. Por ejemplo, me gustaría dividir esta tabla de 400,000 filas en 400 marcos de datos de 1 000 filas. ¿Cómo podría hacer esto?

Answer 1

Haga su propia variable de agrupación.

d <- split(my_data_frame,rep(1:400,each=1000))

También debe considerar la función plyr paquete plyr , o la función group_by() de dplyr .

Editado por brevedad, después de los comentarios de Hadley.

Si no sabe cuántas filas hay en el marco de datos, o si el marco de datos podría tener una longitud desigual del tamaño de fragmento deseado, puede hacerlo.

chunk <- 1000
n <- nrow(my_data_frame)
r  <- rep(1:ceiling(n/chunk),each=chunk)[1:n]
d <- split(my_data_frame,r)

También podrías usar

r <- ggplot2::cut_width(1:n,chunk,boundary=0)

Para los futuros lectores, los métodos basados ​​en los paquetes dplyr y data.table probablemente serán (mucho) más rápidos para realizar operaciones grupales en marcos de datos.