Usar nombres dinámicos de columnas en `data.table`

Question

Quiero calcular la media de cada una de varias columnas en una tabla de datos, agrupada por otra columna. Mi pregunta es similar a otras dos preguntas sobre SO ( one y two ) pero no pude aplicarlas a mi problema.

Aquí hay un ejemplo:

library(data.table)
dtb <- fread(input = "condition,var1,var2,var3
      one,100,1000,10000
      one,101,1001,10001
      one,102,1002,10002
      two,103,1003,10003
      two,104,1004,10004
      two,105,1005,10005
      three,106,1006,10006
      three,107,1007,10007
      three,108,1008,10008
      four,109,1009,10009
      four,110,1010,10010")

dtb
#    condition var1 var2  var3
# 1:       one  100 1000 10000
# 2:       one  101 1001 10001
# 3:       one  102 1002 10002
# 4:       two  103 1003 10003
# 5:       two  104 1004 10004
# 6:       two  105 1005 10005
# 7:     three  106 1006 10006
# 8:     three  107 1007 10007
# 9:     three  108 1008 10008
# 10:     four  109 1009 10009
# 11:     four  110 1010 10010

El cálculo de cada media individual es fácil; por ejemplo, para "var1": dtb[ , mean(var1), by = condition] . Pero esto rápidamente se vuelve engorroso si hay muchas variables y necesita escribirlas todas. Por lo tanto, dtb[, list(mean(var1), mean(var2), mean(var3)), by = condition] es indeseable. Necesito que los nombres de las columnas sean dinámicos y deseo terminar con algo como esto:

   condition  var1   var2    var3
1:       one 101.0 1001.0 10001.0
2:       two 104.0 1004.0 10004.0
3:     three 107.0 1007.0 10007.0
4:      four 109.5 1009.5 10009.5

Answer 1

debe usar .SDcols (especialmente si tiene demasiadas columnas y necesita que una operación en particular se realice solo en un subconjunto de las columnas (aparte de las columnas de las variables de agrupación).

dtb[, lapply(.SD, mean), by=condition, .SDcols=2:4]

#    condition  var1   var2    var3
# 1:       one 101.0 1001.0 10001.0
# 2:       two 104.0 1004.0 10004.0
# 3:     three 107.0 1007.0 10007.0
# 4:      four 109.5 1009.5 10009.5

También podría obtener todos los nombres de columnas que desea tomar como primeros en una variable y luego pasarlos a .SDcols esta manera:

keys <- setdiff(names(dtb), "condition")
# keys = var1, var2, var3
dtb[, lapply(.SD, mean), by=condition, .SDcols=keys]

Editar: Como señaló correctamente Matthew Dowle, dado que requiere que se calcule en todas las demás columnas después de agruparlas por condition , puede hacer:

dtb[, lapply(.SD, mean), by=condition]

Edición de David: (que fue rechazada): Lea más sobre .SD desde esta publicación . Encuentro que esto es relevante aquí. Gracias @David.

Edición 2: data.table que tiene una data.table con 1000 filas y 301 columnas (una columna para agrupar y 300 columnas numéricas):

require(data.table)
set.seed(45)
dt <- data.table(grp = sample(letters[1:15], 1000, replace=T))
m  <- matrix(rnorm(300*1000), ncol=300)
dt <- cbind(dt, m)
setkey(dt, "grp")

y usted quería encontrar la media de las columnas, digamos, 251: 300 solo,

• puede calcular la media de todas las columnas y luego subconjuntar estas columnas (lo que no es muy eficiente ya que calculará en la totalidad de los datos).

  dt.out <- dt[, lapply(.SD, mean), by=grp]
  dim(dt.out) # 15 * 301, not efficient.

• usted puede filtrar el data.table primero a solo estas columnas y luego calcular la media (que de nuevo no es necesariamente la mejor solución ya que tiene que crear un subconjunto adicional de datos.table cada vez que desee operaciones en ciertas columnas).

  dt.sub <- dt[, c(1, 251:300), with=FALSE]
  setkey(dt.sub, "grp")
  dt.out <- dt.sub[, lapply(.SD, mean), by=grp]

• puede especificar cada una de las columnas una por una como lo haría normalmente (pero esto es deseable para data.tables más pequeños)

  # if you just need one or few columns
  dt.out <- dt[, list(m.v251 = mean(V251)), by = grp]

Entonces, ¿cuál es la mejor solución? La respuesta es .Sdcols .

Como dice la documentación, para un data.table x , .SDcols especifica las columnas que se incluyen en .SD .

Esto básicamente filtra implícitamente las columnas que se pasarán a .SD en lugar de crear un subconjunto (como lo hicimos antes), ¡solo que es MUY eficiente y RÁPIDO!

¿Cómo podemos hacer esto?

• Al especificar los números de columna:

  dt.out <- dt[, lapply(.SD, mean), by=grp, .SDcols = 251:300]
  dim(dt.out) # 15 * 51 (what we expect)

• O alternativamente al especificar el ID de la columna:

  ids <- paste0("V", 251:300) # get column ids
  dt.out <- dt[, lapply(.SD, mean), by=grp, .SDcols = ids]
  dim(dt.out) # 15 * 51 (what we expect)

Acepta nombres de columnas y números como argumentos. En ambos casos, .SD se proporcionará solo con estas columnas que hemos especificado.

Espero que esto ayude.