mutate - Diferencia entre subconjunto y filtro de dplyr

funcion mutate en r

Question

Me parece que el subconjunto y el filtro (de dplyr) tienen el mismo resultado. Pero mi pregunta es: ¿hay en algún punto una diferencia potencial, por ejemplo? ¿Velocidad, tamaños de datos que puede manejar, etc.? ¿Hay ocasiones en que es mejor usar uno u otro?

Ejemplo:

library(dplyr)

df1<-subset(airquality, Temp>80 & Month > 5)
df2<-filter(airquality, Temp>80 & Month > 5)

summary(df1$Ozone)
# Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA''s 
# 9.00   39.00   64.00   64.51   84.00  168.00      14 

summary(df2$Ozone)
# Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA''s 
# 9.00   39.00   64.00   64.51   84.00  168.00      14 

Answer 1

De hecho, están produciendo el mismo resultado y son muy similares en concepto.

La ventaja del subset es que es parte de la base R y no requiere ningún paquete adicional. Con tamaños de muestra pequeños, parece ser un poco más rápido que el filter (6 veces más rápido en su ejemplo, pero eso se mide en microsegundos).

A medida que los conjuntos de datos crecen, el filter parece ganar ventaja en eficiencia. Con 15,000 registros, el filter supera al subset en unos 300 microsegundos. Y en 153,000 registros, el filter es tres veces más rápido (medido en milisegundos).

Entonces, en términos de tiempo humano, no creo que haya mucha diferencia entre los dos.

La otra ventaja (y esto es un poco de una ventaja de nicho) es que el filter puede operar en bases de datos SQL sin llevar los datos a la memoria. subset simplemente no hace eso.

Personalmente, tiendo a usar el filter , pero solo porque ya estoy usando el marco dplyr . Si no está trabajando con datos de memoria insuficiente, no habrá mucha diferencia.

library(dplyr)
library(microbenchmark)

# Original example
microbenchmark(
  df1<-subset(airquality, Temp>80 & Month > 5),
  df2<-filter(airquality, Temp>80 & Month > 5)
)

Unit: microseconds
   expr     min       lq     mean   median      uq      max neval cld
 subset  95.598 107.7670 118.5236 119.9370 125.949  167.443   100  a 
 filter 551.886 564.7885 599.4972 571.5335 594.993 2074.997   100   b


# 15,300 rows
air <- lapply(1:100, function(x) airquality) %>% bind_rows

microbenchmark(
  df1<-subset(air, Temp>80 & Month > 5),
  df2<-filter(air, Temp>80 & Month > 5)
)

Unit: microseconds
   expr      min        lq     mean   median       uq      max neval cld
 subset 1187.054 1207.5800 1293.718 1216.671 1257.725 2574.392   100   b
 filter  968.586  985.4475 1056.686 1023.862 1036.765 2489.644   100  a 

# 153,000 rows
air <- lapply(1:1000, function(x) airquality) %>% bind_rows

microbenchmark(
  df1<-subset(air, Temp>80 & Month > 5),
  df2<-filter(air, Temp>80 & Month > 5)
)

Unit: milliseconds
   expr       min        lq     mean    median        uq      max neval cld
 subset 11.841792 13.292618 16.21771 13.521935 13.867083 68.59659   100   b
 filter  5.046148  5.169164 10.27829  5.387484  6.738167 65.38937   100  a 

Answer 2

Interesante. Estaba tratando de ver la diferencia en términos del conjunto de datos resultante y no pude obtener una explicación de por qué el operador "[" se comportó de manera diferente (es decir, por qué también devolvió NA):

# Subset for year=2013
sub<-brfss2013 %>% filter(iyear == "2013")
dim(sub)
#[1] 486088    330
length(which(is.na(sub$iyear))==T)
#[1] 0

sub2<-filter(brfss2013, iyear == "2013")
dim(sub2)
#[1] 486088    330
length(which(is.na(sub2$iyear))==T)
#[1] 0

sub3<-brfss2013[brfss2013$iyear=="2013", ]
dim(sub3)
#[1] 486093    330
length(which(is.na(sub3$iyear))==T)
#[1] 5

sub4<-subset(brfss2013, iyear=="2013")
dim(sub4)
#[1] 486088    330
length(which(is.na(sub4$iyear))==T)
#[1] 0

Answer 3

Una diferencia adicional que aún no se menciona es que el filtro descarta los nombres conocidos, mientras que el subconjunto no:

filter(mtcars, gear == 5)

  mpg    cyl   disp      hp  drat wt    qsec  vs am   gear carb
1 26.0   4     120.3     91  4.43 2.140 16.7  0  1    5    2
2 30.4   4     95.1      113 3.77 1.513 16.9  1  1    5    2
3 15.8   4     351.0     264 4.22 3.170 14.5  0  1    5    4
4 19.7   4     145.0     175 3.62 2.770 15.5  0  1    5    6
5 15.0   4     301.0     335 3.54 3.570 14.6  0  1    5    8

subset(mtcars, gear == 5)
               mpg    cyl   disp      hp  drat wt    qsec vs  am   gear carb
Porsche 914-2  26.0   4     120.3     91  4.43 2.140 16.7  0  1    5    2
Lotus Europa   30.4   4     95.1      113 3.77 1.513 16.9  1  1    5    2
Ford Pantera L 15.8   4     351.0     264 4.22 3.170 14.5  0  1    5    4
Ferrari Dino   19.7   4     145.0     175 3.62 2.770 15.5  0  1    5    6
Maserati Bora  15.0   4     301.0     335 3.54 3.570 14.6  0  1    5    8

Answer 4

Una diferencia también es que el subconjunto hace más cosas que el filtro, también puede seleccionar y soltar mientras tiene dos funciones diferentes en dplyr

subset(df, select=c("varA", "varD"))

dplyr::select(df,varA, varD)

Answer 5

Una ventaja adicional del filter es que juega bien con los datos agrupados. subset ignora las agrupaciones.

Entonces, cuando los datos están agrupados, el subset seguirá haciendo referencia a todos los datos, pero el filter solo hará referencia al grupo.

# setup
library(tidyverse)

data.frame(a = 1:2) %>% group_by(a) %>% subset(length(a) == 1) 
# returns empty table

data.frame(a = 1:2) %>% group_by(a) %>% filter(length(a) == 1) 
# returns all rows