values - Cómo llenar NA con LOCF por factores en el marco de datos, dividido por país

remove na in r data frame

Question

Tengo el siguiente marco de datos (simplificado) con la variable de país como factor y la variable de valor tiene valores perdidos:

country value
AUT     NA
AUT     5
AUT     NA
AUT     NA
GER     NA
GER     NA
GER     7
GER     NA
GER     NA

Lo siguiente genera el marco de datos anterior:

data <- data.frame(country=c("AUT", "AUT", "AUT", "AUT", "GER", "GER", "GER", "GER", "GER"), value=c(NA, 5, NA, NA, NA, NA, 7, NA, NA))

Ahora, me gustaría reemplazar los valores de NA en cada subconjunto de países utilizando el método de última observación llevada a cabo (LOCF). Conozco el comando na.locf en el paquete del zoo . data <- na.locf(data) me daría el siguiente marco de datos:

country value
AUT     NA
AUT     5
AUT     5
AUT     5
GER     5
GER     5
GER     7
GER     7
GER     7

Sin embargo, la función solo debe utilizarse en los subconjuntos individuales divididos por el país . La siguiente es la salida que necesitaría:

country value
AUT     NA
AUT     5
AUT     5
AUT     5
GER     NA
GER     NA
GER     7
GER     7
GER     7

No puedo pensar en una manera fácil de implementarlo. Antes de comenzar con for-loops, me preguntaba si alguien tiene alguna idea de cómo resolver esto.

¡¡Muchas gracias!!

Answer 1

Aquí hay una solución ddply . Prueba esto

library(plyr)
ddply(DF, .(country), na.locf)
  country value
1     AUT  <NA>
2     AUT     5
3     AUT     5
4     AUT     5
5     GER  <NA>
6     GER  <NA>
7     GER     7
8     GER     7
9     GER     7

Editar De ayuda ddply puede encontrar que

.variables:  variables to split data frame by, 
as quoted variables, a formula or character vector.

Así que otras alternativas para conseguir lo que quieres son:

ddply(DF, "country", na.locf)
ddply(DF, ~country, na.locf)

tenga en cuenta que no se permite reemplazar .variables con la DF$variable , por eso se produjo un error al hacer esto.

DF es tu data.frame

Answer 2

Divida el data.frame con by y use na.locf en los subconjuntos:

do.call(rbind,by(data,data$country,na.locf))

Si desea eliminar los nombres de las filas:

do.call(rbind,unname(by(data,data$country,na.locf)))

Answer 3

La forma tidyverse, aunque no usa locf, es:

library(tidyverse)

data %>% 
    group_by(country) %>% 
    fill(value)

Source: local data frame [9 x 2]
Groups: country [2]

country value
(fctr) (dbl)
1     AUT    NA
2     AUT     5
3     AUT     5
4     AUT     5
5     GER    NA
6     GER    NA
7     GER     7
8     GER     7
9     GER     7

Answer 4

Si la velocidad es una consideración, entonces esta unstack para unstack / stack es aproximadamente 4 a 6 veces más rápida que las otras en mi sistema, aunque conlleva una línea de código ligeramente más larga:

stack(lapply(unstack(data, value ~ country), na.locf, na.rm = FALSE))

Otro enfoque es:

transform(data, value = ave(value, country, FUN = na.locf0))

Answer 5

Simplemente necesita dividir por país, luego hacer un zoo::na.locf() o na.fill, llenando a la derecha. Aquí hay un ejemplo que muestra explícitamente la sintaxis arg de tres componentes de na.fill:

library(plyr)
library(zoo)

data <- data.frame(country=c("AUT", "AUT", "AUT", "AUT", "GER", "GER", "GER", "GER", "GER"), value=c(NA, 5, NA, NA, NA, NA, 7, NA, NA))

# The following is equivalent to na.locf
na.fill.right <- function(...) { na.fill(..., list(left=NA,interior=NA,right="extend")) }

ddply(data, .(country), na.fill.right)

  country value
1     AUT  <NA>
2     AUT     5
3     AUT     5
4     AUT     5
5     GER  <NA>
6     GER  <NA>
7     GER     7
8     GER     7
9     GER     7

Answer 6

Una combinación de los paquetes dplyr e imputeTS puede hacer el trabajo.

library(dplyr)
library(imputeTS)
data %>% group_by(country) %>% 
mutate(value = na.locf(value, na.remaining="keep"))   

Con el parámetro na.remaining de la función na.locf de imputeTS , tiene además la opción de elegir qué hacer con los NA finales.

Estas son las opciones:

• "mantener" - devuelve la serie con NA
• "rm" - elimina las NA restantes
• "media": reemplaza las NA restantes por la media general
• "rev" - ejecuta nocb / locf desde la dirección inversa

Al elegir "media", por ejemplo, obtendría un resultado con 7 por cada GER en el ejemplo específico.

Answer 7

Una versión moderna de la solución ddply es usar el paquete dplyr :

library(dplyr)
DF %>%
  group_by(county) %>% 
  mutate(value = na.locf(value, na.rm = F))      

Answer 8

data.table un poco tarde a esta conversación, pero aquí hay una data.table , que será mucho más rápida para conjuntos de datos más grandes:

library(zoo)
library(data.table)

# Convert to data table
setDT(data)

data[, value := na.locf(value, na.rm = FALSE), by = country]

data
   country  value
1:     AUT     NA
2:     AUT      5
3:     AUT      5
4:     AUT      5
5:     GER     NA
6:     GER     NA
7:     GER      7
8:     GER      7
9:     GER      7

# And if you want to convert "data" back to a data frame...
setDF(data)