read - importar datos en r studio

Al importar CSV en R, ¿cómo generar una columna con el nombre del CSV?

Question

Tengo un gran número de archivos csv que quiero leer en R. Todos los encabezados de las columnas en los csvs son iguales. Al principio pensé que tendría que crear un bucle basado en la lista de nombres de archivos, pero después de buscar encontré una manera más rápida. Esto lee y combina todos los csvs correctamente (que yo sepa).

filenames <- list.files(path = ".", pattern = NULL, all.files = FALSE, full.names = FALSE, recursive = FALSE, ignore.case = FALSE)

library(plyr)
import.list <- llply(filenames, read.csv)

combined <- do.call("rbind", import.list)

El único problema es que quiero saber de qué csv proviene una fila específica de datos. Quiero una columna etiquetada como ''fuente'' que contenga el nombre del csv del que proviene la fila en particular. así, por ejemplo, si el csv se llamaba Chicago_IL.csv cuando los datos llegaron a R, la fila se vería así:

> City    State   Market  etc Source  
> Burbank IL      Western etc Chicago_IL

Answer 1

Aquí hay una solución que utiliza la función import_list() de rio , que está diseñada exactamente para este propósito.

# setup some example files to import
rio::export(mtcars, "mtcars1.csv")
rio::export(mtcars, "mtcars2.csv")
rio::export(mtcars, "mtcars3.csv")

El comportamiento predeterminado de import_list() es obtener una lista de marcos de datos:

str(rio::import_list(dir(pattern = "mtcars")), 1)
## List of 3
##  $ :''data.frame'':       32 obs. of  11 variables:
##  $ :''data.frame'':       32 obs. of  11 variables:
##  $ :''data.frame'':       32 obs. of  11 variables:

Pero puede usar el argumento rbind para construir un único marco de datos (observe la columna _file al final):

str(rio::import_list(dir(pattern = "mtcars"), rbind = TRUE))
## ''data.frame'':   96 obs. of  12 variables:
##  $ mpg  : num  21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
##  $ cyl  : int  6 6 4 6 8 6 8 4 4 6 ...
##  $ disp : num  160 160 108 258 360 ...
##  $ hp   : int  110 110 93 110 175 105 245 62 95 123 ...
##  $ drat : num  3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
##  $ wt   : num  2.62 2.88 2.32 3.21 3.44 ...
##  $ qsec : num  16.5 17 18.6 19.4 17 ...
##  $ vs   : int  0 0 1 1 0 1 0 1 1 1 ...
##  $ am   : int  1 1 1 0 0 0 0 0 0 0 ...
##  $ gear : int  4 4 4 3 3 3 3 4 4 4 ...
##  $ carb : int  4 4 1 1 2 1 4 2 2 4 ...
##  $ _file: chr  "mtcars1.csv" "mtcars1.csv" "mtcars1.csv" "mtcars1.csv" ...

y el argumento rbind_label para especificar el nombre de la columna que identifica cada archivo:

str(rio::import_list(dir(pattern = "mtcars"), rbind = TRUE, rbind_label = "source"))
## ''data.frame'':   96 obs. of  12 variables:
##  $ mpg   : num  21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
##  $ cyl   : int  6 6 4 6 8 6 8 4 4 6 ...
##  $ disp  : num  160 160 108 258 360 ...
##  $ hp    : int  110 110 93 110 175 105 245 62 95 123 ...
##  $ drat  : num  3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
##  $ wt    : num  2.62 2.88 2.32 3.21 3.44 ...
##  $ qsec  : num  16.5 17 18.6 19.4 17 ...
##  $ vs    : int  0 0 1 1 0 1 0 1 1 1 ...
##  $ am    : int  1 1 1 0 0 0 0 0 0 0 ...
##  $ gear  : int  4 4 4 3 3 3 3 4 4 4 ...
##  $ carb  : int  4 4 1 1 2 1 4 2 2 4 ...
##  $ source: chr  "mtcars1.csv" "mtcars1.csv" "mtcars1.csv" "mtcars1.csv" ...

Para la divulgación completa: soy el mantenedor de rio.

Answer 2

Encontré este trabajo para mí, que crea una nueva columna y combina archivos csv de carpetas completas.

Usando setNames ():

file.list <- list.files(pattern = ''*.csv'')
file.list <- setNames(file.list, file.list)

df.list <- lapply(file.list, read_csv)
df.list <- Map(function(df, name) {
  df$issue <- name
  df
}, df.list, names(df.list))
df <- rbindlist(df.list,use.names = TRUE, fill = TRUE, idcol = "Issue")

Éste crea una nueva columna del archivo fuente, y los combina.

Answer 3

Prueba esto:

do.call("rbind", sapply(filenames, read.csv, simplify = FALSE))

Los nombres de las filas indicarán la fuente y el número de línea.

Answer 4

Un poco desordenado pero funciona:

filenames <- c("foo.csv","bar.csv")
import.list <- list(matrix(,4,4),matrix(6,6))

source <- unlist(sapply(1:length(filenames),function(i)rep(gsub(".csv","",filenames[i]),nrow(import.list[[i]]))))

source
[1] "foo" "foo" "foo" "foo" "bar" "bar" "bar" "bar" "bar" "bar"

combined$source <- source

Answer 5

Ya has hecho todo el trabajo duro. Con una modificación bastante pequeña esto debería ser sencillo.

La lógica es:

1. Cree una pequeña función auxiliar que lea un csv individual y agregue una columna con el nombre del archivo.
2. Llame a esta función de ayuda en llply ()

Lo siguiente debería funcionar:

read_csv_filename <- function(filename){
    ret <- read.csv(filename)
    ret$Source <- filename #EDIT
    ret
}

import.list <- ldply(filenames, read_csv_filename)

Tenga en cuenta que le he propuesto otra pequeña mejora a su código: read.csv () devuelve un data.frame; esto significa que puede usar ldply () en lugar de llply ().

Answer 6

solución data.table

Actualización: aquí hay una solución completa de data.table para esto, usando keep.rownames. Suponiendo que todos sus CSV están en una carpeta:

library(data.table)
my.path <- "C:/some/path/to/your/folder" #set the path
filenames <- paste(my.path, list.files(path=my.path), sep="/") #list of files

#this will create a rn column with the path in it
my.dt<- data.table(do.call("rbind", sapply(filenames, read.csv,     
                  sep=";")), keep.rownames = T)

Solución básica de sintaxis.

Usé la solución de Grothendieck y agregué una línea para crear una columna a partir de los nombres de las filas. Tan sencillo como eso:

something <- do.call("rbind", sapply(filenames, read.csv, sep=";", simplify = FALSE)) 
something$mycolumn <- row.names(something)

Si solo quieres una parte del nombre de archivo, reemplaza la segunda línea por algo como esto:

something$mycolumn <- substring(row.names(something),1,3)

Esto usará los primeros 3 caracteres del nombre de archivo como el valor en la nueva columna.