mtext - r plot legend

Suba un archivo de más de 2,15 GB en R

Question

Tengo un proceso manual en el que estoy cargando un archivo de 5-6 GB a un servidor web mediante curl:

curl -X POST --data-binary @myfile.csv http://myserver::port/path/to/api

Este proceso funciona bien, pero me encantaría automatizarlo usando R. El problema es que o no sé lo que estoy haciendo, o las bibliotecas R para curl no saben cómo manejar archivos de más de ~ 2GB :

library(RCurl)
postForm(
"http://myserver::port/path/to/api",
file = fileUpload(
filename = path.expand("myfile.csv"),
contentType = "text/csv"
),.encoding="utf-8")

Error: Internal Server Error Yeilds Error: Internal Server Error

httr tampoco funciona:

library(httr)
POST(
url = "http://myserver:port/path/to/api",
body = upload_file(
path = path.expand("myfile.csv"),
type = ''text/csv''),
verbose()
)

Cuyos rendimientos:

Response [http://myserver:port/path/to/api]
Date: 2015-06-30 11:11
Status: 400
Content-Type: <unknown>
<EMPTY BODY>

httr es un poco más informativo con la opción verbose() , diciéndome:

-> POST http://myserver:port/path/to/api
-> User-Agent: libcurl/7.35.0 r-curl/0.9 httr/1.0.0
-> Host: http://myserver::port
-> Accept-Encoding: gzip, deflate
-> Accept: application/json, text/xml, application/xml, */*
-> Content-Type: text/csv
-> Content-Length: -2147483648
-> Expect: 100-continue
->
<- HTTP/1.1 400 Bad Request
<- Server: Apache-Coyote/1.1
<- Transfer-Encoding: chunked
<- Date: Tue, 30 Jun 2015 11:11:11 GMT
<- Connection: close
<-

The Content-Length: -2147483648 parece sospechosamente a un desbordamiento de entero de 32 bits, así que creo que esto es un error en httr. Sospecho que RCurl está experimentando un fracaso similar.

Realmente me encantaría un envoltorio mínimo alrededor de curl -X POST --data-binary , pero salvo eso, ¿cuáles son mis opciones para cargar archivos bastante grandes desde R?

Answer 1

Este error se corrigió en la versión dev de httr / curl:

devtools::install_github("jeroenooms/curl")
devtools::install_github("hadley/httr")

Esto es un error en los paquetes httr y curl para R. El error se ha corregido en GitHub desde el 2 de julio de 2015, y el cambio se implementará pronto en CRAN.

También es posible que estuviera llamando RCurl incorrectamente en el comando anterior, pero nunca pude averiguar la invocación correcta.