Comando Rselenium para "guardar enlace como"

web-scraping

Question

(advertencia, novato, aprendiendo lentamente R)

Hola,

Intento descargar datos automáticamente desde un sitio web usando R. El sitio web está utilizando Sharepoint y luego de preguntar ( descarga R desde aspx en https obteniendo sitio web en lugar de CSV ) alguien me indicó RSelenium.

Lo que necesito es descargar archivos csv desde direcciones como esta: https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY

Pero antes necesito aceptar un acuerdo (un "clic" que estoy haciendo con RSelenium) Codifique aquí:

# Using RSelenium to save file
##Installing the package if needed
install.packages("RSelenium")
##Activating 
library("RSelenium")
checkForServer()
startServer()
#I had to start the server manually!
remDr <- remoteDriver()
remDr
remDr$open()
#open website and accepting conditions
remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Welcome/Agreement.aspx")
AgreeButton<-remDr$findElement(using = ''id'', value="MainContent_AgreeButton")
AgreeButton$highlightElement()
AgreeButton$clickElement()

remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY")

Mi problema es que no puedo encontrar el comando en RSelenium para "guardar enlace como"

Pensé que tenía que encontrar algo de este tipo:

CSVurl<-remDr$navigate ("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY")remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY")

CSVurl$saveLinkAs(fileName)

¿Existe esto? ¿Hay mejores formas de hacer esto en R?

Gracias por adelantado

Answer 1

`# Using RSelenium to save file
##Installing the package if needed

##Activating 
library(RSelenium)
checkForServer()
startServer()
#I had to start the server manually!

cprof<-makeFirefoxProfile(list(
  "browser.helperApps.neverAsk.saveToDisk"=''text/plain, application/vnd.ms-excel, text/csv, text/comma-separated-values, application/octet-stream'',
  "browser.helperApps.neverAsk.openFile"=''text/plain, application/vnd.ms-excel, text/csv, text/comma-separated-values, application/octet-stream''

))
remDr <- remoteDriver(extraCapabilities=cprof)
remDr$open()
#open website and accepting conditions
remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Welcome/Agreement.aspx")
AgreeButton<-remDr$findElement(using = ''id'', value="MainContent_AgreeButton")
AgreeButton$highlightElement()
AgreeButton$clickElement()

remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY")`

Para acceder al archivo, deberá buscar en la carpeta de descarga predeterminada de Firefox.

Si recibe un mensaje de error que dice que R no puede crear un cprof o que no puede comprimir los contenidos, entonces probablemente necesite instalar RTools.

De aquí

Verifique la versión exacta de R que ha instalado.

Espero que esto ayude.