parallel - ¿Cómo configurar trabajadores para el procesamiento paralelo en R usando nevadas y múltiples nodos de Windows?

r parallel programming

Question

He utilizado con éxito las nevadas para configurar un clúster en un solo servidor con 16 procesadores.

require(snowfall)
if (sfIsRunning() == TRUE) sfStop()
number.of.cpus <- 15
sfInit(parallel = TRUE, cpus = number.of.cpus)
stopifnot( sfCpus() == number.of.cpus )
stopifnot( sfParallel() == TRUE )
# Print the hostname for each cluster member
sayhello <- function()
{
info <- Sys.info()[c("nodename", "machine")]
paste("Hello from", info[1], "with CPU type", info[2])
}
names <- sfClusterCall(sayhello)
print(unlist(names))

Ahora, estoy buscando instrucciones completas sobre cómo pasar a un modelo distribuido . Tengo 4 máquinas de Windows diferentes con un total de 16 núcleos que me gustaría usar para un clúster de 16 nodos. Hasta ahora, entiendo que podría configurar manualmente una conexión SOCK o aprovechar MPI. Si bien parece posible, no he encontrado instrucciones claras y completas sobre cómo.

La ruta SOCK parece depender del código en un script de snowlib. Puedo generar un stub desde el lado principal con el siguiente código:

winOptions <-
list(host="172.01.01.03",
rscript="C:/Program Files/R/R-2.7.1/bin/Rscript.exe",
snowlib="C:/Rlibs")
cl <- makeCluster(c(rep(list(winOptions), 2)), type = "SOCK", manual = T)

Otorga lo siguiente:

Manually start worker on 172.01.01.03 with
"C:/Program Files/R/R-2.7.1/bin/Rscript.exe"
C:/Rlibs/snow/RSOCKnode.R
MASTER=Worker02 PORT=11204 OUT=/dev/null SNOWLIB=C:/Rlibs

Se siente como un comienzo razonable. Encontré el código para RSOCKnode.R en GitHub bajo el paquete de nieve:

local({
master <- "localhost"
port <- ""
snowlib <- Sys.getenv("R_SNOW_LIB")
outfile <- Sys.getenv("R_SNOW_OUTFILE") ##**** defaults to ""; document
args <- commandArgs()
pos <- match("--args", args)
args <- args[-(1 : pos)]
for (a in args) {
pos <- regexpr("=", a)
name <- substr(a, 1, pos - 1)
value <- substr(a,pos + 1, nchar(a))
switch(name,
MASTER = master <- value,
PORT = port <- value,
SNOWLIB = snowlib <- value,
OUT = outfile <- value)
}
if (! (snowlib %in% .libPaths()))
.libPaths(c(snowlib, .libPaths()))
library(methods) ## because Rscript as of R 2.7.0 doesn''t load methods
library(snow)
if (port == "") port <- getClusterOption("port")
sinkWorkerOutput(outfile)
cat("starting worker for", paste(master, port, sep = ":"), "/n")
slaveLoop(makeSOCKmaster(master, port))
})

No está claro cómo iniciar realmente un oyente SOCK en los trabajadores, a menos que esté enterrado en la snow::recvData .

Mirando la ruta MPI , hasta donde puedo decir, Microsoft MPI versión 7 es un punto de partida. Sin embargo, no pude encontrar una alternativa de Windows para sfCluster. Pude iniciar el servicio MPI, pero parece que no escucha en el puerto 22 y no hay cantidad de ataques contra él con snowfall::makeCluster arrojó un resultado. Inhabilité el cortafuegos y probé con makeCluster y con el PuTTY para conectarme directamente al trabajador desde el maestro.

¿Existe una guía completa y paso a paso para configurar un conjunto de nevadas en los trabajadores de Windows que me he perdido? Me gusta snowfall::sfClusterApplyLB y me gustaría seguir usándolo, pero si hay una solución más fácil, estaría dispuesto a cambiar de rumbo. Al analizar Rmpi ​​y paralelamente, encontré soluciones alternativas para el lado maestro del trabajo, pero aún hay pocos detalles específicos sobre cómo configurar trabajadores que ejecutan Windows.

Debido a la naturaleza del entorno de trabajo, ni mudarse a AWS, ni Linux es una opción.

Preguntas relacionadas sin respuestas definitivas para los nodos de trabajo de Windows:

• Cómo configurar nodos esclavos de clúster (en Windows)
• Paralelo R en un clúster de Windows
• ¿Cree un clúster de PC con Windows 7 para trabajar en paralelo en R?