r - paso - windows 10

multi-computadora makePSOCKcluster en Windows: creación de una guía paso a paso

Question

He estado intentando construir un clúster usando múltiples computadoras durante tres días y he fallado espectacularmente. Así que ahora voy a tratar de matarte un montón para resolver mi problema. Si todo va bien, espero que podamos generar una guía paso a paso para utilizar como referencia para hacer esto en el futuro, porque hasta el momento, no he logrado encontrar una referencia decente para configurar esto ( tal vez es una tarea demasiado específica?)

En mi caso, supongamos que Windows 7, con PuTTY como el cliente SSH, y ''localhost'' va a servir como el maestro.

Además, supongamos que solo dos computadoras en la misma red por ahora. Imagino que el proceso se generalizará con la suficiente facilidad que si logro que funcione en dos computadoras, puedo hacer que funcione en tres. Entonces, trabajaremos en localhost y remote-computer .

Esto es lo que he reunido hasta ahora (con referencias vinculadas en la parte inferior)

1. Instalar PuTTY en localhost .
2. Instalar PuTTY en remote-computer
3. Instale un servidor SSH en remote-computer
4. ¿Asignarle un puerto para escuchar? (No estoy seguro acerca de este paso)
5. Instale R en localhost
6. Instale la misma versión de R en remote-computer
7. Agregue R a la variable de entorno PATH en localhost y remote-computer
8. Ejecute el código R a continuación desde localhost

código:

library(parallel)
cl <- makePSOCKcluster(c(rep("localhost", 2),
                         rep("remote-computer", 2)))

Hasta ahora, he realizado los pasos 1 a 3, no estoy seguro de si necesito hacer 4, hice 5-7 y el código para el paso 8 simplemente se cuelga indefinidamente.

Cuando reviso los registros de mi servidor SSH, no parece que vaya al servidor SSH desde localhost . Entonces parece que mi primer problema es configurar el SSH correctamente. ¿Alguien ha tenido éxito al hacer esto y estarías dispuesto a compartir tu experiencia?

EDITAR Vaya: referencias http://www.milanor.net/blog/wp-content/uploads/2013/10/03.FirstStepinParallelComputing.pdf

R Paralelo: conectando a núcleos remotos

https://stat.ethz.ch/pipermail/r-sig-hpc/2010-October/000780.html

Answer 1

En el mejor de los casos, esta es una respuesta parcial. Todavía no estoy estableciendo un clúster, pero los pasos que se describen aquí son un buen registro de cómo llegué a este punto.

CONFIGURACIONES:

1. Instalar PuTTY en ''equipo remoto''
2. Instalar el servidor SSH en ''remote-computer''
3. Instale R en ''remote-computer'' (Use la misma versión de R que en ''localhost'')

4. Agregue R a la RUTA

5. Instalar PuTTY en ''localhost''

6. Instale R en ''localhost''
7. Agregue R a la RUTA

PRUEBA DE LA CONEXIÓN: FASE I

1. Desde la línea de comando, ejecuta

C:/PuTTYPath/plink.exe -pw [password] [username]@[remote_ip_address] Rscript -e rnorm(100)

(Confirmar el retorno de 100 variables aleatorias normales

2. Desde la línea de comando, ejecuta

C:/PuTTYPath/plink.exe -pw [password] [username]@[remoate_ip_address] RScript -e parallel:::.slaveRSOCK() MASTER=[local_ip_address] PORT=100501 OUT=/dev/null TIMEOUT=2592000 METHODS=TRUE XDR=TRUE

(Confirme que se inicia una sesión en los registros del servidor SSH en ''remote-computer'')

PRUEBA DE LA CONEXIÓN: FASE II

1. Desde una sesión R, ejecuta

   system(paste0("C:/PuTTYPath/plink.exe -pw [password] ", "[username]@[remote_ip_address] ", "RScript -e rnorm(100)"))

   (Confirme el retorno de 100 variables aleatorias normales)

2. Desde una sesión R, ejecuta

   system(paste0("C:/PuTTY/plink.exe ", "-pw [password] ", "[username]@[remote_ip_address] ", "RScript -e parallel:::.slaveRSOCK() ", "MASTER=[local_ip_address] ", "PORT=100501 ", "OUT=/dev/null ", "TIMEOUT=2592000 ", "METHODS=TRUE ", "XDR=TRUE"))

(Confirme que una sesión se inicia y se mantiene en los registros del servidor SSH en "computadora remota")

ESTABLECER UN CLUSTER

1. Desde una sesión R, ejecuta

   library(snow) cl <- makeCluster(spec = c("localhost", "[remote_ip_address]"), rshcmd = "C:/PuTTY/plink.exe -pw [password]", host = "[local_ip_address]")

(Se debe iniciar y mantener una sesión en los registros del servidor SSH en ''equipo remoto''. Idealmente, la función se completará en ''cl'' se asignará)

Establecer el clúster es el punto en el que estoy fallando. makeCluster y miro mis registros de servidor SSH. Muestra que se realiza una conexión y luego se cierra inmediatamente. makeCluster nunca termina de ejecutarse, cl no está asignado, y estoy atascado sobre cómo continuar. Ni siquiera estoy seguro de si esto es un problema R o un problema de configuración en este momento.

EDITACIÓN Y RESOLUCIÓN:

Sin una buena razón, intenté ejecutar esto con el paquete de snow , como se muestra en la sección "Establecer un clúster" más arriba. Cuando utilicé el paquete de snow , el clúster se construye y funciona de manera estable. No estoy seguro de por qué no pude hacer que esto funcione con el paquete parallel , pero al menos tengo algo funcional.