python python-2.7 scrapy scrapyd

python - windows scrapyd-deploy no es reconocido



python-2.7 (3)

He instalado el scrapyd como este

pip install scrapyd

Quiero usar scrapyd-deploy

cuando escribo scrapyd

tengo esta excepción en cmd:

''scrapyd'' no se reconoce como un comando interno o externo, programa operable o archivo por lotes.


Para mí, la solución propuesta arriba no funcionó.

Debajo de lo que funcionó para mí: (para scrapy en la versión 0.24).

Vaya a C:/Python27/Scripts y cree dos archivos:

scrapy.bat scrapyd-deploy.bat

Edite ambos archivos con el bloc de notas y péguelos:

En el archivo scrapy.bat :

@echo off c:/Python27/python c:/Python27/Scripts/scrapy %*

En el archivo scrapyd-deploy.bat :

@echo off c:/Python27/python c:/Python27/Scripts/scrapyd-deploy %*

A continuación, guarde estos archivos y reinicie cmd.

Si tiene C:/Python27/Python y C:/Python27/Scripts en su PATH entonces ambos comandos scrapy y scrapyd-deploy deberían funcionar.


Me encontré con el mismo problema, y ​​también leí algunas opiniones de que scrapyd no está disponible / no se puede ejecutar en Windows y casi se da por vencido (realmente no lo necesitaba ya que tengo la intención de implementarlo en una máquina Linux, quería scrapyd en Windows para depuración). Sin embargo, después de algunas investigaciones encontré la manera. Como no he encontrado instrucciones claras al respecto, intentaré que mi respuesta sea lo más detallada posible, enumerando todos los pasos que funcionó para mí.

Suponiendo que desea ejecutar scrapyd en su máquina local, necesitará dos líneas de comando en ejecución: la primera se utiliza para conectarse a scrapyd y mantener la conexión abierta, y la segunda es para desplegar y programar.

  • Ya pip instalado scrapyd.

  • Cree una carpeta C: / scrapyd y un archivo .log vacío llamado scrapyd.log en esta carpeta (no estoy seguro de que este paso sea necesario).

  • Abra su cmd y cd a su carpeta de Scripts dentro de Python. Esto suele ser algo así como: C: / Python27 / Scripts. Tipo: python scrapyd

  • En este punto, deberías ver algo así:

    2014-03-26 13:57:30+0200 [-] Log opened. 2014-03-26 13:57:30+0200 [-] twistd 13.2.0 (C:/Python27/python.exe 2.7.6) starting up. 2014-03-26 13:57:30+0200 [-] reactor class: twisted.internet.selectreactor.SelectReactor. 2014-03-26 13:57:30+0200 [-] Site starting on 6800 2014-03-26 13:57:30+0200 [-] Starting factory <twisted.web.server.Site instance at 0x0000000003F69208> 2014-03-26 13:57:30+0200 [Launcher] Scrapyd 1.0.1 started: max_proc=16, runner=''scrapyd.runner''

  • Si puede abrir su navegador e ir a http://localhost:6800 entonces está bien. La ventana de línea de comando debe permanecer abierta en el fondo ya que la conexión se cerrará si la cierra.

  • En Windows Explorer, vaya a la carpeta del proyecto de scrapy y edite el archivo scrapy.cfg que se encuentra allí: escriba su nombre de destino de implementación: [deploy: scrapyd] por ejemplo, y elimine el comentario de la línea de la url.

  • Abra una segunda línea de comando y cd a su carpeta de proyecto de scrapy. Tipo: scrapy deploy -l

  • Implementar: escriba: scrapy deploy scrapyd -p project_name (scrapyd es su destino). Debería obtener un código de respuesta del servidor 200 y un estado aceptable. Puede verificar si la implementación fue exitosa también escribiendo: scrapy deploy -L scrapyd

  • Programación: necesita instalar curl para Windows. He aquí cómo: questions / 9507353 / steps-to-setup-curl-in-windows type: curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name De nuevo, debería obtener un estado ok y en su navegador en http://localhost:6800 en trabajos, puede verificar si el trabajo fue realmente programado.

Espero que esto ayude.


La respuesta de Marcin Rapacz funciona para mí. Sin embargo, uso Anaconda para administrar mi biblioteca de Python. Por lo tanto, los archivos deben estar en "C: / Archivos de programa (x86) / Anaconda3 / Scripts", y el contenido de los archivos debe cambiarse como:

@echo off "C:/Program Files (x86)/Anaconda3/python.exe" "C:/Program Files (x86)/Anaconda3/Scripts/scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9