Scrapy - Servicios web

Descripción

Un rastreador web Scrapy en ejecución se puede controlar mediante JSON-RPC. Está habilitado por la configuración JSONRPC_ENABLED. Este servicio proporciona acceso al objeto del rastreador principal a través del protocolo JSON-RPC 2.0 . El punto final para acceder al objeto rastreador es:

http://localhost:6080/crawler

La siguiente tabla contiene algunas de las configuraciones que muestran el comportamiento del servicio web:

No Señor Configuración y descripción Valor por defecto
1

JSONRPC_ENABLED

Esto se refiere al booleano, que decide que el servicio web junto con su extensión se habilitará o no.

 Cierto
2

JSONRPC_LOGFILE

Esto se refiere al archivo utilizado para registrar las solicitudes HTTP realizadas al servicio web. Si no se establece, se utilizará el registro Scrapy estándar.

 Ninguna
3

JSONRPC_PORT

Esto se refiere al rango de puertos para el servicio web. Si se establece en none, el puerto se asignará dinámicamente.

 [6080, 7030]
4

JSONRPC_HOST

Esto se refiere a la interfaz en la que debe escuchar el servicio web.

 "127.0.0.1"