example - scrapy spider

¿Cómo establecer diferentes ajustes de scrapy para diferentes arañas?

Question

Quiero habilitar algún http-proxy para algunas arañas, y desactivarlas para otras arañas.

¿Puedo hacer algo como esto?

# settings.py
proxy_spiders = [''a1'' , b2'']

if spider in proxy_spider: #how to get spider name ???
    HTTP_PROXY = ''http://127.0.0.1:8123''
    DOWNLOADER_MIDDLEWARES = {
         ''myproject.middlewares.RandomUserAgentMiddleware'': 400,
         ''myproject.middlewares.ProxyMiddleware'': 410,
         ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None
    }
else:
    DOWNLOADER_MIDDLEWARES = {
         ''myproject.middlewares.RandomUserAgentMiddleware'': 400,
         ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None
    }

Si el código anterior no funciona, ¿hay alguna otra sugerencia?

Answer 1

¿Por qué no usar dos proyectos en lugar de solo uno?

Vamos a nombrar estos dos proyectos con proj1 y proj2 . En la settings.py proj1 , ponga esta configuración:

HTTP_PROXY = ''http://127.0.0.1:8123''
DOWNLOADER_MIDDLEWARES = {
     ''myproject.middlewares.RandomUserAgentMiddleware'': 400,
     ''myproject.middlewares.ProxyMiddleware'': 410,
     ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None
}

En proj2 de proj2 , ponga estas configuraciones:

DOWNLOADER_MIDDLEWARES = {
     ''myproject.middlewares.RandomUserAgentMiddleware'': 400,
     ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None
}

Answer 2

Puede definir su propio middleware proxy, algo sencillo como este:

from scrapy.contrib.downloadermiddleware import HttpProxyMiddleware

class ConditionalProxyMiddleware(HttpProxyMiddleware):
    def process_request(self, request, spider):
        if getattr(spider, ''use_proxy'', None):
            return super(ConditionalProxyMiddleware, self).process_request(request, spider)

Luego, defina el atributo use_proxy = True en las arañas en las que desea tener habilitado el proxy. No olvides deshabilitar el middleware de proxy predeterminado y habilitar el tuyo modificado.

Answer 3

un poco tarde, pero desde la versión 1.0.0 hay una nueva función en scrapy donde puedes anular la configuración por araña como esta:

class MySpider(scrapy.Spider):
    name = "my_spider"
    custom_settings = {"HTTP_PROXY":''http://127.0.0.1:8123'',
                       "DOWNLOADER_MIDDLEWARES": {''myproject.middlewares.RandomUserAgentMiddleware'': 400,
                                                  ''myproject.middlewares.ProxyMiddleware'': 410,
                                                  ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None}}




class MySpider2(scrapy.Spider):
        name = "my_spider2"
        custom_settings = {"DOWNLOADER_MIDDLEWARES": {''myproject.middlewares.RandomUserAgentMiddleware'': 400,
                                                      ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None}}

Answer 4

Puede agregar setting.overrides dentro del archivo spider.py Ejemplo que funciona:

from scrapy.conf import settings

settings.overrides[''DOWNLOAD_TIMEOUT''] = 300 

Para ti, algo como esto también debería funcionar

from scrapy.conf import settings

settings.overrides[''DOWNLOADER_MIDDLEWARES''] = {
     ''myproject.middlewares.RandomUserAgentMiddleware'': 400,
     ''scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'': None
}

Answer 5

Hay una forma nueva y más fácil de hacer esto.

class MySpider(scrapy.Spider):
    name = ''myspider''

    custom_settings = {
        ''SOME_SETTING'': ''some value'',
    }

Yo uso Scrapy 1.3.1