Scrapy - Otras configuraciones
La siguiente tabla muestra otras configuraciones de Scrapy:
| No Señor | Configuración y descripción |
|---|---|
| 1 | AJAXCRAWL_ENABLED Se utiliza para permitir rastreos grandes. Valor predeterminado: falso |
| 2 | AUTOTHROTTLE_DEBUG Está habilitado para ver cómo se ajustan los parámetros de aceleración en tiempo real, que muestra estadísticas en cada respuesta recibida. Valor predeterminado: falso |
| 3 | AUTOTHROTTLE_ENABLED Se utiliza para habilitar la extensión AutoThrottle. Valor predeterminado: falso |
| 4 | AUTOTHROTTLE_MAX_DELAY Se utiliza para establecer el retardo máximo de descarga en caso de latencias altas. Valor predeterminado: 60.0 |
| 5 | AUTOTHROTTLE_START_DELAY Se utiliza para establecer el retraso inicial para la descarga. Valor predeterminado: 5.0 |
| 6 | AUTOTHROTTLE_TARGET_CONCURRENCY Define el número medio de solicitudes que un Scrapy envía en paralelo a sitios remotos. Valor predeterminado: 1.0 |
| 7 | CLOSESPIDER_ERRORCOUNT Define el número total de errores que se deben recibir antes de que se cierre la araña. Valor predeterminado: 0 |
| 8 | CLOSESPIDER_ITEMCOUNT Define un número total de elementos antes de cerrar la araña. Valor predeterminado: 0 |
| 9 | CLOSESPIDER_PAGECOUNT Define el número máximo de respuestas para rastrear antes de que se cierre la araña. Valor predeterminado: 0 |
| 10 | CLOSESPIDER_TIMEOUT Define la cantidad de tiempo (en segundos) para que una araña se cierre. Valor predeterminado: 0 |
| 11 | COMMANDS_MODULE Se utiliza cuando desea agregar comandos personalizados en su proyecto. Valor por defecto: '' |
| 12 | COMPRESSION_ENABLED Indica que el middleware de compresión está habilitado. Valor predeterminado: verdadero |
| 13 | COOKIES_DEBUG Si se establece en verdadero, se registran todas las cookies enviadas en solicitudes y recibidas en respuestas. Valor predeterminado: falso |
| 14 | COOKIES_ENABLED Indica que el middleware de cookies está habilitado y enviado a servidores web. Valor predeterminado: verdadero |
| 15 | FILES_EXPIRES Define el retraso para la expiración del archivo. Valor predeterminado: 90 días |
| dieciséis | FILES_RESULT_FIELD Se establece cuando desea utilizar otros nombres de campo para sus archivos procesados. |
| 17 | FILES_STORE Se utiliza para almacenar los archivos descargados estableciendo un valor válido. |
| 18 | FILES_STORE_S3_ACL Se utiliza para modificar la política de ACL para los archivos almacenados en el bucket de Amazon S3. Valor predeterminado: privado |
| 19 | FILES_URLS_FIELD Se establece cuando desea utilizar otro nombre de campo para las URL de sus archivos. |
| 20 | HTTPCACHE_ALWAYS_STORE Spider almacenará en caché las páginas a fondo si esta configuración está habilitada. Valor predeterminado: falso |
| 21 | HTTPCACHE_DBM_MODULE Es un módulo de base de datos utilizado en el backend de almacenamiento DBM. Valor predeterminado: 'anydbm' |
| 22 | HTTPCACHE_DIR Es un directorio que se utiliza para habilitar y almacenar la caché HTTP. Valor predeterminado: 'httpcache' |
| 23 | HTTPCACHE_ENABLED Indica que la caché HTTP está habilitada. Valor predeterminado: falso |
| 24 | HTTPCACHE_EXPIRATION_SECS Se utiliza para establecer el tiempo de caducidad de la caché HTTP. Valor predeterminado: 0 |
| 25 | HTTPCACHE_GZIP Si esta configuración se establece en true, todos los datos almacenados en caché se comprimirán con gzip. Valor predeterminado: falso |
| 26 | HTTPCACHE_IGNORE_HTTP_CODES Establece que las respuestas HTTP no deben almacenarse en caché con códigos HTTP. Valor por defecto: [] |
| 27 | HTTPCACHE_IGNORE_MISSING Si esta configuración está habilitada, las solicitudes se ignorarán si no se encuentran en la caché. Valor predeterminado: falso |
| 28 | HTTPCACHE_IGNORE_RESPONSE_CACHE_CONTROLS Es una lista que contiene los controles de caché que se deben ignorar. Valor por defecto: [] |
| 29 | HTTPCACHE_IGNORE_SCHEME Afirma que las respuestas HTTP no deben almacenarse en caché con esquemas URI. Valor predeterminado: ['archivo'] |
| 30 | HTTPCACHE_POLICY Define una clase que implementa la política de caché. Valor predeterminado: 'scrapy.extensions.httpcache.DummyPolicy' |
| 31 | HTTPCACHE_STORAGE Es una clase que implementa el almacenamiento en caché. Valor predeterminado: 'scrapy.extensions.httpcache.FilesystemCacheStorage' |
| 32 | HTTPERROR_ALLOWED_CODES Es una lista donde todas las respuestas se pasan con códigos de estado que no son 200. Valor por defecto: [] |
| 33 | HTTPERROR_ALLOW_ALL Esta configuración cuando está habilitada, todas las respuestas se pasan a pesar de sus códigos de estado. Valor predeterminado: falso |
| 34 | HTTPPROXY_AUTH_ENCODING Se utiliza para autenticar el proxy en HttpProxyMiddleware . Valor predeterminado: "latin-1" |
| 35 | IMAGES_EXPIRES Define el retraso para la caducidad de las imágenes. Valor predeterminado: 90 días |
| 36 | IMAGES_MIN_HEIGHT Se utiliza para soltar imágenes que son demasiado pequeñas con un tamaño mínimo. |
| 37 | IMAGES_MIN_WIDTH Se utiliza para soltar imágenes que son demasiado pequeñas con un tamaño mínimo. |
| 38 | IMAGES_RESULT_FIELD Se establece cuando desea utilizar otro nombre de campo para sus imágenes procesadas. |
| 39 | IMAGES_STORE Se utiliza para almacenar las imágenes descargadas estableciendo un valor válido. |
| 40 | IMAGES_STORE_S3_ACL Se utiliza para modificar la política de ACL para las imágenes almacenadas en el bucket de Amazon S3. Valor predeterminado: privado |
| 41 | IMAGES_THUMBS Está configurado para crear miniaturas de imágenes descargadas. |
| 42 | IMAGES_URLS_FIELD Se establece cuando desea utilizar otro nombre de campo para las URL de sus imágenes. |
| 43 | MAIL_FROM El remitente utiliza esta configuración para enviar los correos electrónicos. Valor predeterminado: 'scrapy @ localhost' |
| 44 | MAIL_HOST Es un host SMTP que se utiliza para enviar correos electrónicos. Valor predeterminado: 'localhost' |
| 45 | MAIL_PASS Es una contraseña que se utiliza para autenticar SMTP. Valor predeterminado: ninguno |
| 46 | MAIL_PORT Es un puerto SMTP que se utiliza para enviar correos electrónicos. Valor predeterminado: 25 |
| 47 | MAIL_SSL Se utiliza para implementar la conexión mediante una conexión cifrada SSL. Valor predeterminado: falso |
| 48 | MAIL_TLS Cuando está habilitado, fuerza la conexión usando STARTTLS. Valor predeterminado: falso |
| 49 | MAIL_USER Define un usuario para autenticar SMTP. Valor predeterminado: ninguno |
| 50 | METAREFRESH_ENABLED Indica que el middleware de actualización de meta está habilitado. Valor predeterminado: verdadero |
| 51 | METAREFRESH_MAXDELAY Es un retraso máximo para que una meta-actualización se redirija. Valor predeterminado: 100 |
| 52 | REDIRECT_ENABLED Indica que el middleware de redireccionamiento está habilitado. Valor predeterminado: verdadero |
| 53 | REDIRECT_MAX_TIMES Define el número máximo de veces que se redirige una solicitud. Valor predeterminado: 20 |
| 54 | REFERER_ENABLED Indica que el middleware de referencia está habilitado. Valor predeterminado: verdadero |
| 55 | RETRY_ENABLED Indica que el middleware de reintento está habilitado. Valor predeterminado: verdadero |
| 56 | RETRY_HTTP_CODES Define qué códigos HTTP se deben reintentar. Valor predeterminado: [500, 502, 503, 504, 408] |
| 57 | RETRY_TIMES Define el número máximo de reintentos. Valor predeterminado: 2 |
| 58 | TELNETCONSOLE_HOST Define una interfaz en la que debe escuchar la consola telnet. Valor predeterminado: '127.0.0.1' |
| 59 | TELNETCONSOLE_PORT Define un puerto que se utilizará para la consola Telnet. Valor predeterminado: [6023, 6073] |