python - source - ¿Cómo trabajar con los contratos de scrapy?

web crawler in python

Question

Problema de los contratos de Scrapy

Empecé a trabajar en el marco de scrapy. Implementé algunas arañas también para la extracción, pero no puedo escribir un caso de prueba unitaria para la araña porque la documentación del paquete de contratos proporcionada por el scrapy no tiene un procedimiento adecuado para escribir los casos de prueba. Por favor, ayúdame con esto.

Answer 1

Sí, Spiders Contracts está lejos de ser claro y detallado.

No soy un experto en la escritura de contratos de araña (en realidad los escribí solo una vez mientras trabajaba en el tutorial de raspado web en newcoder.io ). Pero cada vez que necesitaba escribir pruebas para Scrapy spiders, prefería seguir el enfoque sugerido aquí : crear una respuesta falsa desde un archivo html local. Es discutible si todavía se trata de un procedimiento de prueba unitaria, pero esto le brinda más flexibilidad y solidez.

Tenga en cuenta que aún puede escribir contratos, pero rápidamente sentirá la necesidad de ampliarlos y redactar contratos personalizados. Lo cual está bastante bien.

Enlaces relevantes:

• Prueba de Unidad de Scrapy
• Evolución de los Contratos de Scrapy