python - Selenium-webdriver: Cómo usar for loop para find_elements

web-scraping scrapy-spider

Question

Quiero obtener todos los enlaces y start_time y end_time uno por página y luego enviarlos a la función (parse_detail) para descartar otra información. Pero no sé cómo usar el selenio en for loop

Aquí está mi código Y hay un error:

for site in sites:
exceptions.TypeError: ''WebElement'' object is not iterable

Por favor, enséñame cómo usar el filtro de selenio en forma de lazo. ¡Gracias!

class ProductSpider(Spider):
    name = "city20140808"
    start_urls = [''http://wwwtt.tw/11'']

    def __init__(self):
        self.driver = webdriver.Firefox()
        dispatcher.connect(self.spider_closed, signals.spider_closed)

    def parse(self, response):
        self.driver.get(response.url)

        item  = CitytalkItem()
        sites = self.driver.find_element_by_css_selector("div.body ")
        for site in sites:
            linkiwant = site.find_element_by_css_selector(".heading a")
            start = site.find_element_by_css_selector("div.content p.m span.date")
            end = site.find_element_by_css_selector("div.content p.m span.date")

            item[''link''] = linkiwant.get_attribute("href") 
            item[''start_date'']  = start.text
            item[''end_date'']  = end.text
            yield Request(url=item[''link''], meta={''items'':items}, callback=self.parse_detail)  
     def parse_detail(self,response):
        item = response.meta[''items'']
        ........
        yield item

Answer 1

En lugar de find_element_by_css_selector() , que devuelve un único elemento, debe usar find_elements_by_css_selector() , que devuelve una lista de elementos.