python - example - Cómo seleccionar el siguiente nodo usando scrapy

scrapy selector

Question

Tengo html se ve así:

<h1>Text 1</h1>
<div>Some info</div>
<h1>Text 2</h1>
<div>...</div>

Entiendo cómo extraer el uso de la información de scrapy de h1:

content.select("//h1[contains(text(),''Text 1'')]/text()").extract()

Pero mi objetivo es extraer contenido de <div>Some info</div>

Mi problema es que no tengo información específica sobre div. Todo lo que sé es que va exactamente después de <h1>Text 1</h1> . ¿Puedo, usando selectores, obtener el elemento SIGUIENTE en el árbol? Elemento, que se encuentra en el mismo nivel en el árbol DOM?

Algo como:

a = content.select("//h1[contains(text(),''Text 1'')]/text()")
a.next("//div/text()").extract()
Some info

Answer 1

Prueba este xpath :

//h1[contains(text(), ''Text 1'')]/following-sibling::div[1]/text()