web-scraping - tutorial - web scraping python

Cómo seleccionar datos de etiquetas específicas en nutch

Question

Soy un novato en Apache Nutch y me gustaría saber si es posible rastrear el área seleccionada de una página web. Por ejemplo, seleccione un contenido de rastreo y div en ese div solamente. Cualquier ayuda sería apreciada. ¡Gracias!

Answer 1

Deberá escribir un complemento que extenderá HtmlParseFilter para lograr su objetivo.

Creo que harás algunas cosas tú mismo, como analizar la sección específica del html, extraer las URL que quieras y agregarlas como enlaces externos.

Implementación de HtmlParseFilter: (El siguiente código da la idea general)

ParseResult filter(Content content, ParseResult parseResult, HTMLMetaTags metaTags, DocumentFragment doc){
    // get html content
    String htmlContent = new String(content.getContent(), StandardCharsets.UTF_8);
    // parse html using jsoup or any other library.
    String url = content.getUrl();
    Parse parse = parseResult.get(url);
    ParseData parseData = parse.getData();
    Outlink[] links = parseData.getOutlinks();
    // modify/select only required outlinks
    // return ParsePesult with modified outlinks
    return parseResult;
}

Esperamos que esto sea útil.

Si eres nuevo en el plugin, he escrito un plugin simple " nutch-fetch-page " que guarda páginas html y contenido de texto en un disco local usando la interfaz HtmlParseFilter . Puede bifurcar / descargar y modificar el código.