studio - jsoup java netbeans

Sitio web de Parse HTML con JAVA

Question

Esta pregunta ya tiene una respuesta aquí:

• ¿Qué HTML Parser es el mejor? [cerrado] 3 respuestas

Quiero analizar un sitio web simple y eliminar información de ese sitio web.

Solía ​​analizar archivos XML con DocumentBuilderFactory, intenté hacer lo mismo con el archivo html pero siempre entra en un ciclo infinito.

    URL url = new URL("http://www.deneme.com");
    URLConnection uc = url.openConnection();

    InputStreamReader input = new InputStreamReader(uc.getInputStream());
    BufferedReader in = new BufferedReader(input);
    String inputLine;

     FileWriter outFile = new FileWriter("orhancan");
     PrintWriter out = new PrintWriter(outFile);

    while ((inputLine = in.readLine()) != null) {
        out.println(inputLine);
    }

    in.close();
    out.close();

    File fXmlFile = new File("orhancan");
    DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
    DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
    Document doc = dBuilder.parse(fXmlFile);


    NodeList prelist = doc.getElementsByTagName("body");
    System.out.println(prelist.getLength());

¿Cuál es el problema? ¿O hay alguna forma más fácil de eliminar datos de un sitio web para una etiqueta html determinada?

Answer 1

Definitivamente JSoup es la respuesta. ;-)

Answer 2

HTML no siempre es válido, XML bien formateado. Pruebe un analizador HTML especial en lugar de un analizador XML. Hay un par de diferentes disponibles:

http://java-source.net/open-source/html-parsers

Answer 3

Hay una manera mucho más fácil de hacer esto. Sugiero usar JSoup . Con JSoup puedes hacer cosas como

Document doc = Jsoup.connect("http://en.wikipedia.org/").get();
Elements newsHeadlines = doc.select("#mp-itn b a");

O si quieres el cuerpo:

Elements body = doc.select("body");

O si quieres todos los enlaces:

Elements links = doc.select("body a");

Ya no es necesario obtener conexiones o manejar transmisiones. Sencillo. Si alguna vez usaste jQuery, es muy similar a eso.