Error "Exception in thread" main "java.lang.NullPointerException" al ejecutar el programa web scraper

screen-scraping jsoup

Question

Soy bastante nuevo en el web scraping y tengo conocimientos limitados sobre Java.

Cada vez que ejecuto este código, obtengo el error:

Exception in thread "main" java.lang.NullPointerException

    at sws.SWS.scrapeTopic(SWS.java:38)
    at sws.SWS.main(SWS.java:26)
Java Result: 1
BUILD SUCCESSFUL (total time: 0 seconds)

Mi código es:

import java.io.*;

import java.net.*;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

public class SWS
{

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args)
    {
        scrapeTopic("wiki/Python");

    }

    public static void scrapeTopic(String url)
    {
        String html = getUrl("http://www.wikipedia.org/" + url);



        Document doc = Jsoup.parse(html);

        String contentText = doc.select("#mw-content-text > p").first().text();

        System.out.println(contentText);


    }


    public static String getUrl(String Url)
    {
        URL urlObj = null;

        try 
        {
            urlObj = new URL(Url);

        }

        catch(MalformedURLException e)
        {
            System.out.println("The url was malformed");

            return "";
        }


        URLConnection urlCon = null;

        BufferedReader in = null;

        String outputText = "";

        try
        {
            urlCon = urlObj.openConnection();

            in = new BufferedReader(new InputStreamReader(urlCon.getInputStream()));
             String line = "";

             while ((line = in.readLine()) != null)
             {
                 outputText += line;

             }

             in.close();
        }

         catch(IOException e)
         {
             System.out.println("There was a problem connecting to the url");

             return "";

         }

        return outputText;



    }

}

¡He estado mirando mi pantalla por algún tiempo y necesito ayuda!

Gracias por adelantado.

Answer 1

En el siguiente código:

 String contentText = doc.select("#mw-content-text > p").first().text()

Si doc.select("#mw-content-text > p") no encuentra ningún elemento que coincida con la consulta y devuelve un elemento vacío , llamar a first() en dicho elemento debería dar una NullPointerException .

compruebe la página del documento jsoup de Element.select y Elements.first ()

Answer 2

En esta linea

doc.select("#mw-content-text > p").first().text();

Su doc.select obviamente no encuentra nada, por lo que devuelve nulo. A continuación, llama al método first() en null y es por eso que termina con un error.

Answer 3

Tu código funciona bien para mí exactamente como es.

A fin de depurar y diagnosticar si los posibles errores indicados por otras respuestas, es mejor que utilice algunas variables temporales y pase por el código en un depurador.

public static void scrapeTopic(String url)
{
    String html = getUrl("http://www.wikipedia.org/" + url);
    Document doc = Jsoup.parse(html);

    Elements select = doc.select("#mw-content-text > p");
    Element first = select.first();
    String contentText = first.text();

    System.out.println(contentText);
}