abenassi - Buscando en Google con Python

git https github com abenassi google search api

Question

Quiero buscar un texto en Google usando una secuencia de comandos python y devolver el nombre, la descripción y la URL de cada resultado. Actualmente estoy usando este código:

from google import search

ip=raw_input("What would you like to search for? ")

for url in search(ip, stop=20):
     print(url)

Esto solo devuelve las URL, ¿cómo puedo devolver el nombre y la descripción de cada URL?

¡Gracias!

Answer 1

Supongo que estás usando esta biblioteca por Mario Vilas debido al argumento stop=20 que aparece en su código. Parece que esta biblioteca no puede devolver nada más que las URL, por lo que es horriblemente subdesarrollado. Como tal, lo que desea hacer no es posible con la biblioteca que está utilizando actualmente.

Le sugiero que, en su lugar, use abenassi / Google-Search-API . Entonces puedes simplemente hacer:

from google import google
num_page = 3
search_results = google.search("This is my query", num_page)
for result in search_results:
    print(result.description)

Answer 2

No es exactamente lo que estaba buscando, pero por el momento me encontré con una buena solución (podría editar esto si pudiera hacerlo mejor). Combiné búsquedas en Google como lo hice (devolviendo solo URL) y el paquete Beautiful Soup para analizar páginas HTML:

from google import search
import urllib
from bs4 import BeautifulSoup

def google_scrape(url):
    thepage = urllib.urlopen(url)
    soup = BeautifulSoup(thepage, "html.parser")
    return soup.title.text

i = 1
query = ''search this''
for url in search(query, stop=10):
    a = google_scrape(url)
    print str(i) + ". " + a
    print url
    print " "
    i += 1

Esto me da una lista del título de las páginas y el enlace.

Y otras grandes soluciones:

from google import search
import requests

for url in search(ip, stop=10):
            r = requests.get(url)
            title = everything_between(r.text, ''<title>'', ''</title>'')