example - python google

Búsqueda de Google desde una aplicación de Python

Question

Estoy intentando ejecutar una consulta de búsqueda de Google desde una aplicación de Python. ¿Hay alguna interfaz de Python que me permita hacer esto? Si no hay nadie sabe qué API de Google me permitirá hacer esto. Gracias.

Answer 1

Aquí está la respuesta de Alex portada a Python3

#!/usr/bin/python3
import json
import urllib.request, urllib.parse

def showsome(searchfor):
  query = urllib.parse.urlencode({''q'': searchfor})
  url = ''http://ajax.googleapis.com/ajax/services/search/web?v=1.0&%s'' % query
  search_response = urllib.request.urlopen(url)
  search_results = search_response.read().decode("utf8")
  results = json.loads(search_results)
  data = results[''responseData'']
  print(''Total results: %s'' % data[''cursor''][''estimatedResultCount''])
  hits = data[''results'']
  print(''Top %d hits:'' % len(hits))
  for h in hits: print('' '', h[''url''])
  print(''For more results, see %s'' % data[''cursor''][''moreResultsUrl''])

showsome(''ermanno olmi'')

Answer 2

Aquí está mi enfoque para esto: http://breakingcode.wordpress.com/2010/06/29/google-search-python/

Un par de ejemplos de código:

    # Get the first 20 hits for: "Breaking Code" WordPress blog
    from google import search
    for url in search(''"Breaking Code" WordPress blog'', stop=20):
        print(url)

    # Get the first 20 hits for "Mariposa botnet" in Google Spain
    from google import search
    for url in search(''Mariposa botnet'', tld=''es'', lang=''es'', stop=20):
        print(url)

Tenga en cuenta que este código NO utiliza la API de Google, y todavía está funcionando hasta la fecha (enero de 2012).

Answer 3

Como la API de AJAX está muerta, puede usar un servicio de terceros como Serp API que es un contenedor de resultados del motor de búsqueda de Google.

Es fácil de integrar con Python:

from lib.google_search_results import GoogleSearchResults

params = {
    "q" : "Coffee",
    "location" : "Austin, Texas, United States",
    "hl" : "en",
    "gl" : "us",
    "google_domain" : "google.com",
    "api_key" : "demo",
}

query = GoogleSearchResults(params)
dictionary_results = query.get_dictionary()

GitHub: https://github.com/serpapi/google-search-results-python

Answer 4

Soy nuevo en Python y estaba investigando cómo hacer esto. Ninguno de los ejemplos proporcionados funciona correctamente para mí. Algunos están bloqueados por google si realiza muchas (pocas) solicitudes, algunas están desactualizadas. Al analizar el html de búsqueda de google (agregando el encabezado en la solicitud) funcionará hasta que google cambie la estructura html nuevamente. Puede usar la misma lógica para buscar en cualquier otro motor de búsqueda, buscando en el html (view-source).

import urllib2

def getgoogleurl(search,siteurl=False):
    if siteurl==False:
        return ''http://www.google.com/search?q=''+urllib2.quote(search)
    else:
        return ''http://www.google.com/search?q=site:''+urllib2.quote(siteurl)+''%20''+urllib2.quote(search)

def getgooglelinks(search,siteurl=False):
   #google returns 403 without user agent
   headers = {''User-agent'':''Mozilla/11.0''}
   req = urllib2.Request(getgoogleurl(search,siteurl),None,headers)
   site = urllib2.urlopen(req)
   data = site.read()
   site.close()

   #no beatifulsoup because google html is generated with javascript
   start = data.find(''<div id="res">'')
   end = data.find(''<div id="foot">'')
   if data[start:end]=='''':
      #error, no links to find
      return False
   else:
      links =[]
      data = data[start:end]
      start = 0
      end = 0        
      while start>-1 and end>-1:
          #get only results of the provided site
          if siteurl==False:
            start = data.find(''<a href="/url?q='')
          else:
            start = data.find(''<a href="/url?q=''+str(siteurl))
          data = data[start+len(''<a href="/url?q=''):]
          end = data.find(''&amp;sa=U&amp;ei='')
          if start>-1 and end>-1: 
              link =  urllib2.unquote(data[0:end])
              data = data[end:len(data)]
              if link.find(''http'')==0:
                  links.append(link)
      return links

Uso:

links = getgooglelinks(''python'',''http://www..com/'')
for link in links:
       print link

(Editar 1: Agregar un parámetro para restringir la búsqueda de Google a un sitio específico)

(Editar 2: Cuando agregué esta respuesta estaba codificando un script de Python para buscar subtítulos. Hace poco lo cargué en Github: Subseek )

Answer 5

Aquí hay un ejemplo simple (curiosamente faltan algunas comillas ;-). La mayoría de lo que verás en la web son las interfaces de Python con la vieja API de SOAP discontinuada; el ejemplo que estoy señalando utiliza la API AJAX más reciente y compatible, ¡eso es definitivamente lo que quieres! -)

Editar : aquí hay un ejemplo más completo de Python 2.6 con todas las comillas necesarias & c; -) ...:

#!/usr/bin/python
import json
import urllib

def showsome(searchfor):
  query = urllib.urlencode({''q'': searchfor})
  url = ''http://ajax.googleapis.com/ajax/services/search/web?v=1.0&%s'' % query
  search_response = urllib.urlopen(url)
  search_results = search_response.read()
  results = json.loads(search_results)
  data = results[''responseData'']
  print ''Total results: %s'' % data[''cursor''][''estimatedResultCount'']
  hits = data[''results'']
  print ''Top %d hits:'' % len(hits)
  for h in hits: print '' '', h[''url'']
  print ''For more results, see %s'' % data[''cursor''][''moreResultsUrl'']

showsome(''ermanno olmi'')