the - how to automate everything with python

¿Se puede automatizar la web en Python?

Question

Soy un programador recién nacido que sigue programando desde el libro en mi Alt + Tab. Uno de los primeros programas que quiero crear es ayudar a mi mamá en su trabajo. Necesito saber si puedo usar Python para crearlo.

Necesita:

1. Vaya en línea e inicie sesión con cuenta / pase.

2. Haga una búsqueda con criterios específicos (use el motor de búsqueda del sitio)

3. Vea todos los resultados y elija solo los más nuevos.

4. Ordénalos.

5. Notificarme para que se noten las últimas novedades en el momento en que se publican en el sitio web.

Por lo que veo, el sitio dice: .cgi al final.

Sé que Python puede conectarse, descargar el texto de una página y ordenar la información deseada, pero ¿puede iniciar sesión, usar el motor de búsqueda y elegir las opciones que necesito?

No quiero omitir mi proceso de aprendizaje, pero soy muy serio acerca de este proyecto. Estoy listo para poner Python en espera y comenzar a aprender un lenguaje que pueda hacerlo.

¡Apreciaré mucho su guía! ¡Gracias por tu tiempo!

AJ

Answer 1

Creo que deberías echarle un vistazo al proyecto Mechanize . Es un navegador con estado en Python, para que pueda enviar fácilmente formularios y cosas de esa naturaleza y mantener una sesión. Deseará utilizar lxml.html o BeautifulSoup para inspeccionar el documento (aunque Mechanize contiene algunas herramientas para inspeccionar documentos).

Answer 2

Para agregar a la lista brillante de paquetes comentados por muchos, también puede usar Selenium .

Answer 3

Sí puede. Específicamente, querrá usar algo como mecanizar para manejar la parte de conducción web.

Answer 4

Si entiendo bien, la idea de su programa es hacer una sesión de navegación automática. Entonces sí, es posible. No es importante en lo que el sitio web está programado (cgi, php, etc.). Todo lo que necesita es enviar datos a través de publicación / obtención (como un navegador real) y procesar la devolución (expresiones regulares, etc.).

Buena suerte

Answer 5

Python es tan capaz de hacer esto como cualquier otro idioma, sin embargo, querrá investigar cosas como httplib y entender las cookies y las solicitudes de http. Entonces sí, puede

Este se convertirá en tu mejor amigo: http://docs.python.org/

Answer 6

Me gustaría señalar que, dependiendo del sitio en el que se encuentre, puede haber una manera más eficiente (tal vez un servicio web expuesto) que raspar datos de la página y trabajar con mecanize / selenium para hacer lo que quiera. Si está en la web, las herramientas del controlador del navegador son los martillos, y los tornillos se clavarán en la madera, pero a veces otra herramienta funcionará mejor.

Answer 7

Puedes hacer esto con mucha diversión con la herramienta visual irobotsoft. Consulte demostraciones rápidas aquí: http://www.irobotsoft.com/help/ , luego haga preguntas en su foro.