python 2.7 - tutorial - Exportar datos de BeautifulSoup a CSV

web scraping python examples

Question

[RENUNCIA DE RESPONSABILIDAD] He pasado por muchas otras respuestas en el área, pero parece que no funcionan para mí.

Quiero poder exportar los datos que he analizado como un archivo CSV.

Mi pregunta es ¿cómo escribo el fragmento de código que genera los datos en un archivo CSV?

Código actual

import requests
from bs4 import BeautifulSoup 

url = "http://implementconsultinggroup.com/career/#/6257"
r = requests.get(url)

req = requests.get(url).text
soup = BeautifulSoup(r.content)
links = soup.find_all("a")

for link in links:
     if "career" in link.get("href") and ''COPENHAGEN'' in link.text:
             print "<a href=''%s''>%s</a>" %(link.get("href"), link.text)

Salida del código

View Position

</a>
<a href=''/career/management-consultants-to-help-our-customers-succeed-with-
it/''>
Management consultants to help our customers succeed with IT
COPENHAGEN • At Implement Consulting Group, we wish to make a difference in 
the consulting industry, because we believe that the ability to create Change 
with Impact is a precondition for success in an increasingly global and 
turbulent world.




View Position

</a>
<a href=''/career/management-consultants-within-process-improvement/''>
Management consultants within process improvement
COPENHAGEN • We are looking for consultants with profound
experience in Six Sigma, Lean and operational
management

Código que he intentado

with open(''ImplementTest1.csv'',"w") as csv_file:
     writer = csv.writer(csv_file)
     writer.writerow(["link.get", "link.text"])
     csv_file.close()

Salida en formato CSV

Columna 1: enlaces de URL

Columna 2: descripción del trabajo

P.ej

Columna 1: / career / management-consultants-to-help-our-customers-succeed-with-it /

Columna 2: Consultores de gestión para ayudar a nuestros clientes a tener éxito con COPENHAGEN • En Implement Consulting Group, queremos hacer una diferencia en la industria de la consultoría, porque creemos que la capacidad de crear Cambio con Impacto es una condición previa para el éxito en un entorno y mundo turbulento

Answer 1

Pruebe este script y obtenga el resultado de csv:

import csv ; import requests
from bs4 import BeautifulSoup 

outfile = open(''career.csv'',''w'', newline='''')
writer = csv.writer(outfile)
writer.writerow(["job_link", "job_desc"])

res = requests.get("http://implementconsultinggroup.com/career/#/6257").text
soup = BeautifulSoup(res,"lxml")
links = soup.find_all("a")

for link in links:
     if "career" in link.get("href") and ''COPENHAGEN'' in link.text:
        item_link = link.get("href").strip()
        item_text = link.text.replace("View Position","").strip()
        writer.writerow([item_link, item_text])
        print(item_link, item_text)
outfile.close()