python - real - web scraping tutorial

Obtenga contenido de la tabla en BeautifulSoup

Question

Tengo la siguiente tabla en un sitio web que estoy extrayendo con BeautifulSoup Esta es la url (también he adjuntado una imagen

Idealmente, me gustaría tener a cada compañía en una fila en csv, sin embargo, la obtengo en diferentes filas. Por favor, vea la imagen adjunta.

Me gustaría tenerlo como en el campo "D" pero lo estoy obteniendo en A1, A2, A3 ...

Este es el código que estoy usando para extraer:

def _writeInCSV(text):
    print "Writing in CSV File"
    with open(''sara.csv'', ''wb'') as csvfile:
        #spamwriter = csv.writer(csvfile, delimiter=''/t'',quotechar=''/n'', quoting=csv.QUOTE_MINIMAL)
        spamwriter = csv.writer(csvfile, delimiter=''/t'',quotechar="/n")

        for item in text:
            spamwriter.writerow([item])

read_list=[]
initial_list=[]


url="http://www.nse.com.ng/Issuers-section/corporate-disclosures/corporate-actions/closure-of-register"
r=requests.get(url)
soup = BeautifulSoup(r._content, "html.parser")

#gdata_even=soup.find_all("td", {"class":"ms-rteTableEvenRow-3"})

gdata_even=soup.find_all("td", {"class":"ms-rteTable-default"})




for item in gdata_even:
    print item.text.encode("utf-8")
    initial_list.append(item.text.encode("utf-8"))
    print ""

_writeInCSV(initial_list)

Puede alguien ayudar, por favor ?

Answer 1

Aquí está la idea:

• leer las celdas de encabezado de la tabla
• leer todas las otras filas de la tabla
• comprimir todas las celdas de fila de datos con encabezados produciendo una lista de diccionarios
• use csv.DictWriter() para volcar en csv

Implementación:

import csv
from pprint import pprint

from bs4 import BeautifulSoup
import requests

url = "http://www.nse.com.ng/Issuers-section/corporate-disclosures/corporate-actions/closure-of-register"
soup = BeautifulSoup(requests.get(url).content, "html.parser")

rows = soup.select("table.ms-rteTable-default tr")
headers = [header.get_text(strip=True).encode("utf-8") for header in rows[0].find_all("td")]

data = [dict(zip(headers, [cell.get_text(strip=True).encode("utf-8") for cell in row.find_all("td")]))
        for row in rows[1:]]

# see what the data looks like at this point
pprint(data)

with open(''sara.csv'', ''wb'') as csvfile:
    spamwriter = csv.DictWriter(csvfile, headers, delimiter=''/t'', quotechar="/n")

    for row in data:
        spamwriter.writerow(row)

Answer 2

Dado que @alecxe ya ha proporcionado una respuesta increíble, aquí hay otra toma usando la biblioteca de pandas .

import pandas as pd

url = "http://www.nse.com.ng/Issuers-section/corporate-disclosures/corporate-actions/closure-of-register"
tables = pd.read_html(url)

tb1 = tables[0] # Get the first table.
tb1.columns = tb1.iloc[0] # Assign the first row as header.
tb1 = tb1.iloc[1:] # Drop the first row.
tb1.reset_index(drop=True, inplace=True) # Reset the index.

print tb1.head() # Print first 5 rows.
# tb1.to_csv("table1.csv") # Export to CSV file.

Resultado:

In [5]: runfile(''C:/Users/.../.spyder2/temp.py'', wdir=''C:/Users/.../.spyder2'')
0                 Company       Dividend    Bonus     Closure of Register  /
0  Nigerian Breweries Plc          N3.50      Nil   5th - 11th March 2015   
1           Forte Oil Plc          N2.50  1 for 5    1st – 7th April 2015   
2          Nestle Nigeria         N17.50      Nil         27th April 2015   
3       Greif Nigeria Plc        60 kobo      Nil  25th - 27th March 2015   
4       Guaranty Bank Plc  N1.50 (final)      Nil         17th March 2015   

0          AGM Date     Payment Date  
0     13th May 2015    14th May 2015  
1   15th April 2015  22nd April 2015  
2     11th May 2015    12th May 2015  
3   28th April 2015     5th May 2015  
4  ​31st March 2015  31st March 2015  

In [6]: