python - tablas - leer y analizar un archivo TSV, luego manipularlo para guardarlo como CSV(* eficientemente*)

operaciones con archivos csv python

Question

Mis datos de origen están en un archivo TSV, 6 columnas y más de 2 millones de filas.

Esto es lo que estoy tratando de lograr:

1. Necesito leer los datos en 3 de las columnas (3, 4, 5) en este archivo fuente
2. La quinta columna es un número entero. Necesito usar este valor entero para duplicar una entrada de fila con el uso de los datos en la tercera y cuarta columnas (por el número de veces enteras).
3. Quiero escribir el resultado del n. ° 2 en un archivo de salida en formato CSV.

A continuación es lo que se me ocurrió.

Mi pregunta: ¿es esta una manera eficiente de hacerlo? Parece que podría ser intenso cuando se intenta en 2 millones de filas.

Primero, hice una pestaña de muestra con un archivo separado para trabajar, y lo llamé ''sample.txt''. Es básico y solo tiene cuatro filas:

Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6

entonces tengo este código:

import csv
with open(''sample.txt'',''r'') as tsv:
AoA = [line.strip().split(''/t'') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open(''sample_new.csv'',''ab'') as csvfile:
csvwriter = csv.writer(csvfile, delimiter='','')
csvwriter.writerow([a[2], a[3]])
count = count - 1

Answer 1

Debe usar el módulo csv para leer el archivo de valores separados por tabulaciones. No lo lea en la memoria de una vez. Cada fila que lee tiene toda la información que necesita para escribir filas en el archivo CSV de salida, después de todo. Mantenga el archivo de salida abierto todo el tiempo.

import csv
with open(''sample.txt'',''rb'') as tsvin, open(''new.csv'', ''wb'') as csvout:
tsvin = csv.reader(tsvin, delimiter=''/t'')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows([row[2:4] for _ in xrange(count)])

o, usando el módulo itertools para hacer la repetición con itertools.repeat() :

from itertools import repeat
import csv
with open(''sample.txt'',''rb'') as tsvin, open(''new.csv'', ''wb'') as csvout:
tsvin = csv.reader(tsvin, delimiter=''/t'')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows(repeat(row[2:4], count))