para - descargar archivo csv ejemplo

Programa para trabajar con grandes archivos CSV

Question

¿Hay algún buen programa para lidiar con la lectura de grandes archivos CSV? Algunos de los archivos de datos con los que trato están en el rango de 1 GB. Tienen demasiadas líneas para Excel como para tratarlas. Usar Access puede ser un poco lento, ya que tienes que importarlos a una base de datos para trabajar con ellos directamente. ¿Hay algún programa que pueda abrir archivos CSV grandes y que le brinde un diseño simple de hoja de cálculo para ayudarlo a escanear los datos de manera fácil y rápida?

Answer 1

Depende de lo que realmente quieras hacer con los datos. Dado un archivo de texto grande como ese, normalmente solo desea un subconjunto más pequeño de los datos en cualquier momento, así que no pase por alto herramientas como ''grep'' para extraer las piezas que desea buscar y con las que trabajar.

Answer 2

GVim puede manejar archivos de gran tamaño de forma gratuita si no está conectado a una vista de tamaño de campo estático de hoja de cálculo real.

Answer 3

Si puede ajustar los datos en la memoria y le gusta Python, le recomiendo que revise la parte de UniTable de Augustus . (Descargo de responsabilidad: Augustus es de código abierto (GPLv2) pero trabajo para la compañía que lo escribe).

No está muy bien documentado, pero esto debería ayudarlo a comenzar.

from augustus.kernel.unitable import *
a = UniTable().from_csv_file(''filename'')
b = a.subtbl(a[''key''] == some_value) #creates a subtable

No le proporcionará directamente una interfaz de excelencia, pero con un poco de trabajo puede obtener muchas estadísticas rápidamente.

Answer 4

vEdit es genial, pero no olvides que siempre puedes volver a "aspectos básicos" echa un vistazo a Cygwin y comienza a greping.

Comandos útiles

• grep
• cabeza
• cola
• por supuesto perl!

Answer 5

MySQL puede importar archivos CSV muy rápidamente en tablas usando el comando LOAD DATA INFILE . También puede leer archivos CSV directamente, omitiendo cualquier procedimiento de importación, utilizando el motor de almacenamiento CSV .

Importarlo en tablas nativas con LOAD DATA INFILE tiene un costo de inicio, pero después de eso puede INSERT/UPDATE mucho más rápido, así como también campos de índice. El uso del motor de almacenamiento CSV es casi instantáneo al principio, pero solo el escaneo secuencial será rápido.

Actualización : este artículo (desplácese hacia abajo a la sección titulada Instant Data Loads ) habla sobre el uso de ambos enfoques para cargar datos CSV en MySQL, y da ejemplos.

Answer 6

vEdit es genial para esto. De forma rutinaria abro más de 100 megas (sé que dijiste hasta un concierto, creo que anuncian en su sitio, pueden manejar el doble) con él. Tiene soporte para expresiones regulares y muchas otras características. 70 dólares es barato por la cantidad que puede hacer con él.

Answer 7

He encontrado que reCSVeditor es un excelente programa para editar archivos CSV de gran tamaño. Es ideal para eliminar columnas innecesarias. Lo he usado para archivos con 1,000,000 de archivos de registro con bastante facilidad.