software - excel more than 1 million rows
Excel CSV. archivo con más de 1,048,576 filas de datos (13)
Debe intentar delimit , puede abrir hasta 2 mil millones de filas y 2 millones de columnas muy rápidamente, también tiene una prueba gratuita de 15 días. ¡El trabajo para mí!
Me han dado un archivo CSV con más de lo que MAX Excel puede manejar, y realmente necesito poder ver todos los datos. Entiendo y he intentado el método de "dividirlo", pero no funciona.
Algunos antecedentes: el archivo CSV es un archivo CSV de Excel, y la persona que le dio el archivo ha dicho que hay aproximadamente 2m filas de datos.
Cuando lo importo a Excel, obtengo datos hasta la fila 1,048,576 , luego lo vuelvo a importar en una nueva pestaña comenzando en la fila 1,048,577 en los datos, pero solo me da una fila, y sé con certeza que debe haber más (no solo por el hecho de que "la persona" dijo que hay más de 2 millones, sino por la información en los últimos conjuntos de filas)
Pensé que tal vez la razón de que esto ocurra es porque me han proporcionado el archivo CSV como un archivo CSV de Excel, y por lo tanto, toda la información pasada es 1,048,576 (?).
¿Debo solicitar un archivo en formato de base de datos SQL?
Divida el archivo CSV en dos archivos en el Bloc de notas. Es un problema, pero luego puede editar cada uno de ellos individualmente en Excel.
Intenta usar Open Refine . Ha sido capaz de manejar conjuntos de datos que de lo contrario se estrelló Excel para mí.
Me sorprende que nadie haya mencionado Microsoft Query . Simplemente puede solicitar datos del gran archivo CSV cuando lo necesite consultando solo lo que necesita. (Las consultas se configuran de la misma forma que se filtra una tabla en Excel)
Mejor aún, si uno está abierto a instalar el complemento Power Query, es súper simple y rápido.
Primero, desea cambiar el formato de archivo de csv a txt. Eso es simple de hacer, solo edite el nombre del archivo y cambie csv a txt. (Windows le advertirá sobre la posible corrupción de los datos, pero está bien, simplemente haga clic en Aceptar). Luego, haga una copia del archivo txt para que ahora tenga dos archivos, ambos con 2 millones de filas de datos. A continuación, abra el primer archivo txt y elimine el segundo millón de filas y guarde el archivo. A continuación, abra el segundo archivo txt y elimine el primer millón de filas y guarde el archivo. Ahora cambie los dos archivos a csv de la misma manera que los cambió a txt originalmente.
Pude editar un gran archivo csv de 17 GB en Sublime Text sin problema (la numeración de líneas hace que sea mucho más fácil seguir la división manual), y luego lo vuelvo a Excel en trozos de menos de 1,048,576 líneas. Simple y bastante rápido, menos faucho que investigar, instalar y aprender soluciones a medida. Rápido y sucio, pero funciona.
Puede usar PowerPivot para trabajar con archivos de hasta 2 GB, que serán suficientes para sus necesidades.
Recomiendo encarecidamente que importe los datos en Access para que luego pueda consultarlos desde el acceso interno. Podría intentar usar R para consultar su archivo también, con lo que estaría más que feliz de ayudarlo. De lo contrario, podría ver una solución gratuita como este producto, que le permite ejecutar sentencias SQL desde un archivo de Excel. http://www.querystorm.com/Home/Guide
Si tiene Matlab, puede abrir archivos CSV grandes (o TXT) a través de su recurso de importación. La herramienta le brinda varias opciones de formato de importación, incluyendo tablas, vectores de columnas, matriz numérica, etc. Sin embargo, con Matlab como un paquete de intérprete, se toma su propio tiempo para importar un archivo tan grande y pude importar uno con más de 2 millones de filas en aproximadamente 10 minutos.
Se puede acceder a la herramienta a través de la pestaña de Inicio de Matlab haciendo clic en el botón "Importar datos". A continuación, se muestra una imagen de ejemplo de una carga de archivo grande: Una vez importados, los datos aparecen en el área de trabajo del lado derecho, que luego se puede hacer doble clic en un formato similar a Excel e incluso trazarse en diferentes formatos.
Sugeriría cargar el archivo .CSV en MS-Access.
Con MS-Excel puede crear una conexión de datos a esta fuente (sin cargar los registros en una hoja de trabajo) y crear una tabla dinámica conectada. Entonces puede tener un número virtualmente ilimitado de líneas en su tabla (dependiendo del procesador y la memoria: ahora tengo 15 millones de líneas con 3 GB de memoria).
Una ventaja adicional es que ahora puede crear una vista agregada en MS-Access. De esta forma, puede crear vistas generales de cientos de millones de líneas y luego verlas en MS-Excel (tenga cuidado con la limitación de 2 GB de los archivos NTFS en el SO de 32 bits).
Use MS Access. Tengo un archivo de 2,673,404 registros. No se abrirá en Notepad ++ y Excel no cargará más de 1,048,576 registros. Está delimitado por tabuladores ya que exporté los datos de una base de datos mysql y los necesito en formato csv. Entonces lo importé en Access. Cambie la extensión de archivo a .txt para que MS Access lo guíe a través del asistente de importación.
MS Access se vinculará a su archivo para que la base de datos se mantenga intacta. Guarde el archivo csv.
Excel 2007+ está limitado a algo más de 1 millón de filas (2 ^ 20 para ser precisas), por lo que nunca cargará su archivo de línea de 2M. Creo que la técnica a la que se refiere como división es la cosa integrada que tiene Excel, pero afaik solo funciona para problemas de ancho , no para problemas de longitud .
La manera más sencilla que veo de inmediato es utilizar alguna herramienta de división de archivos : hay montones de ellos y la uso para cargar los archivos csv parciales resultantes en varias hojas de trabajo.
ps: "excel csv files" no existen, solo hay archivos producidos por Excel que usan uno de los formatos comúnmente conocidos como archivos csv ...
"DO I need to ask for a file in an SQL database format?" ¡¡¡SÍ!!!
Usar una base de datos, es la mejor opción para este problema.
Especificaciones de Excel 2010.