php - pueden - Error de memoria insuficiente al leer un archivo grande

no se puede abrir la ilustracion no hay suficiente espacio para la ventana

Question

Tengo un gran csv que quiero analizar e insertar en mi base de datos. Tengo este PHP:

$target = ''../uploads/''.$f;
$handle = fopen($target, "r");
$data = fgetcsv($handle, 0, ",");
$rows = array();
while ($data !== FALSE) {
$rows[] = $data;
}
fclose($handle);
if (count($rows)) {
foreach ($rows as $key => $value) {
echo $value;
}
}

Cada vez que intento ejecutar mi script obtengo este error:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 35 bytes)

¿Alguna idea de como hacer esto?

Answer 1

Use mysqlimport en su lugar

Si bien puede analizar y generar consultas con PHP, obtendrá un mejor rendimiento al permitir que MySQL lo maneje directamente. Su base de datos se lo agradecerá.

<?php
exec("mysqlimport mysqlimport [options] db_name textfile1");
?>

Fuentes:

• http://www.php.net/manual/en/function.exec.php
• http://dev.mysql.com/doc/refman/5.0/en/mysqlimport.html

Answer 2

Creo que esta parte es incorrecta:

$data = fgetcsv($handle, 0, ",");
$rows = array();
while ($data !== FALSE) {
$rows[] = $data;
}

Una llamada a fgetcsv lee una línea desde $handle . Debes poner fgetcsv en la condición de bucle:

$handle = fopen($target, "r");
$data = fgetcsv($handle, 0, ",");
while (($row = fgetcsv($handle, 0, ",")) !== FALSE) {
// Example insert - obviously use prepared statements/escaping/another DAL
$db->query("INSERT INTO tbl (columns..) VALUES ({$row[0]}, {$row[1]} ... )");
}

Answer 3

Use la instrucción estándar LOARCH DATA INFILE de MySQL para escapar de leer / analizar / insertar datos a través de PHP:

 function import_csv( $table, $afields, $filename, $delim = '','', $enclosed = ''"'', $escaped = ''//', $lineend = ''//r//n'', $hasheader = FALSE) {
if ( $hasheader ) $ignore = "IGNORE 1 LINES ";
else $ignore = "";
$q_import =
"LOAD DATA INFILE ''" . $_SERVER[''DOCUMENT_ROOT''] . $filename . "'' INTO TABLE " . $table . " " .
"FIELDS TERMINATED BY ''" . $delim . "'' ENCLOSED BY ''" . $enclosed . "'' " .
" ESCAPED BY ''" . $escaped . "'' " .
"LINES TERMINATED BY ''" . $lineend . "'' " . $ignore . "(" . implode('','', $afields) . ")"
;
return mysql_query($q_import);
}

En este caso, no necesita abrir / leer el archivo CSV en PHP, MySQL manejará la importación de datos por sí mismo.

Answer 4

No es necesario que lea todos los datos csv del archivo en la memoria antes de procesarlos.

En su lugar, crea un ciclo while que lea de tu archivo una línea a la vez. Cada vez que lea del archivo, debe insertar una fila en su base de datos.

O lea varias líneas e inserte varias filas a la vez.

Ejemplo:

 $i = 0;
while (($data = fgetcsv($handle, 0, ",") !== FALSE) {
$rows[] = $data;
$i++;
// insert 100 rows at one time.
if ($i % 100 === 0) {
//insert these rows to db
insert_to_db($rows);
//then reset $rows
$rows = array();
}
}
insert_to_db($rows);