los - que hace next en python

El iterador del archivo Python sobre un archivo binario con un idioma nuevo

Question

En Python, para un archivo binario, puedo escribir esto:

buf_size=1024*64 # this is an important size...
with open(file, "rb") as f:
while True:
data=f.read(buf_size)
if not data: break
# deal with the data....

Con un archivo de texto que quiero leer línea por línea, puedo escribir esto:

with open(file, "r") as file:
for line in file:
# deal with each line....

Que es una abreviatura de:

with open(file, "r") as file:
for line in iter(file.readline, ""):
# deal with each line....

Esta expresión idiomática está documentada en PEP 234, pero no he podido encontrar un modismo similar para los archivos binarios.

He intentado esto:

>>> with open(''dups.txt'',''rb'') as f:
... for chunk in iter(f.read,''''):
... i+=1
>>> i
1 # 30 MB file, i==1 means read in one go...

Intenté poner iter(f.read(buf_size),'''') pero ese es un error de sintaxis debido a los paréntesis después del invocable en iter ().

Sé que podría escribir una función, pero ¿hay forma de utilizar el idioma for chunk in file: defecto for chunk in file: donde puedo usar un tamaño de buffer frente a una línea?

Gracias por aguantar al novato de Python que intenta escribir su primer guion de Python no trivial e idiomático.

Answer 1

No conozco ninguna forma integrada de hacerlo, pero una función de envoltura es bastante fácil de escribir:

def read_in_chunks(infile, chunk_size=1024*64):
while True:
chunk = infile.read(chunk_size)
if chunk:
yield chunk
else:
# The chunk was empty, which means we''re at the end
# of the file
return

Luego, en el aviso interactivo:

>>> from chunks import read_in_chunks
>>> infile = open(''quicklisp.lisp'')
>>> for chunk in read_in_chunks(infile):
... print chunk
...
<contents of quicklisp.lisp in chunks>

Por supuesto, puede adaptar esto fácilmente para usar a con bloque:

with open(''quicklisp.lisp'') as infile:
for chunk in read_in_chunks(infile):
print chunk

Y puedes eliminar la declaración if como esta.

def read_in_chunks(infile, chunk_size=1024*64):
chunk = infile.read(chunk_size)
while chunk:
yield chunk
chunk = infile.read(chunk_size)

Answer 2

Tratar:

>>> with open(''dups.txt'',''rb'') as f:
... for chunk in iter((lambda:f.read(how_many_bytes_you_want_each_time)),''''):
... i+=1

iter necesita una función con cero argumentos.

• un f.read simple f.read todo el archivo, ya que falta el parámetro de size ;
• f.read(1024) significa llamar a una función y pasar su valor de retorno (datos cargados desde el archivo) a iter , por lo que iter no obtiene una función en absoluto;
• (lambda:f.read(1234)) es una función que toma cero argumentos (nada entre lambda y f.read(1234) y llama a f.read(1234) .

Hay equivalencia entre los siguientes:

somefunction = (lambda:f.read(how_many_bytes_you_want_each_time))

y

def somefunction(): return f.read(how_many_bytes_you_want_each_time)

y tener uno de estos antes de su código podría simplemente escribir: iter(somefunction, '''') .

Técnicamente puedes saltear los paréntesis alrededor de lambda, la gramática de python lo aceptará.