una - mclibre funciones python

calcular crc de archivo en python

Question

Quiero calcular el CRC del archivo y obtener una salida como: E45A12AC . Aquí está mi código:

#!/usr/bin/env python 
import os, sys
import zlib

def crc(fileName):
    fd = open(fileName,"rb")
    content = fd.readlines()
    fd.close()
    for eachLine in content:
        zlib.crc32(eachLine)

for eachFile in sys.argv[1:]:
    crc(eachFile)

Esto calcula el CRC para cada línea, pero su salida (por ejemplo, -1767935985 ) no es lo que quiero.

Hashlib funciona de la manera que quiero, pero calcula el md5:

import hashlib
m = hashlib.md5()
for line in open(''data.txt'', ''rb''):
    m.update(line)
print m.hexdigest()

¿Es posible obtener algo similar usando zlib.crc32 ?

Answer 1

Combine los 2 códigos anteriores como se muestra a continuación:

try:
    fd = open(decompressedFile,"rb")
except IOError:
    logging.error("Unable to open the file in readmode:" + decompressedFile)
    return 4
eachLine = fd.readline()
prev = 0
while eachLine:
    prev = zlib.crc32(eachLine, prev)
    eachLine = fd.readline()
fd.close()

Answer 2

Para mostrar los 32 bits más bajos de cualquier número entero como 8 dígitos hexadecimales, sin signo, puede "enmascarar" el valor por bit y con una máscara hecha de 32 bits, todos con el valor 1, y luego aplicar el formato. Es decir:

>>> x = -1767935985
>>> format(x & 0xFFFFFFFF, ''08x'')
''969f700f''

Es bastante irrelevante si el número entero que está formateando proviene de zlib.crc32 o de cualquier otro cálculo.

Answer 3

Puedes usar base64 para salir como [ERD45FTR]. Y zlib.crc32 proporciona opciones de actualización.

import os, sys
import zlib
import base64

def crc(fileName):
  fd = open(fileName,"rb")
  content = fd.readlines()
  fd.close()
  prev = None
  for eachLine in content:
   if not prev:
     prev = zlib.crc32(eachLine)
   else:
     prev = zlib.crc32(eachLine, prev)
  return prev

for eachFile in sys.argv[1:]: print base64.b64encode(str(crc(eachFile)))

Answer 4

Un código un poco más compacto y optimizado.

def crc(fileName):
    prev = 0
    for eachLine in open(fileName,"rb"):
        prev = zlib.crc32(eachLine, prev)
    return "%X"%(prev & 0xFFFFFFFF)

PS2: El PS antiguo está en desuso, por lo que se eliminó, debido a la sugerencia del comentario. Gracias. No entiendo cómo extrañé esto, pero fue realmente bueno.

Answer 5

interfaz compatible con hashlib para el soporte CRC-32:

import zlib class crc32(object): name = ''crc32'' digest_size = 4 block_size = 1 def __init__(self, arg=''''): self.__digest = 0 self.update(arg) def copy(self): copy = super(self.__class__, self).__new__(self.__class__) copy.__digest = self.__digest return copy def digest(self): return self.__digest def hexdigest(self): return ''{:08x}''.format(self.__digest) def update(self, arg): self.__digest = zlib.crc32(arg, self.__digest) & 0xffffffff # Now you can define hashlib.crc32 = crc32 import hashlib hashlib.crc32 = crc32 # Python > 2.7: hashlib.algorithms += (''crc32'',) # Python > 3.2: hashlib.algorithms_available.add(''crc32'')

Answer 6

solución:

import os, sys
import zlib

def crc(fileName, excludeLine="", includeLine=""):
  try:
        fd = open(fileName,"rb")
  except IOError:
        print "Unable to open the file in readmode:", filename
        return
  eachLine = fd.readline()
  prev = None
  while eachLine:
      if excludeLine and eachLine.startswith(excludeLine):
            continue   
      if not prev:
        prev = zlib.crc32(eachLine)
      else:
        prev = zlib.crc32(eachLine, prev)
      eachLine = fd.readline()
  fd.close()    
  return format(prev & 0xFFFFFFFF, ''08x'') #returns 8 digits crc

for eachFile in sys.argv[1:]:
    print crc(eachFile)

no sé realmente por lo que es (excludeLine = "", includeLine = "") ...