online - ¿Está calculando un hash MD5 menos intensivo de CPU que las funciones de la familia SHA?

que es sha1 (4)

¿Se está calculando un hash MD5 menos intensivo de CPU que SHA-1 o SHA-2 en hardware "estándar" para laptop x86? Estoy interesado en información general, no específica de un chip determinado.

ACTUALIZACIÓN: en mi caso, estoy interesado en calcular el hash de un archivo. Si el tamaño del archivo es importante, supongamos que es 300K.

En mi MacBook Air 2012 (Intel Core i5-3427U, 2x 1.8 GHz, 2.8 GHz Turbo), SHA-1 es ligeramente más rápido que MD5 (usando OpenSSL en modo de 64 bits):

$ openssl speed md5 sha1 OpenSSL 0.9.8r 8 Feb 2011 The ''numbers'' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62k

Actualización: 10 meses después con OS X 10.9, SHA-1 se volvió más lento en la misma máquina:

$ openssl speed md5 sha1 OpenSSL 0.9.8y 5 Feb 2013 The ''numbers'' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86k

Segunda actualización: en OS X 10.10, la velocidad de SHA-1 vuelve al nivel 10.8:

$ openssl speed md5 sha1 OpenSSL 0.9.8zc 15 Oct 2014 The ''numbers'' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77k

La verdadera respuesta es: depende

Hay un par de factores a considerar, los más obvios son: la CPU en la que está ejecutando estos algoritmos y la implementación de los algoritmos.

Por ejemplo, mi amigo y yo ejecutamos exactamente la misma versión de openssl y obtenemos resultados ligeramente diferentes con diferentes Intel Core i7 cpus.

Mi prueba en el trabajo con una CPU Intel (R) Core (TM) i7-2600 @ 3.40GHz

The ''numbers'' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50k

Y el suyo con una CPU Intel (R) Core (TM) i7 920 @ 2.67GHz

The ''numbers'' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68k

Ambos estamos ejecutando exactamente los mismos binarios de OpenSSL 1.0.1j del 15 de octubre de 2014 del paquete oficial ArchLinux.

Mi opinión sobre esto es que con la seguridad adicional de sha1, es más probable que los diseñadores de CPU mejoren la velocidad de sha1 y más programadores estarán trabajando en la optimización del algoritmo que md5sum.

Supongo que md5 ya no se usará algún día, ya que parece que no tiene ninguna ventaja sobre sha1. También probé algunos casos en archivos reales y los resultados fueron siempre los mismos en ambos casos (probablemente limitados por E / S de disco).

md5sum de un gran archivo de 4.6 GB tomó exactamente el mismo tiempo que sha1sum del mismo archivo, lo mismo ocurre con muchos archivos pequeños (488 en el mismo directorio). Realicé las pruebas una docena de veces y obtenían los mismos resultados.

Sería muy interesante investigar esto más a fondo. Creo que hay algunos expertos alrededor que podrían proporcionar una respuesta sólida a por qué sha1 se está volviendo más rápido que md5 en los procesadores más nuevos.

MD5 también se beneficia del uso de SSE2, consulte BarsWF y luego dígame que no. Todo lo que se necesita es un pequeño conocimiento de ensamblador y puede crear su propia rutina MD5 SSE2. Sin embargo, para grandes cantidades de rendimiento, hay una compensación de la velocidad durante el hash en comparación con el tiempo empleado en reorganizar los datos de entrada para que sea compatible con las instrucciones SIMD utilizadas.

Sí, MD5 es algo menos intensivo de la CPU. En mi Intel x86 (Core2 Quad Q6600, 2.4 GHz, usando un núcleo), obtengo esto en modo de 32 bits:

MD5 411 SHA-1 218 SHA-256 118 SHA-512 46

y esto en modo de 64 bits:

MD5 407 SHA-1 312 SHA-256 148 SHA-512 189

Las cifras están en megabytes por segundo, para un mensaje "largo" (esto es lo que obtienes por mensajes de más de 8 kB). Esto es con sphlib , una biblioteca de implementaciones de funciones hash en C (y Java). Todas las implementaciones son del mismo autor (yo) y se realizaron con esfuerzos similares en optimizaciones; por lo tanto, las diferencias de velocidad pueden considerarse como realmente intrínsecas a las funciones.

Como punto de comparación, tenga en cuenta que un disco duro reciente se ejecutará a aproximadamente 100 MB / s, y cualquier elemento a través de USB superará los 60 MB / s. Aunque SHA-256 parece "lento" aquí, es lo suficientemente rápido para la mayoría de los propósitos.

Tenga en cuenta que OpenSSL incluye una implementación de 32 bits de SHA-512 que es bastante más rápido que mi código (pero no tan rápido como el SHA-512 de 64 bits), porque la implementación de OpenSSL está en ensamblado y usa registros SSE2, algo que no puede hacerse en plano C. SHA-512 es la única función entre las cuatro que se beneficia de una implementación de SSE2.

Editar: en esta página , uno puede encontrar un informe sobre la velocidad de muchas funciones hash (haga clic en el enlace "Telechargez maintenant"). El informe está en francés, pero está lleno de tablas y números, y los números son internacionales. Las funciones hash implementadas no incluyen los candidatos SHA-3 (excepto SHABAL) pero estoy trabajando en ello.