python - print - ¿Por qué algunas comparaciones flotantes<enteras son cuatro veces más lentas que otras?

python fixed point

Question

Al comparar flotantes con enteros, algunos pares de valores tardan mucho más en evaluarse que otros valores de una magnitud similar.

Por ejemplo:

>>> import timeit
>>> timeit.timeit("562949953420000.7 < 562949953421000") # run 1 million times
0.5387085462592742

Pero si el flotante o entero se hace más pequeño o más grande en cierta cantidad, la comparación se ejecuta mucho más rápidamente:

>>> timeit.timeit("562949953420000.7 < 562949953422000") # integer increased by 1000
0.1481498428446173
>>> timeit.timeit("562949953423001.8 < 562949953421000") # float increased by 3001.1
0.1459577925548956

Cambiar el operador de comparación (por ejemplo, usar == o > lugar) no afecta los tiempos de manera notable.

Esto no se relaciona únicamente con la magnitud porque elegir valores más grandes o más pequeños puede dar como resultado comparaciones más rápidas, por lo que sospecho que se debe a una forma desafortunada de alinear los bits.

Claramente, comparar estos valores es más que suficientemente rápido para la mayoría de los casos de uso. Simplemente tengo curiosidad por saber por qué Python parece luchar más con algunos pares de valores que con otros.

Answer 1

Al usar gmpy2 con flotantes y números enteros de precisión arbitraria, es posible obtener un rendimiento de comparación más uniforme:

~ $ ptipython
Python 3.5.1 |Anaconda 4.0.0 (64-bit)| (default, Dec  7 2015, 11:16:01) 
Type "copyright", "credits" or "license" for more information.

IPython 4.1.2 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython''s features.
%quickref -> Quick reference.
help      -> Python''s own help system.
object?   -> Details about ''object'', use ''object??'' for extra details.

In [1]: import gmpy2

In [2]: from gmpy2 import mpfr

In [3]: from gmpy2 import mpz

In [4]: gmpy2.get_context().precision=200

In [5]: i1=562949953421000

In [6]: i2=562949953422000

In [7]: f=562949953420000.7

In [8]: i11=mpz(''562949953421000'')

In [9]: i12=mpz(''562949953422000'')

In [10]: f1=mpfr(''562949953420000.7'')

In [11]: f<i1
Out[11]: True

In [12]: f<i2
Out[12]: True

In [13]: f1<i11
Out[13]: True

In [14]: f1<i12
Out[14]: True

In [15]: %timeit f<i1
The slowest run took 10.15 times longer than the fastest. This could mean that an intermediate result is being cached.
1000000 loops, best of 3: 441 ns per loop

In [16]: %timeit f<i2
The slowest run took 12.55 times longer than the fastest. This could mean that an intermediate result is being cached.
10000000 loops, best of 3: 152 ns per loop

In [17]: %timeit f1<i11
The slowest run took 32.04 times longer than the fastest. This could mean that an intermediate result is being cached.
1000000 loops, best of 3: 269 ns per loop

In [18]: %timeit f1<i12
The slowest run took 36.81 times longer than the fastest. This could mean that an intermediate result is being cached.
1000000 loops, best of 3: 231 ns per loop

In [19]: %timeit f<i11
The slowest run took 78.26 times longer than the fastest. This could mean that an intermediate result is being cached.
10000000 loops, best of 3: 156 ns per loop

In [20]: %timeit f<i12
The slowest run took 21.24 times longer than the fastest. This could mean that an intermediate result is being cached.
10000000 loops, best of 3: 194 ns per loop

In [21]: %timeit f1<i1
The slowest run took 37.61 times longer than the fastest. This could mean that an intermediate result is being cached.
1000000 loops, best of 3: 275 ns per loop

In [22]: %timeit f1<i2
The slowest run took 39.03 times longer than the fastest. This could mean that an intermediate result is being cached.
1000000 loops, best of 3: 259 ns per loop

Answer 2

Un comentario en el código fuente de Python para objetos flotantes reconoce que:

La comparación es casi una pesadilla

Esto es especialmente cierto cuando se compara un flotante con un entero, porque, a diferencia de los flotantes, los enteros en Python pueden ser arbitrariamente grandes y siempre son exactos. Intentar convertir el entero en un flotador puede perder precisión y hacer que la comparación sea inexacta. Intentar lanzar el flotador a un número entero tampoco funcionará porque se perderá cualquier parte fraccional.

Para solucionar este problema, Python realiza una serie de comprobaciones, devolviendo el resultado si una de las comprobaciones tiene éxito. Compara los signos de los dos valores, luego si el número entero es "demasiado grande" para ser flotante, luego compara el exponente del flotante con la longitud del número entero. Si todas estas comprobaciones fallan, es necesario construir dos nuevos objetos de Python para comparar para obtener el resultado.

Al comparar un float v con un entero / largo w , el peor de los casos es que:

• v y w tienen el mismo signo (tanto positivo como negativo),
• el entero w tiene pocos bits suficientes para que pueda mantenerse en el tipo size_t (generalmente 32 o 64 bits),
• el entero w tiene al menos 49 bits,
• el exponente del flotador v es el mismo que el número de bits en w .

Y esto es exactamente lo que tenemos para los valores en la pregunta:

>>> import math
>>> math.frexp(562949953420000.7) # gives the float''s (significand, exponent) pair
(0.9999999999976706, 49)
>>> (562949953421000).bit_length()
49

Vemos que 49 es tanto el exponente del flotante como el número de bits en el entero. Ambos números son positivos, por lo que se cumplen los cuatro criterios anteriores.

Elegir uno de los valores para que sea más grande (o más pequeño) puede cambiar el número de bits del número entero o el valor del exponente, por lo que Python puede determinar el resultado de la comparación sin realizar la costosa verificación final.

Esto es específico para la implementación de CPython del lenguaje.

La comparación con más detalle.

La función float_richcompare maneja la comparación entre dos valores v y w .

A continuación se muestra una descripción paso a paso de las comprobaciones que realiza la función. Los comentarios en la fuente de Python son realmente muy útiles cuando se trata de entender lo que hace la función, por lo que los dejé en su lugar. También he resumido estos controles en una lista al pie de la respuesta.

La idea principal es asignar los objetos Python v y w a dos dobles C apropiados, i y j , que luego se pueden comparar fácilmente para obtener el resultado correcto. Python 2 y Python 3 usan las mismas ideas para hacer esto (el primero solo maneja los tipos int y long separado).

Lo primero que debe hacer es verificar que v sea ​​definitivamente un flotador de Python y asignarlo a un C doble i . A continuación, la función analiza si w también es flotante y lo asigna a un C doble j . Este es el mejor de los casos para la función, ya que se pueden omitir todas las demás comprobaciones. La función también verifica si v es inf o nan :

static PyObject*
float_richcompare(PyObject *v, PyObject *w, int op)
{
    double i, j;
    int r = 0;
    assert(PyFloat_Check(v));       
    i = PyFloat_AS_DOUBLE(v);       

    if (PyFloat_Check(w))           
        j = PyFloat_AS_DOUBLE(w);   

    else if (!Py_IS_FINITE(i)) {
        if (PyLong_Check(w))
            j = 0.0;
        else
            goto Unimplemented;
    }

Ahora sabemos que si w falló estas comprobaciones, no es un flotador de Python. Ahora la función comprueba si es un entero de Python. Si este es el caso, la prueba más fácil es extraer el signo de v y el signo de w (devuelve 0 si es cero, -1 si es negativo, 1 si es positivo). Si los signos son diferentes, esta es toda la información necesaria para devolver el resultado de la comparación:

    else if (PyLong_Check(w)) {
        int vsign = i == 0.0 ? 0 : i < 0.0 ? -1 : 1;
        int wsign = _PyLong_Sign(w);
        size_t nbits;
        int exponent;

        if (vsign != wsign) {
            /* Magnitudes are irrelevant -- the signs alone
             * determine the outcome.
             */
            i = (double)vsign;
            j = (double)wsign;
            goto Compare;
        }
    }   

Si esta verificación falla, v y w tienen el mismo signo.

La siguiente verificación cuenta el número de bits en el entero w . Si tiene demasiados bits, no es posible mantenerlo como flotante y, por lo tanto, debe ser de mayor magnitud que el flotante v :

    nbits = _PyLong_NumBits(w);
    if (nbits == (size_t)-1 && PyErr_Occurred()) {
        /* This long is so large that size_t isn''t big enough
         * to hold the # of bits.  Replace with little doubles
         * that give the same outcome -- w is so large that
         * its magnitude must exceed the magnitude of any
         * finite float.
         */
        PyErr_Clear();
        i = (double)vsign;
        assert(wsign != 0);
        j = wsign * 2.0;
        goto Compare;
    }

Por otro lado, si el entero w tiene 48 bits o menos, puede convertir C doblemente con seguridad y comparar:

    if (nbits <= 48) {
        j = PyLong_AsDouble(w);
        /* It''s impossible that <= 48 bits overflowed. */
        assert(j != -1.0 || ! PyErr_Occurred());
        goto Compare;
    }

A partir de este momento, sabemos que w tiene 49 o más bits. Será conveniente tratar w como un entero positivo, así que cambie el signo y el operador de comparación según sea necesario:

    if (nbits <= 48) {
        /* "Multiply both sides" by -1; this also swaps the
         * comparator.
         */
        i = -i;
        op = _Py_SwappedOp[op];
    }

Ahora la función mira el exponente del flotador. Recuerde que se puede escribir un flotador (ignorando el signo) como ^exponente significand * 2 y que el significand representa un número entre 0.5 y 1:

    (void) frexp(i, &exponent);
    if (exponent < 0 || (size_t)exponent < nbits) {
        i = 1.0;
        j = 2.0;
        goto Compare;
    }

Esto verifica dos cosas. Si el exponente es menor que 0, el flotador es menor que 1 (y por lo tanto, de menor magnitud que cualquier número entero). O, si el exponente es menor que el número de bits en w entonces tenemos que v < |w| ya que significante * 2 ^exponente es menor que 2 ^nbits .

Al fallar estas dos comprobaciones, la función busca ver si el exponente es mayor que el número de bits en w . Esto muestra que el ^exponente significativo * 2 es mayor que 2 ^nbits y, por lo tanto, v > |w| :

    if ((size_t)exponent > nbits) {
        i = 2.0;
        j = 1.0;
        goto Compare;
    }

Si esta verificación no tuvo éxito, sabemos que el exponente del flotante v es el mismo que el número de bits en el entero w .

La única forma en que se pueden comparar los dos valores ahora es construir dos nuevos enteros de Python a partir de v y w . La idea es descartar la parte fraccionaria de v , duplicar la parte entera y luego agregar una. w también se duplica y estos dos nuevos objetos de Python se pueden comparar para obtener el valor de retorno correcto. Usando un ejemplo con valores pequeños, 4.65 < 4 se determinaría mediante la comparación (2*4)+1 == 9 < 8 == (2*4) (devolviendo falso).

    {
        double fracpart;
        double intpart;
        PyObject *result = NULL;
        PyObject *one = NULL;
        PyObject *vv = NULL;
        PyObject *ww = w;

        // snip

        fracpart = modf(i, &intpart); // split i (the double that v mapped to)
        vv = PyLong_FromDouble(intpart);

        // snip

        if (fracpart != 0.0) {
            /* Shift left, and or a 1 bit into vv
             * to represent the lost fraction.
             */
            PyObject *temp;

            one = PyLong_FromLong(1);

            temp = PyNumber_Lshift(ww, one); // left-shift doubles an integer
            ww = temp;

            temp = PyNumber_Lshift(vv, one);
            vv = temp;

            temp = PyNumber_Or(vv, one); // a doubled integer is even, so this adds 1
            vv = temp;
        }
        // snip
    }
}

Por brevedad, he omitido la comprobación adicional de errores y el seguimiento de basura que Python tiene que hacer cuando crea estos nuevos objetos. No es necesario decir que esto agrega una sobrecarga adicional y explica por qué los valores resaltados en la pregunta son significativamente más lentos para comparar que otros.

Aquí hay un resumen de las comprobaciones que realiza la función de comparación.

Deje v ser un flotador y lanzarlo como un doble C. Ahora, si w también es un flotador:

• Compruebe si w es nan o inf . Si es así, maneje este caso especial por separado dependiendo del tipo de w .

• Si no, compare v y w directamente por sus representaciones como C dobles.

Si w es un entero:

• Extraiga los signos de v y w . Si son diferentes, entonces sabemos que v y w son diferentes y cuál es el mayor valor.

• ( Los signos son los mismos ) . Compruebe si w tiene demasiados bits para ser flotante (más de size_t ). Si es así, w tiene mayor magnitud que v .

• Compruebe si w tiene 48 bits o menos. Si es así, se puede lanzar de forma segura a un doble C sin perder su precisión y en comparación con v .

• ( w tiene más de 48 bits. Ahora trataremos w como un entero positivo después de haber cambiado la operación de comparación según corresponda ) .

• Considere el exponente del flotador v . Si el exponente es negativo, entonces v es menor que 1 y, por lo tanto, menor que cualquier número entero positivo. De lo contrario, si el exponente es menor que el número de bits en w entonces debe ser menor que w .

• Si el exponente de v es mayor que el número de bits en w entonces v es mayor que w .

• ( El exponente es el mismo que el número de bits en w . )

• El cheque final. Divide v en sus partes enteras y fraccionarias. Duplique la parte entera y agregue 1 para compensar la parte fraccionaria. Ahora dobla el número entero w . Compare estos dos enteros nuevos para obtener el resultado.