python - library - pip install numpy

datos binning en python con scipy/numpy

Question

¿Hay una manera más eficiente de tomar un promedio de una matriz en contenedores preespecificados? por ejemplo, tengo una matriz de números y una matriz correspondiente a las posiciones inicial y final de la bandeja en esa matriz, y quiero simplemente tomar la media en esas ubicaciones. Tengo un código que lo hace a continuación, pero me pregunto cómo se puede reducir y mejorar. Gracias.

from scipy import *
from numpy import *

def get_bin_mean(a, b_start, b_end):
    ind_upper = nonzero(a >= b_start)[0]
    a_upper = a[ind_upper]
    a_range = a_upper[nonzero(a_upper < b_end)[0]]
    mean_val = mean(a_range)
    return mean_val


data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []

n = 0
for n in range(0, len(bins)-1):
    b_start = bins[n]
    b_end = bins[n+1]
    binned_data.append(get_bin_mean(data, b_start, b_end))

print binned_data

Answer 1

El paquete numpy_indexed (descargo de responsabilidad: yo soy su autor) contiene la funcionalidad para realizar de manera eficiente operaciones de este tipo:

import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))

Esta es esencialmente la misma solución que la que publiqué anteriormente; pero ahora envuelto en una buena interfaz, con pruebas y todo :)

Answer 2

La función Scipy (> = 0.11) scipy.stats.binned_statistic aborda específicamente la pregunta anterior.

Para el mismo ejemplo que en las respuestas anteriores, la solución Scipy sería

import numpy as np
from scipy.stats import binned_statistic

data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]

Answer 3

No estoy seguro de por qué este hilo fue necroed; pero aquí hay una respuesta aprobada en 2014, que debería ser mucho más rápida:

import numpy as np

data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)

mean = np.add.reduceat(data, slices[:-1]) / counts
print mean

Answer 4

Probablemente sea más rápido y fácil de usar numpy.digitize() :

import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]

Una alternativa a esto es usar numpy.histogram() :

bin_means = (numpy.histogram(data, bins, weights=data)[0] /
             numpy.histogram(data, bins)[0])

Prueba por ti mismo cuál es más rápido ... :)

Answer 5

Yo agregaría, y también para responder a la pregunta, encontrar valores de bin promedio usando histogram2d python que los scipy también tienen una función especialmente diseñada para calcular una estadística bidimensional binned para uno o más conjuntos de datos

import numpy as np
from scipy.stats import binned_statistic_2d

x = np.random.rand(100)
y = np.random.rand(100)
values = np.random.rand(100)
bin_means = binned_statistic_2d(x, y, values, bins=10).statistic

la función scipy.stats.binned_statistic_dd es una generalización de esta función para conjuntos de datos de mayores dimensiones