python - Desviación estándar ponderada en NumPy?

statsmodels standard-deviation

Question

numpy.average() tiene una opción de pesos, pero numpy.std() no. ¿Alguien tiene sugerencias para una solución alternativa?

Answer 1

¿Qué tal el siguiente breve "cálculo manual"?

def weighted_avg_and_std(values, weights):
    """
    Return the weighted average and standard deviation.

    values, weights -- Numpy ndarrays with the same shape.
    """
    average = numpy.average(values, weights=weights)
    # Fast and numerically precise:
    variance = numpy.average((values-average)**2, weights=weights)
    return (average, math.sqrt(variance))

Answer 2

Hay un muy buen ejemplo propuesto por gaborous :

import pandas as pd
import numpy as np
# X is the dataset, as a Pandas'' DataFrame
mean = mean = np.ma.average(X, axis=0, weights=weights) # Computing the 
weighted sample mean (fast, efficient and precise)

# Convert to a Pandas'' Series (it''s just aesthetic and more 
# ergonomic; no difference in computed values)
mean = pd.Series(mean, index=list(X.keys())) 
xm = X-mean # xm = X diff to mean
xm = xm.fillna(0) # fill NaN with 0 (because anyway a variance of 0 is 
just void, but at least it keeps the other covariance''s values computed 
correctly))
sigma2 = 1./(w.sum()-1) * xm.mul(w, axis=0).T.dot(xm); # Compute the 
unbiased weighted sample covariance

Corregir la ecuación para la covarianza de muestra no sesgada ponderada, URL (versión: 2016-06-28)

Answer 3

Hay una clase en los statsmodels de estadísticas para calcular las estadísticas ponderadas: statsmodels.stats.weightstats.DescrStatsW :

from statsmodels.stats.weightstats import DescrStatsW

array = np.array([1,2,1,2,1,2,1,3])
weights = np.ones_like(array)
weights[3] = 100

weighted_stats = DescrStatsW(array, weights=weights, ddof=0)

weighted_stats.mean      # weighted mean of data (equivalent to np.average(array, weights=weights))
# 1.97196261682243

weighted_stats.std       # standard deviation with default degrees of freedom correction
# 0.21434289609681711

weighted_stats.std_mean  # standard deviation of weighted mean
# 0.020818822467555047

weighted_stats.var       # variance with default degrees of freedom correction
# 0.045942877107170932

La buena característica de esta clase es que si desea calcular diferentes propiedades estadísticas, las llamadas subsiguientes serán muy rápidas porque los resultados ya calculados (incluso los intermedios) se almacenan en caché.

Answer 4

No parece haber tal función en numpy / scip todavía, pero hay un ticket propone esta funcionalidad adicional. Incluido allí encontrará Statistics.py que implementa las desviaciones estándar ponderadas.