for - Encontrar promedio móvil de puntos de datos en Python

numpy min

Question

Estoy jugando un poco más en Python y encontré un buen libro con ejemplos. Uno de los ejemplos es trazar algunos datos. Tengo un archivo .txt con dos columnas y tengo la información. Tracé los datos muy bien, pero en el ejercicio dice: Modifique más su programa para calcular y graficar el promedio continuo de los datos, definido por:

$Y_k=/frac{1}{2r}/sum_{m=-r}^r y_{k+m}$

donde r=5 en este caso (y y_k es la segunda columna en el archivo de datos). Haga que el programa grabe los datos originales y el promedio continuo en el mismo gráfico.

Hasta ahora tengo esto:

from pylab import plot, ylim, xlim, show, xlabel, ylabel
from numpy import linspace, loadtxt

data = loadtxt("sunspots.txt", float)
r=5.0

x = data[:,0]
y = data[:,1]

plot(x,y)
xlim(0,1000)
xlabel("Months since Jan 1749.")
ylabel("No. of Sun spots")
show()

Entonces, ¿cómo calculo la suma? En Mathematica es simple ya que es manipulación simbólica (Sum [i, {i, 0,10}] por ejemplo), pero cómo calcular la suma en python que toma cada diez puntos en los datos y los promedia, y lo hace hasta el final de puntos?

Miré el libro, pero no encontré nada que explicara esto: /

El código de Heltonbiker hizo el truco ^^: D

from __future__ import division
from pylab import plot, ylim, xlim, show, xlabel, ylabel, grid
from numpy import linspace, loadtxt, ones, convolve
import numpy as numpy

data = loadtxt("sunspots.txt", float)

def movingaverage(interval, window_size):
    window= numpy.ones(int(window_size))/float(window_size)
    return numpy.convolve(interval, window, ''same'')

x = data[:,0]
y = data[:,1]


plot(x,y,"k.")
y_av = movingaverage(y, 10)
plot(x, y_av,"r")
xlim(0,1000)
xlabel("Months since Jan 1749.")
ylabel("No. of Sun spots")
grid(True)
show()

Y obtuve esto:

Muchas gracias ^^ :)

Answer 1

Antes de leer esta respuesta, tenga en cuenta que hay otra respuesta más abajo, de Roman Kh, que usa numpy.cumsum y es MUCHO MÁS RÁPIDO que este.

La mejor forma común de aplicar un promedio móvil / deslizante (o cualquier otra función de ventana deslizante) a una señal es usando numpy.convolve() .

def movingaverage(interval, window_size):
    window = numpy.ones(int(window_size))/float(window_size)
    return numpy.convolve(interval, window, ''same'')

Aquí, interval es tu matriz x , y window_size es la cantidad de muestras a considerar. La ventana se centrará en cada muestra, por lo que toma muestras antes y después de la muestra actual para calcular el promedio. Tu código se convertiría en:

plot(x,y)
xlim(0,1000)

x_av = movingaverage(interval, r)
plot(x_av, y)

xlabel("Months since Jan 1749.")
ylabel("No. of Sun spots")
show()

¡Espero que esto ayude!

Answer 2

Como numpy.convolve es bastante lento, aquellos que necesitan una solución de rendimiento rápido pueden preferir un enfoque cumsum más fácil de entender. Aquí está el código:

cumsum_vec = numpy.cumsum(numpy.insert(data, 0, 0)) 
ma_vec = (cumsum_vec[window_width:] - cumsum_vec[:-window_width]) / window_width

donde los datos contienen sus datos, y ma_vec contendrá promedios móviles de la longitud de window_width .

En promedio, cumsum es aproximadamente 30-40 veces más rápido que convolve .

Answer 3

Creo que algo así como:

aves = [sum(data[i:i+6]) for i in range(0, len(data), 5)]

Pero siempre tengo que verificar que los índices estén haciendo lo que espero. El rango que desea es (0, 5, 10, ...) y datos [0: 6] le dará datos [0] ... datos [5]

ETA: uy, y quieres ave en lugar de suma, por supuesto. Entonces, en realidad, usa tu código y la fórmula:

r = 5
x = data[:,0]
y1 = data[:,1]
y2 = [ave(y1[i-r:i+r]) for i in range(r, len(y1), 2*r)]
y = [y1, y2]

Answer 4

Hay un problema con la respuesta aceptada. Creo que necesitamos usar "válido" en lugar de "igual" aquí - return numpy.convolve(interval, window, ''same'') .

Como ejemplo, pruebe la MA de este conjunto de datos = [1,5,7,2,6,7,8,2,2,7,8,3,7,3,7,3,15,6] - el resultado debería ser [4.2,5.4,6.0,5.0,5.0,5.2,5.4,4.4,5.4,5.6,5.6,4.6,7.0,6.8] , pero tener "lo mismo" nos da una salida incorrecta de [2.6,3.0,4.2,5.4,6.0,5.0,5.0,5.2,5.4,4.4,5.4,5.6,5.6, 4.6,7.0,6.8,6.2,4.8]

Código oxidado para probar esto -:

result=[]
dataset=[1,5,7,2,6,7,8,2,2,7,8,3,7,3,7,3,15,6]
window_size=5
for index in xrange(len(dataset)):
    if index <=len(dataset)-window_size :
        tmp=(dataset[index]+ dataset[index+1]+ dataset[index+2]+ dataset[index+3]+ dataset[index+4])/5.0
        result.append(tmp)
    else:
      pass

result==movingaverage(y, window_size) 

Pruebe esto con valid & same y vea si las matemáticas tienen sentido.

Ver también -: http://sentdex.com/sentiment-analysisbig-data-and-python-tutorials-algorithmic-trading/how-to-chart-stocks-and-forex-doing-your-own-financial-charting/calculate-simple-moving-average-sma-python/

Answer 5

Mi función promedio móvil, sin función numpy:

from __future__ import division  # must be on first line of script

class Solution:
    def Moving_Avg(self,A):
        m = A[0]
        B = []
        B.append(m)
        for i in range(1,len(A)):
            m = (m * i + A[i])/(i+1)
            B.append(m)
        return B

Answer 6

Un promedio móvil es una convolución, y numpy será más rápido que la mayoría de las operaciones de python puro. Esto le dará el promedio móvil de 10 puntos.

import numpy as np
smoothed = np.convolve(data, np.ones(10)/10)

También recomendaría encarecidamente utilizar el gran paquete de pandas si está trabajando con datos de series temporales. Hay algunas buenas operaciones de promedio móvil integradas .

Answer 7

ravgs = [sum(data[i:i+5])/5. for i in range(len(data)-4)]

Este no es el enfoque más eficiente pero dará su respuesta y no estoy seguro si su ventana tiene 5 puntos o 10. Si es 10, reemplace cada 5 con 10 y el 4 con 9.