coefficient - Cómo calcular la correlación entre todas las columnas y eliminar las altamente correlacionadas usando python o pandas

corr python numpy

Question

Tengo un enorme conjunto de datos y antes del modelado de aprendizaje automático siempre se sugiere que primero se eliminen los descriptores altamente correlacionados (columnas) cómo puedo calcular la correlación de bits de columna y eliminar la columna con un valor de umbral, por ejemplo, eliminar todas las columnas o descriptores teniendo una correlación> 0.8. también debería conservar los encabezados para reducir los datos.

Ejemplo de conjunto de datos

 GA      PN       PC     MBP      GR     AP   
0.033   6.652   6.681   0.194   0.874   3.177    
0.034   9.039   6.224   0.194   1.137   3.4      
0.035   10.936  10.304  1.015   0.911   4.9      
0.022   10.11   9.603   1.374   0.848   4.566    
0.035   2.963   17.156  0.599   0.823   9.406    
0.033   10.872  10.244  1.015   0.574   4.871     
0.035   21.694  22.389  1.015   0.859   9.259     
0.035   10.936  10.304  1.015   0.911   4.5       

Por favor ayuda....

Answer 1

En primer lugar, sugeriría usar algo como PCA como método de reducción de dimensionalidad , pero si tiene que tirar el suyo, entonces su pregunta no está suficientemente restringida. Donde dos columnas están correlacionadas, ¿cuál quieres eliminar? ¿Qué sucede si la columna A está correlacionada con la columna B, mientras que la columna B está correlacionada con la columna C, pero no la columna A?

Puede obtener una matriz de correlaciones por DataFrame.corr() llamando a DataFrame.corr() ( docs ) que podría ayudarlo a desarrollar su algoritmo, pero eventualmente deberá convertirlo en una lista de columnas para mantener.

Answer 2

Conecte su dataframe de características en esta función y simplemente configure su umbral de correlación. Caerá columnas automáticamente, pero también le dará un diagnóstico de las columnas que descarta si desea hacerlo manualmente.

def corr_df(x, corr_val):
    ''''''
    Obj: Drops features that are strongly correlated to other features.
          This lowers model complexity, and aids in generalizing the model.
    Inputs:
          df: features df (x)
          corr_val: Columns are dropped relative to the corr_val input (e.g. 0.8)
    Output: df that only includes uncorrelated features
    ''''''

    # Creates Correlation Matrix and Instantiates
    corr_matrix = x.corr()
    iters = range(len(corr_matrix.columns) - 1)
    drop_cols = []

    # Iterates through Correlation Matrix Table to find correlated columns
    for i in iters:
        for j in range(i):
            item = corr_matrix.iloc[j:(j+1), (i+1):(i+2)]
            col = item.columns
            row = item.index
            val = item.values
            if val >= corr_val:
                # Prints the correlated feature set and the corr val
                print(col.values[0], "|", row.values[0], "|", round(val[0][0], 2))
                drop_cols.append(i)

    drops = sorted(set(drop_cols))[::-1]

    # Drops the correlated columns
    for i in drops:
        col = x.iloc[:, (i+1):(i+2)].columns.values
        df = x.drop(col, axis=1)

    return df

Answer 3

Aquí está el enfoque que he usado:

def correlation(dataset, threshold):
    col_corr = set() # Set of all the names of deleted columns
    corr_matrix = dataset.corr()
    for i in range(len(corr_matrix.columns)):
        for j in range(i):
            if corr_matrix.iloc[i, j] >= threshold:
                colname = corr_matrix.columns[i] # getting the name of column
                col_corr.add(colname)
                if colname in dataset.columns:
                    del dataset[colname] # deleting the column from the dataset

    print(dataset)

¡Espero que esto ayude!

Answer 4

Puede usar lo siguiente para un marco de datos dado df:

corr_matrix = df.corr().abs()
high_corr_var=np.where(corr_matrix>0.8)
high_corr_var=[(corr_matrix.columns[x],corr_matrix.columns[y]) for x,y in zip(*corr_matrix) if x!=y and x<y]