小编Amy*_*Amy的帖子

我有两个包含数百列的CSV_files,我想为两个CSV_files的每个相同列计算Pearson相关系数和p值.问题是当一列中缺少数据"NaN"时,它会给我一个错误.当".dropna"从列中删除nan值时,有时X和Y的形状不相等(基于移除的nan值)并且我收到此错误:

"ValueError:操作数无法与形状一起广播(1020,)(1016,)"

问题:如果在"nan"中的一个csv中的第8行,是否有任何方法可以从其他csv中删除相同的行,并根据具有两个csv文件值的行对每个列进行分析？

import pandas as pd
import scipy
import csv
import numpy as np
from scipy import stats


df = pd.read_csv ("D:/Insitu-Daily.csv",header = None)
dg = pd.read_csv ("D:/Model-Daily.csv",header = None)

pearson_corr_set = []
pearson_p_set = []


for i in range(1,df.shape[1]):
    X= df[i].dropna(axis=0, how='any')
    Y= dg[i].dropna(axis=0, how='any')

    [pearson_corr, pearson_p] = scipy.stats.stats.pearsonr(X, Y)
    pearson_corr_set = np.append(pearson_corr_set,pearson_corr)
    pearson_p_set = np.append(pearson_p_set,pearson_p)

with open('D:/Results.csv','wb') as file:
    str1 = ",".join(str(i) for i in np.asarray(pearson_corr_set))
    file.write(str1)
    file.write('\n')    
    str1 = ",".join(str(i) for i in np.asarray(pearson_p_set))
    file.write(str1)
    file.write('\n')