匹配列并附加到数据框,Python 3.6

Question

我有大约50个excel文件,我想导入到dataframe并将所有文件合并到单个数据帧中.但有些文件有3个,有些是4列.每个文件作为不同的列以不同的顺序.

所有文件中的不同列总数:5即col1,col2,col3,col4,col5

我知道如何导入,但在面临问题的同时.

脚本:

dfAll = pd.DataFrame(columns=['col1', 'col2', 'col3', 'col4', 'col5')]
df= pd.read_excel('FilePath', sheetname='data1') # contains 3 columns i.e col1, col2, col5
columnsOFdf = df.columns
dfAll[columnsOFdf] = dfAll.append(df)

但是给出错误"ValueError:Columns必须和key一样长"

我想将df ['col1','col2','col5']数据追加到dfAll ['col1','col2','col5']

请帮忙解决这个问题.

Answer 1

串联将匹配您的列

dfs = []
files = [...]
for file_name in files:
    dfs.append(pd.read_excel(file_name, sheetname='data1'))
df = pd.concat(dfs)

df1 = pd.DataFrame(np.random.randn(3, 3), columns=list('ABC'))
df2 = pd.DataFrame(np.random.randn(3, 3), columns=list('BCD'))
>>> pd.concat([df1, df2])
          A         B         C         D
0 -2.329280  0.644155 -0.835137       NaN
1  0.666496 -1.299048  0.111579       NaN
2  1.855494 -0.085850 -0.541890       NaN
0       NaN -1.131514  1.023610 -0.514384
1       NaN  0.670063  1.403143 -0.978611
2       NaN -0.314741 -0.727200 -0.620511

此外，每次将数据帧附加到现有数据帧时，它都会返回一个副本。这将严重降低性能，被称为二次复制。您最好创建一个所有数据框的列表，然后连接结果。