Python Pandas-使用列表推导连接数据框

Question

在pandas文档中，它指出：

但是，值得注意的是，concat（并因此附加了）可以完整复制数据，并且不断重复使用此功能可能会对性能产生重大影响。如果需要对多个数据集使用该操作，请使用列表推导。

frames = [ process_your_file(f) for f in files ]

result = pd.concat(frames)

我目前的情况是，我将一遍又一遍地将一个新的数据帧连接到一个不断增长的数据帧列表中。这将导致惊人的串联数量。

我担心性能，在这种情况下不确定如何利用列表理解。我的代码如下。

df = first_data_frame
while verify == True:
    # download data (new data becomes available through each iteration)
    # then turn [new] data into data frame, called 'temp'
    frames = [df, temp]
    df = concat(frames)
    if condition_met:
        verify == False

我认为下载数据和创建数据框架的部分无关紧要；我关心的是不断的串联。

在这种情况下，如何实现列表理解？

Answer 1

列表理解非常快速且优雅。我还必须将列表中的许多不同的数据帧链接在一起。这是我的代码：

import os
import pandas as pd
import numpy as np

# FileNames is a list with the names of the csv files contained in the 'dataset' path

FileNames = []
for files in os.listdir("dataset"):
    if files.endswith(".csv"):
        FileNames.append(files)

# function that reads the file from the FileNames list and makes it become a dataFrame

def GetFile(fnombre):
location = 'dataset/' + fnombre
df = pd.read_csv(location)
return df

# list comprehension
df = [GetFile(file) for file in FileNames]
dftot = pd.concat(df)

结果是在我的 i3 上 3 秒内创建了超过 100 万行（8 列）的数据帧。

如果你用这些替换两行代码“列表理解”，你会注意到性能下降：

dftot = pd.DataFrame()
for file in FileNames:
    df = GetFile(file)
    dftot = pd.concat([dftot, df])

要在代码中插入“IF”条件，请更改以下行：

df = [GetFile(file) for file in FileNames]

以这种方式例如：

df = [GetFile(file) for file in FileNames if file == 'A.csv']

此代码仅读取“A.csv”文件

Answer 2

如果您有一个无法放入列表理解中的循环（例如 while 循环），您可以在顶部初始化一个空列表，然后在 while 循环期间附加到它。例子：

frames = []
while verify:
    # download data
    # temp = pd.DataFrame(data)
    frames.append(temp)
    if condition_met:
        verify = False

pd.concat(frames)

您还可以将循环放入生成器函数中，然后使用列表理解，但这可能比您需要的更复杂。

另外，如果您的数据自然以字典列表或类似的形式出现，您可能不需要创建所有临时数据帧 - 只需将所有数据附加到一个巨大的字典列表中，然后将其转换为一个数据帧在最后打电话。