如何迭代 Pandas 中的数据帧列表？

Question

我有以下数据框，组合成一个列表：

df = pd.DataFrame({'numbers': [1, 2, 3], 'colors': ['red', 'white', 'blue']})
df1 = pd.DataFrame({'numbers': [7, 44, 93], 'colors': ['red', 'white', 'blue']})

df_list = [df,df1]

我想使用 for 循环来迭代它们并打印每个数字。为此，我尝试了：

for num in df_list.numbers.unique():
    val = locals()[num]
    print(val)

但得到一个错误：

AttributeError: 'list' object has no attribute 'numbers'

我也尝试过，更简单：

for num in df_list.numbers.unique():
    print(num)

但得到一个错误：

AttributeError: 'list' object has no attribute 'numbers'

类似的问题也被提出，但没有得到令人满意的答复。

Answer 1

选项 A：迭代数据帧列表中的值

由于您有两个数据框，因此您必须

• 逐一迭代数据帧
• 然后，对于每个数据帧 ( df_tmp)，迭代所有唯一数字

In [1]: import pandas as pd

In [2]: df = pd.DataFrame({'numbers': [1, 2, 3], 'colors': ['red', 'white', 'blue']})
   ...: df1 = pd.DataFrame({'numbers': [7, 44, 93], 'colors': ['red', 'white', 'blue']})

In [3]: df_list = [df,df1]

In [4]: for df_tmp in df_list:
   ...:     for num in df_tmp['numbers'].unique():
   ...:         print(num)
   ...:
1
2
3
7
44
93

注意：使用这种方法，值不一定是唯一的！（例如，如果2同时存在df['numbers']和df1['numbers']，则会打印两次）。

选项 B：在迭代之前合并数据帧

有时，创建另一个将所有数据帧组合在一起的数据帧可能更有用。您可以使用pd.concat ¹执行此操作，如下所示：

In [17]: df_new = pd.concat(df_list)

In [18]: df_new
Out[18]:
   numbers colors
0        1    red
1        2  white
2        3   blue
0        7    red
1       44  white
2       93   blue

然后，您可以通过简单地迭代中的所有独特元素'numbers'：

In [19]: for num in df_new['numbers'].unique():
    ...:     print(num)
    ...:
1
2
3
7
44
93

• 这将保证数字是唯一的。缺点是，如果您需要做的只是迭代多个数据帧中存在的列的唯一元素，那么创建新数据帧会产生一些开销。这就引出了选项C。

选项 C：仅迭代唯一值

• 如果您只想迭代存在于多个数据框中的一列中的唯一元素，则不需要为此使用临时数据框。相反，您可以通过仅采用元素集的并集来实现相同的效果

# or: nums = set().union(*(map(lambda x:set(x['numbers']), (df, df1))))
In [30]: nums = set().union(*(set(df_['numbers']) for df_ in (df, df1)))

In [31]: nums
Out[31]: {1, 2, 3, 7, 44, 93}

In [32]: for num in nums:
    ...:     print(num)
    ...:
1
2
3
7
44
93

¹接受pd.concat()一个可迭代对象（例如，列表、元组或生成器）作为第一个参数，并返回一个可供您使用的全新数据帧。