Pandas dataframe：每批行的操作

Question

我有一个 pandas DataFrame df，我想为其计算每批行的一些统计信息。

例如，假设我有一个batch_size = 200000.

对于每批batch_size行，我希望获得IDDataFrame 列的唯一值的数量。

我怎样才能做这样的事情呢？

这是我想要的一个例子：

print(df)

>>
+-------+
|     ID|
+-------+
|      1|
|      1|
|      2|
|      2|
|      2|
|      3|
|      3|
|      3|
|      3|
+-------+

batch_size = 3

my_new_function(df,batch_size)

>>
For batch 1 (0 to 2) :
2 unique values 
1 appears 2 times
2 appears 1 time

For batch 2 (3 to 5) : 
2 unique values 
2 appears 2 times
3 appears 1 time

For batch 3 (6 to 8) 
1 unique values 
3 appears 3 times

注意：输出当然可以是一个简单的 DataFrame

Answer 1

请参阅这篇文章了解拆分过程，然后您可以执行此操作来获取唯一“ID”的数量

df = pd.DataFrame({'ID' : [1, 1, 2, 2, 2, 3, 3, 3, 3]})
batch_size = 3
result = []
for batch_number, batch_df in df.groupby(np.arange(len(df)) // batch_size):
    result.append(batch_df['ID'].nunique())
pd.DataFrame(result)

编辑：按照user3426270的答案，我回答时没有注意到

Answer 2

请参阅此处拆分数据框。之后我会这样做：

from collections import Counter
Counter(batch_df['ID'].tolist())