我经常对超过1500万行的数据帧执行pandas操作,我很乐意访问特定操作的进度指示器.
是否存在基于文本的pandas split-apply-combine操作的进度指示器？
例如,在以下情况中:
df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)
where feature_rollup是一个涉及多少DF列的函数,并通过各种方法创建新的用户列.对于大型数据帧,这些操作可能需要一段时间,因此我想知道是否可以在iPython笔记本中使用基于文本的输出来更新我的进度.
到目前为止,我已经尝试了Python的规范循环进度指示器,但它们没有以任何有意义的方式与pandas交互.
我希望在pandas库/文档中我忽略了一些让人们知道split-apply-combine进度的东西.一个简单的实现可能会查看apply函数工作的数据帧子集的总数,并将进度报告为这些子集的已完成部分.
这可能是需要添加到库中的吗？