我经常对超过1500万行的数据帧执行pandas操作,我很乐意访问特定操作的进度指示器.
是否存在基于文本的pandas split-apply-combine操作的进度指示器？
例如,在以下情况中:
df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)
where feature_rollup是一个涉及多少DF列的函数,并通过各种方法创建新的用户列.对于大型数据帧,这些操作可能需要一段时间,因此我想知道是否可以在iPython笔记本中使用基于文本的输出来更新我的进度.
到目前为止,我已经尝试了Python的规范循环进度指示器,但它们没有以任何有意义的方式与pandas交互.
我希望在pandas库/文档中我忽略了一些让人们知道split-apply-combine进度的东西.一个简单的实现可能会查看apply函数工作的数据帧子集的总数,并将进度报告为这些子集的已完成部分.
这可能是需要添加到库中的吗？
我有多个 df，它们用时间戳索引连续几个月。例如：
1996-01-01 01:00:00
1996-02-01 01:00:00
1996-03-01 01:00:00
1996-04-01 01:00:00
1996-05-01 01:00:00
1996-06-01 01:00:00
我正在尝试创建一个函数，我可以在其中向 df 添加任意数量的行，从上个月发生的任何事情开始。我试图通过使用来解决这个问题：
df.iloc[-1].name + pd.Timedelta(1, unit='M')
在 for 循环中，但这似乎只增加了 30 天，而不是更改月份值 +1。有没有更可靠的方法来获取 pd.Timestamp 并添加 1 个月？
谢谢