我有一个30分钟间隔的大型时间序列数据集,并试图在这组数据上做一个滑动窗口,但是使用pandas分别为当天的每个点.
我不是统计学家,不善于思考或编写这类工作,但这是我笨手笨脚地做我想做的事.我真的在寻求帮助来改进它,因为我知道有更好的方法可以做到这一点,可能使用MultiIndexes和一些适当的迭代？但我在"时间轴"上努力做到这一点.
def sliding_window(run,data,type='mean'):
data = data.asfreq('30T')
for x in date_range(run.START, run.END, freq='1d'):
if int(datetime.strftime(x, "%w")) == 0 or int(datetime.strftime(x, "%w")) == 6:
points = data.select(weekends).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
else:
points = data.select(weekdays).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
for point in points.index:
data[datetime(x.year,x.month,x.day,point.hour,point.minute)] = points[point]
return data
run.START,run.END和run.WINDOW是数据中的两个点和45(天).我一直在盯着这段代码,所以我不确定它对其他人有什么意义(如果有的话),请问我可以澄清其他任何事情.
解决:(解决方案由船员提供)
修改后的功能如预期的那样愚蠢得快:
def sliding_window(run,data,am='mean',days='weekdays'):
data = data.asfreq('30T')
data = DataFrame({'Day': [d.date() for d in data.index], 'Time': [d.time() for d in data.index], 'Weekend': [weekday_string(d) for d …