5 python python-datetime python-xarray
我有一个xarray具有以下维度的数据集:
Dimensions: (subject: 30, session: 5, time: 45000)
Coordinates:
* subject (subject) object '110' '112' '114' '117' ...
* session (session) object 'week1' 'week2' 'week3' ...
* time (time) timedelta64[ns] 00:00:00 00:00:00.040000 ...
Run Code Online (Sandbox Code Playgroud)
我想将每个试验(主题/会话组合)分成更小的时间段,例如分成 3 个段,每个段有 15000 个值,结果维度可能如下所示:
(subject: 30, session: 5, segment: 3, time: 15000)
Run Code Online (Sandbox Code Playgroud)
我已经搜索并尝试了很多东西但都没有成功,这怎么办?
我一直在尝试的一件事似乎很接近,就是创建一个新的 MultiIndex 并将其拆开。
segment_data = np.repeat(range(3),len(ds.time)//3)
segment = xr.Variable(dims='time',data=segment_data)
newtime_data = np.tile(ds.time[:len(ds.time)//3],3)
newtime = xr.Variable(dims='time',data=newtime_data)
dsr = ds.assign_coords(segment=segment,newtime=newtime)
dsr = dsr.set_index(segment='segment',newtime='newtime')
dsr = dsr.stack(fragment=['segment','newtime'])
Run Code Online (Sandbox Code Playgroud)
然而,最后一行需要大量内存,并且似乎创建了一个维度fragment: len(ds.time)**2,这似乎不正确。我也不确定在这之后我必须做什么(unstack('fragment')?)。
编辑:更多的尝试让我来到这里:
x = np.repeat(range(3),15000)
y = np.tile(ds.time[:len(ds.time)//3],3)
dsr = (ds.assign_coords(segment=x,time2=y)
.set_index(fragment=['segment','time2'])
.unstack('fragment'))
Run Code Online (Sandbox Code Playgroud)
这给出了:
(subject: 30, segment: 3, session: 5, time: 45000, time2: 15000)
Run Code Online (Sandbox Code Playgroud)
这看起来很接近,但它并不完全存在,因为time2现在每个点都有 45000 个值,而它应该是单个值:
dsr.isel(subject=0,segment=0,session=0,time2=0)
# (time: 45000)
Run Code Online (Sandbox Code Playgroud)
编辑:我终于找到了一种方法,请参阅我的答案。欢迎提供更多建议!
小智 6
首先确保您有两个新维度的标签。在这种情况下如下:
x = range(3) # 3 segments
y = ds.time[:len(ds.time)//3] # the first 1/3rd of the time labels
Run Code Online (Sandbox Code Playgroud)
然后pandas从这些标签创建一个MultiIndex*。
ind = pd.MultiIndex.from_product((x,y),names=('segment','new_time'))
Run Code Online (Sandbox Code Playgroud)
最后,将timeDataset 中的索引替换为这个新索引,然后将其层级拆开以创建所需的两个维度。
dsr = ds.assign(time=ind).unstack('time')
Run Code Online (Sandbox Code Playgroud)
您可能希望使用rename重命名新维度:
dsr = dsr.rename({'new_time':'time'})
Run Code Online (Sandbox Code Playgroud)
结果尺寸:
(subject: 30, segment: 3, session: 5, time: 15000)
Run Code Online (Sandbox Code Playgroud)
现在是关闭的唯一的事情就是维度的顺序(理想情况下segment,并session 应被交换)。我认为transpose这会有所帮助,但“尽管每个数组的维度顺序会改变,但数据集维度本身将保持固定(排序)顺序。” ** 所以我可能会像这样忍受它。
* 请注意,您将无法使用要拆分的维度的名称,因此我们在'new_time'此处提供。不必要的限制assign?
** 我无法解释的另一个限制。