Tru*_* Le 12 python variable-length pytorch tensor
我有一个数据集，如下所示。那就是第一项是用户ID，后跟用户单击的一组项目。
0 24104 27359 6684
0 24104 27359
1 16742 31529 31485
1 16742 31529
2 6579 19316 13091 7181 6579 19316 13091
2 6579 19316 13091 7181 6579 19316
2 6579 19316 13091 7181 6579 19316 13091 6579
2 6579 19316 13091 7181 6579
4 19577 21608
4 19577 21608
4 19577 21608 18373
5 3541 9529
5 3541 9529
6 6832 19218 14144
6 6832 19218
7 9751 23424 25067 12606 26245 23083 12606
我定义了一个自定义数据集来处理我的点击日志数据。
0 24104 27359 6684
0 24104 27359
1 16742 31529 31485
1 16742 31529
2 6579 19316 13091 7181 6579 19316 13091
2 6579 19316 13091 7181 6579 19316
2 6579 19316 13091 7181 6579 19316 13091 6579
2 6579 19316 13091 7181 6579
4 19577 21608
4 19577 21608
4 19577 21608 18373
5 3541 9529
5 3541 9529
6 6832 19218 14144
6 6832 19218
7 9751 23424 25067 12606 26245 23083 12606
然后，我使用DataLoader从数据中检索微型批次以进行培训。
import torch.utils.data as data
class ClickLogDataset(data.Dataset):
def __init__(self, data_path):
self.data_path = data_path
self.uids = []
self.streams = []
with open(self.data_path, 'r') as fdata:
for row in fdata:
row = row.strip('\n').split('\t')
self.uids.append(int(row[0]))
self.streams.append(list(map(int, row[1:])))
def __len__(self):
return len(self.uids)
def __getitem__(self, idx):
uid, stream = self.uids[idx], self.streams[idx]
return uid, stream
上面的代码返回的结果与我预期的不同，我想stream_batch成为length类型为integer的2D张量16。但是，我得到的是长度为16的一维张量的列表，该列表只有一个元素，如下所示。这是为什么 ？
#stream_batch
[tensor([24104, 24104, 16742, 16742, 6579, 6579, 6579, 6579, 19577, 19577,
19577, 3541, 3541, 6832, 6832, 9751])]
Jat*_*aki 12
那么您如何处理样品长度不同的事实呢？torch.utils.data.DataLoader有一个collate_fn参数，用于将样本列表转换为批次。通过默认情况下它这个以列表。您可以编写自己的collate_fn，例如0-pads 输入，将其截断为某个预定义长度或应用您选择的任何其他操作。
这是我这样做的方式：
def collate_fn_padd(batch):
'''
Padds batch of variable length
note: it converts things ToTensor manually here since the ToTensor transform
assume it takes in images rather than arbitrary tensors.
'''
## get sequence lengths
lengths = torch.tensor([ t.shape[0] for t in batch ]).to(device)
## padd
batch = [ torch.Tensor(t).to(device) for t in batch ]
batch = torch.nn.utils.rnn.pad_sequence(batch)
## compute mask
mask = (batch != 0).to(device)
return batch, lengths, mask
然后我将它作为collate_fn.
pytorch 论坛中似乎有一大堆不同的帖子。让我链接到所有这些。他们都有自己的答案和讨论。在我看来，没有一种“标准的做法”，但如果有权威参考资料，请分享。
理想的答案提到会很好
那种东西。
列表：
分桶： - https://discuss.pytorch.org/t/tensorflow-esque-bucket-by-sequence-length/41284
正如@Jatentaki所建议的那样，我编写了自定义的整理函数，并且工作正常。
def get_max_length(x):
return len(max(x, key=len))
def pad_sequence(seq):
def _pad(_it, _max_len):
return [0] * (_max_len - len(_it)) + _it
return [_pad(it, get_max_length(seq)) for it in seq]
def custom_collate(batch):
transposed = zip(*batch)
lst = []
for samples in transposed:
if isinstance(samples[0], int):
lst.append(torch.LongTensor(samples))
elif isinstance(samples[0], float):
lst.append(torch.DoubleTensor(samples))
elif isinstance(samples[0], collections.Sequence):
lst.append(torch.LongTensor(pad_sequence(samples)))
return lst
stream_dataset = StreamDataset(data_path)
stream_data_loader = torch.utils.data.dataloader.DataLoader(dataset=stream_dataset,
batch_size=batch_size,
collate_fn=custom_collate,
shuffle=False)