Fáb*_*rez 5 python deep-learning pytorch data-augmentation
如何Subset
在 PyTorch 中为不同的s使用不同的数据增强(转换)?
例如:
train, test = torch.utils.data.random_split(dataset, [80000, 2000])
Run Code Online (Sandbox Code Playgroud)
train
并且test
将具有与 相同的变换dataset
。如何对这些子集使用自定义转换?
我目前的解决方案不是很优雅,但有效:
from copy import copy
train_dataset, test_dataset = random_split(full_dataset, [train_size, test_size])
train_dataset.dataset = copy(full_dataset)
test_dataset.dataset.transform = transforms.Compose([
transforms.Resize(img_resolution),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225])
])
train_dataset.dataset.transform = transforms.Compose([
transforms.RandomResizedCrop(img_resolution[0]),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225])
])
Run Code Online (Sandbox Code Playgroud)
基本上,我为其中一个拆分定义了一个新数据集(它是原始数据集的副本),然后我为每个拆分定义了一个自定义转换。
注意:train_dataset.dataset.transform
有效,因为我使用的是ImageFolder
数据集,该数据集使用.tranform
属性来执行转换。
如果有人知道更好的解决方案,请与我们分享!
这就是我使用的(取自这里):
import torch
from torch.utils.data import Dataset, TensorDataset, random_split
from torchvision import transforms
class DatasetFromSubset(Dataset):
def __init__(self, subset, transform=None):
self.subset = subset
self.transform = transform
def __getitem__(self, index):
x, y = self.subset[index]
if self.transform:
x = self.transform(x)
return x, y
def __len__(self):
return len(self.subset)
Run Code Online (Sandbox Code Playgroud)
这是一个例子:
init_dataset = TensorDataset(
torch.randn(100, 3, 24, 24),
torch.randint(0, 10, (100,))
)
lengths = [int(len(init_dataset)*0.8), int(len(init_dataset)*0.2)]
train_subset, test_subset = random_split(init_dataset, lengths)
train_dataset = DatasetFromSubset(
train_set, transform=transforms.Normalize((0., 0., 0.), (0.5, 0.5, 0.5))
)
test_dataset = DatasetFromSubset(
test_set, transform=transforms.Normalize((0., 0., 0.), (0.5, 0.5, 0.5))
)
Run Code Online (Sandbox Code Playgroud)
归档时间: |
|
查看次数: |
3507 次 |
最近记录: |