小编Poo*_*shi的帖子

拆分火炬数据集而不进行改组

我用来Pytorch运行 Transformer 模型。当我想分割数据(标记化数据)时,我使用以下代码:

train_dataset, test_dataset = torch.utils.data.random_split(
                                                            tokenized_datasets,
                                                            [train_size, test_size])
Run Code Online (Sandbox Code Playgroud)

torch.utils.data.random_split使用洗牌方法,但我不想洗牌。我想按顺序分割它。

有什么建议吗?谢谢

python transformer-model torch pytorch pytorch-dataloader

2
推荐指数
1
解决办法
3555
查看次数