torch 库中的 BatchNorm1d() 方法如何工作？

Question

我正在学习pytorch，我不知道这个问题是否愚蠢，但我找不到解释nn.batchnorm1d的官方网站。我想知道怎么torch.nn.BatchNorm1d(d1)工作？我知道批量归一化就是让一批样本的均值和方差分别为0和1。我想知道是否有 nn.batchnorm2d，如果有，它有什么作用？参数是什么d1？

Answer 1

BatchNorm1d将 2/3 维数据(N, C)或 的数据归一化为 0 均值和单位方差，在每个或切片(N, C, L)的通道维度上计算；while对 4 个维度执行相同的操作，在每个切片的通道维度上进行计算。(N, L)(N,)BatchNorm2d(N, C, H, W)(N, H, W)

使用哪一种取决于输入数据的维度。例如在图像处理中，特征图通常有 2 个空间维度(N, C, H, W)，因此BatchNorm2d在这里很有用。然而，对于某些 NLP 任务，如果只考虑长度维度，则可以使用BatchNorm1d。对于这两个函数，d1参数是特征的数量，等于C输入张量的暗淡。