调用 `cublasSgemm` 时如何修复 RuntimeError CUDA 错误 CUBLAS_STATUS_INVALID_VALUE？

Question

在工作 cuda 环境中训练某些模型时，您可能会收到错误RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)

这意味着什么以及如何解决它？

Answer 1

可能是形状错误的不完整报错：

nn.Linear 模块的尺寸与其输入不匹配，例如x.shape == [a, b]进入 a 时nn.Linear(c, c, bias=False)c 与 x 的形状不匹配，将导致此错误消息。

请参阅Pytorch 论坛对话。