深度可分离卷积

Question

我是深度学习的新手，最近遇到了深度明智的可分离卷积。它们显着减少了处理数据所需的计算，并且只需要标准卷积步骤计算的 10%。

我很好奇这样做背后的直觉是什么？我们确实通过减少参数数量和减少计算来实现更高的速度，但是在性能上是否存在权衡？

此外，它是仅用于图像等特定用例还是可以应用于所有形式的数据？

Answer 1

直观上，深度可分离卷积 (DSC) 分别对空间相关性和跨通道相关性进行建模，而常规卷积同时对它们进行建模。在我们最近在 BMVC 2018上发表的论文中，我们给出了一个数学证明，即 DSC 只不过是常规卷积的主要成分。这意味着它可以捕获常规卷积中最有效的部分并丢弃其他冗余部分，使其非常高效。对于权衡，在我们的论文中，我们给出了一些关于 VGG16 无数据规则卷积分解的经验结果。然而，通过足够的微调，我们几乎可以减少精度下降。希望我们的论文能帮助您进一步了解 DSC。