卷积神经网络（CNN）具有平移等变性的观点在某种程度上深入人心，但很少有人去探寻其原因或者理论根据。这篇文章将对这个问题进行系统地讲解，为后续进一步研究CNN的其他等变性和不变性设计夯实基础。

在机器学习中，我们通常关注模型的灵活性。我们希望知道选择的模型实际上能够完成我们想要的任务。例如，神经网络的通用逼近定理使我们相信神经网络可以近似任何所需精度的广泛类别的函数。但完全的灵活性也有缺点。虽然我们知道我们可以学习目标函数，但也存在许多错误的函数，它们在我们的训练数据上看起来完全一样。如果我们是完全灵活的，我们的模型可能会学习其中任何一个函数，一旦我们移开了训练数据，我们可能无法进行泛化。因此，需要对网络的灵活性加以限制。卷积神经网络是减少灵活性的一个著名成功案例。相较于早期的MLP网络，CNN的卷积牺牲了一部分灵活性，但实现了图像数据的平移等变性，这对于图像处理是十分重要的性质。

简而言之，等变性映射是保留变换的代数结构的映射。作为一个特殊情况，平移等变映射是一种映射，当输入被平移时，会导致一个映射发生相应的平移，如下图所示：

当左边的输入图像被平移一定的量时，输出特征图也会被相同的量进行平移。具体而言，如下图所示，

输入图像显示数字“4”，向右平移得到另一个输入图像。和分别是通过平移等变映射计算得出的特征图。在这种情况下，通过将传递给得到的特征图相当于对特征图做相同的平移得到的特征图。

首先让我们写下卷积的定义：

本质上，这定义了一个相关性(Correlation)而不是卷积(Convolution)。然而，在深度学习领域中的惯例是将其称为卷积，这里我们将沿用这个惯例。在这里，和都有个通道。为了简洁，本文中我们取。

现在,我们的目标是，给定一张图像，我们将用滤波器对其进行卷积。然后，我们想验证对于任何平移，以下两个操作是相同的：

• 将平移，然后将结果与进行卷积。
• 将与进行卷积，然后将结果平移。

因此，我们需要证明的方程是：

注意到我们可以通过替换重写卷积：

现在我们来分别写出我们想要证明的等式两边的定义。首先，对于  的定义：

还有  的定义：

这两个表达式是相等的，所以证毕。

值得进一步思考的是，这种等价性为什么成立。我们进行的 的替换之所以有效，有两个原因：

• 这个替换是从到的双射。
• 求和是在整个空间上进行的。

这两个特性加在一起可以确保，在左边求和式中出现的每一项也都会出现在右边的求和式中，反之亦然。

同时，这种推理方法与卷积神经网络中的平移等变性的实际局限性相符，即卷积不是完全的平移等变性。这是因为总会在边界上丢失信息，换句话说，在实际应用中，并不是对整个求和，而只对其一个子集求和。这违反了上面的第二点，因此替换并不完全成立，导致了卷积的平移等变性的局限性。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。