Fully Convolutional Networks for Semantic Segmentation
GitHub

1. 去除全连接层： 传统的卷积神经网络（CNN）通常包含卷积层和全连接层。在这篇论文中，作者认识到全连接层会导致输出固定大小的特征向量，从而限制了CNN在图像语义分割任务中的应用。 因此，作者去除了CNN中的全连接层，将其替换为全卷积层，使得网络能够接受任意大小的输入图像，并输出相同尺寸的像素级别的分类结果。

2. 转换为全卷积网络： 通过将CNN中的全连接层替换为全卷积层，作者将CNN转换为了全卷积网络（FCN）。 全卷积网络具有端到端的特性，能够直接对输入图像进行像素级别的分类，从而实现了图像语义分割任务的端到端映射。

3. 使用反卷积（转置卷积）进行上采样： 在FCN中，为了将卷积层的输出恢复到输入图像相同的大小，作者使用了反卷积（deconvolution）进行上采样。 通过反卷积操作，网络能够学习将低分辨率的特征图扩展到与输入图像相同的分辨率，从而得到像素级别的分类结果。

4. 添加跳跃连接： 为了提高分割精度，作者在FCN中引入了跳跃连接（skip connections）。 跳跃连接能够将不同层次的语义信息结合起来，从而提高了网络对局部和全局信息的感知能力，进而提高了分割精度。

5. 使用多尺度特征融合： 为了进一步提高分割精度，作者还提出了使用多尺度特征融合的方法。 通过将不同层次的特征图进行融合，网络能够同时关注不同尺度的信息，从而提高了对图像语义的理解能力。

ref