Spatial CNN(空间卷积神经网络)

参考论文

Pan, X., Shi, J., Luo, P., Wang, X., & Tang, X. (n.d.). Spatial As Deep: Spatial CNN for Traffic Scene Understanding. ArXiv PreprintarXiv:1712.06080.

SCNN方法包含四个步骤:

1、向下(SCNN_D)X切成H个薄片,每片形状为C \times W,然后对每一片特征图都应用1D卷积(卷积核大小w \times C),并将结果加到下一片

latex插件抽风,只能放截图了

2、向上(SCNN_U)同向下操作,但是从X_H向上传递。

3、向右(SCNN_R)X切成W个薄片,每片形状为C \times H,然后对每一片特征图都应用1D卷积(卷积核大小h \times C),并将结果加到下一片。

4、向左(SCNN_L)同向右操作,方向相反。

由于使用了”更长”的卷积核,SCNN可以更好地捕捉具有空间连续性的对象(比如车道线、电线杆)

这种方式可以捕捉到像素的全局依赖关系。SCNN实际上利用了车道线等的形状先验,特别是空间连续性,设计了定向的卷积操作,更好地捕捉到图像中的空间结构信息。