简介

显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图，现有模型的检测结果都不是很理想。为了解决这一问题，该文提出了一种新型多模态增强融合网络(EF-Net)，用于有效的RGB-D显性检测。具体来说，首先仅仅利用RGB图像提示映射模块来预测提示映射，编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图，从而抑制噪声并锐化对象边界。最后，该文构造了分层聚合模块，用于融合增强后的深度图与RGB图像中提取的特征，以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测，充分利用了RGB图像和深度图中的信息，有效地解决了深度图的低质量问题，显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明，该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

主要贡献

• 该文提出了一种新型深度增强和融合框架来解决深度地图的低质量问题，它利用RGB图像的颜色提示映射模块提供的先验知识，有效地提高了深度地图的质量。

• 该文提出了一个有效的分层聚合模块，充分利用多模态数据用以融合从RGB图像和增强深度图中提取的特征。

• 该文提出的EF-Net在五个广泛使用的基准数据集上的评价指标优于12种SOTA方法。通过进一步评价RGB-T数据表明，EF-Net是一般多模态显着性检测的有效解决方案。

与其他方法比较的可视化图片：

模型：

1）首先将RGB图像输入ResNet-50编码架构，得到四层编码特征，再利用一个1×1和两个3×3卷积层提取显着性特征{Hi0, i = 1, 2, 3, 4}和边缘特征{Ei0, i = 1, 2, 3, 4}，同时将特征通道数变为32通道。

2）将显着性特征{Hi0, i = 1, 2, 3, 4}和边缘特征{Ei0, i = 1, 2, 3, 4}输入CRUs模块，具体公式如下：

下载链接：

http://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html）

附图如下：

3）将特征Hi和Ei分别输入U-Net网络，即利用U-Net解码结构将特征Hi和Ei得进行一系列卷积、上采样和级联，以自顶向下的方式融合四个层得到初步的显著性预测图hint map Sh与边缘预测图edge map Se。

4）将Sh 与深度图depth输入深度增强模块DEM，模块图如下：

得到增强的深度初始图，再输入ResNet-18进行训练，得到增强的深度图 {EDi, i = 1, 2, 3, 4}。初始深度图与增强后的深度图对比如下，可以看到质量明显提升。

5）将增强的深度图 {EDi, i = 1, 2, 3, 4}与步骤2）得到的显著特征图{Hi, i = 1, 2, 3, 4}输入跨模态融合模块，模块图如下：

公式为：

在特征聚合之后，再次使用U-Net来组合和细化{DHi，i=1、2、3、4}来预测最终的显着性映射Sf。

损失函数：

该文利用多监督提升模型的性能，损失函数为交叉熵损失。将深度监督应用于初步的显著性预测图 Sh 与边缘预测图 Se，用GT图Gs监督Sh，用GT取梯度得到的边界图Ge监督Se，用GT图Gs监督最终的显着性映射Sf。公式如下：

实验结果

EF-Net和其他8种最先进的方法在四个基准数据集上的F-测度和精度-回归曲线：

定量评价结果：

除了在RGB-D数据集上训练测试网络之外，该文还在RGB-T上训练测试网络，结果如下：

总结

该文提出了一种有效的RGB-D显性检测方法EF-Net，它首先利用从高质量RGB图像中学习到的先验知识增强深度图，然后在增强和融合框架中融合RGB和增强的深度特征。EF-Net由三个主要模块组成，包括用于生成提示图的CHMM、用于增强带有颜色提示图的深度图的DEM和用于聚合多模态特征的LAM。该方法有效地解决了深度图的低质量问题，并解决了与多模态融合相关的挑战，这最终导致了有希望的显着性检测性能。在四个流行的基准上的广泛实验表明，EFNet明显优于现有的SOTA方法。此外，在两个RGB-T数据集上进行了额外的实验，以探索EF-Net进一步扩展到RGB-T显性检测。实验结果表明，EF-Net能够准确地从RGB-T数据中检测出突出物体，这意味着EF-Net是一种有效的双流显著物体检测解决方案。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。