01前景概要
在今天分享中,我们团队在FUSAR船舶数据集和SimpleCopyPaste方法的基础上生成了一个新的Artificial-SAR-Vessel数据集中。我们进一步提出了一种新的多类船检测,称为CRAS-YOLO,它由卷积块注意力模块(CBAM)、感受野块(RFB)和基于YOLOv5s的自适应空间特征融合(ASFF)组成。CRAS-YOLO改进了基于路径聚合网络(PANet)的特征金字塔网络,该网络集成了RFB特征增强模块和ASFF特征融合策略,以获得更丰富的特征信息,并实现多尺度特征的自适应融合。同时,在骨干中增加了CBAM,以准确定位船只位置,提高检测能力。
结果证实,CRAS-YOLO模型的准确度、召回率和平均准确度(mAP)(0.5)分别高达90.4%、88.6%和92.1%。所提出的模型在另一个Sar船舶检测(SSDD)数据集中的精度、召回率和mAP得分分别高达97.3%、95.5%和98.7%,也优于先前的研究结果。
02项目背景
如今,深度学习已经突破了传统目标检测算法的瓶颈,成为检测的主流算法。深度学习方法不需要在SAR图像中分离海洋和陆地,只需要通过标记的数据集进行训练,在目标检测方面具有很大的优势。目前流行的目标检测算法有两种类型。一种是基于区域推荐的两阶段目标检测算法,其中代表性的方法有基于区域的卷积神经网络(R-CNN)、Fast R-CNN和Faster R-CNN。其主要思想是利用选择性搜索方法来生成建议区域,然后在建议区域中进行回归分类。另一种是一阶段目标检测算法,它将检测问题简化为回归问题,只需要卷积神经网络就可以直接获得目标的类概率和位置坐标。代表性算法包括YOLO、SSD、Retina-Net等。YOLO系列算法通常比其他算法更快,对小目标检测效果良好。它们是经典的一阶段检测方法,通常比其他算法具有更快的识别速度,并且在小目标检测中表现出优异的检测能力。
迄今为止公开发布的上述SAR船舶探测数据集大多只包含船舶位置数据,缺乏船舶类别数据。同时,唯一一个名为SRSDD的公共多类别船舶检测数据集存在严重的类别不平衡问题,严重影响了船舶检测的准确性。因此,我们在研究中,基于FusarShip数据集和HAISI-1卫星拍摄的海面远程合成孔径雷达(SAR)图像的组合,生成了一个新的数据集,称为Artificial-SAR-Vessel据集。创新性地将SimpleCopyPaste方法引入到数据集的构建中,希望对SAR船舶检测数据集进行补充,为船舶检测数据缺乏的问题提供新的解决方案。
03新研究框架介绍
我们研究的CRAS-YOLO是为了在给定SAR图像的情况下,在精确定位船只位置和提高检测能力方面提供高性能而形成的。下图中的流程图显示了所提出的CRAS-YOLO是如何开发的。
首先,生成了Artificial-SAR-Vessel数据集。其次,通过在YOLOv5s网络中添加CBAM、RFB和ASFF,形成了所提出的CRAS-YOLO模型。接下来,给出了性能度量,以评估所提出的模型与其他模型相比的性能。最后,将所开发的CRAS-YOLO模型应用于基于卫星图像的船舶探测。
在我们的研究中,提出的CRAS-YOLO船舶检测和分类模型基于YOLOv5s,通过在PANet(RA PANet)中添加RFB和ASFF来改进FPN,以获得更丰富的特征信息,并实现多尺度特征的自适应融合。拟议的CRAS-YOLO还将CBAM集成到网络的颈部。CRAS-YOLO的完整网络结构如下图所示。
注意机制主要包括空间注意和渠道注意。SE和ECA是渠道关注机制的代表。CA是空间注意机制的代表。CBAM融合了通道和空间注意力机制,具有良好的性能。我们将CBAM插入颈部结构中,以实现更有效的特征提取。从下图中,CBAM通过通道模块和空间模块提取特征信息,并使用串行结构融合特征信息。
从下图中,首先,输入特征图通过通道模块生成通道权重,并将获得的权重与输入相乘以生成通道图。接下来,将通道特征图导入空间模块以生成空间权重,并将权重与导入的特征图相乘以生成空间图。最后,将最终的加权特征图和原始输入逐元素相加,得到最终的输出结果,详细的CBAM结构如图所示。
浅层滤波器提取的特征包含更具体的特征信息。因此,我们在浅层集成了CBAM,以从浅层特征图中学习和选择重要特征,提高船舶的定量性能。
SAR图像特征图的可视化。(a) 通过滤波器从RA PANet的骨干网络中提取的特征图的可视化。(b) 从浅层到深层的小型船舶特征图的可视化。
RFB特征增强模块网络结构
ASFF网络结构
04实验及可视化
CRAS-YOLO与其他模型的实验结果比较
基于CRAS-YOLO模型的船舶检测结果:上面三张分别是复杂海岸背景下的船舶测试结果,下面三张分别是深海中稀疏分布的船舶测试成果。