编者按：
深度学习算法正重新定义目标检测和分类技术。算法训练需要大量数据集，而数据集搜集通常是复杂和耗时的。在国防和安全领域，如果数据具有敏感性，例如军用舰船红外图像，训练可能难以实现。算法开发和训练通常在合成环境中进行，研究人员对解决方案在真实世界数据的通用性提出了质疑。
本文研究了无需真实红外数据训练的红外自动目标识别深度学习算法，利用目标-导弹交战仿真软件和10个高保真计算机辅助设计模型，生成了大型舰船长波红外图像合成数据集，并探索了多种训练YOLOv3体系结构的方法，并随后使用真实世界红外数据的视频序列进行了评估。实验表明，在训练数据中加入小样本的半标记非真实红外图像可以显著提高训练性能。尽管没有真实的红外训练数据，但在真实的测试数据上，高平均精度和召回率分别达到99%和93%。为了促进自动目标识别算法的进一步发展和标杆基准化，本文还提供了图片真实感合成红外图像数据集。
关键词：自动目标识别，深度学习，红外，反舰，数据集
检测算法。选择YOLOv3算法是因为其在COCO基准数据集上获得较高准确度，并受到其跨领域泛化潜力的影响，这一点可以从其前身识别艺术人员的能力看出，尽管其正在或已经接受VOC 2007数据集训练。YOLOv3还是一种高效的单触发算法，具有实时推理能力，其几个变体已进一步进行速度优化。
YOLOv3体系结构是完全卷积的，由一个主干特征检测器和一个金字塔特征网络风格的体系结构组成，支持三个尺度推理。主干特征检测器是Darknet-53 DCNN，能够获得与更大的ResNet-152模型相似的精度，但推理速度是后者两倍。
YOLOv3输出与不重叠的8、16和32像素单元相关。对于每一个像素单元，都会推断出包含边界框坐标、分类预测和Objectness分数的预测，与算法置信度有关，即预测对应于真实对象。该输出结构修改为包括预测对象类别（object type）和对象型别（object class）的能力，符合ATR领域常见的识别和确认范式。
图 2 海平面合成图像增强前后天空、海洋和背景状态的例子（为便于说明，对比度增强）
图 3 天空、海洋和背景状态增强前后的高仰角（high-elevation）合成图像实例（为便于说明，对比度增强）
算法训练。评估了三种模型训练方法，以检验合成图像是否可作为实际红外数据的有效替代品。基线实验训练完全依赖于技术人员的合成数据集，后两种实验训练数据通过添加半标记视觉光谱和伪红外图像增强。
就基线训练，技术人员的合成数据集是控制实验期间训练数据的唯一来源，如第3节所述，进行了海、天和杂波增强。进一步增强包括随机移动和旋转，为仿真真实系统通常产生的噪声，传感器噪声以随机高斯模糊、动感模糊（motion blur）和固定模式的形式添加。此后，所有训练图像的大小调整为576×288×1。
采用Adam梯度下降法和YOLOv3损失法优化模型权重。随机选取12.8万个训练实例，对模型进行50个回合训练。
就添加半标记视觉光谱图像训练而言，为提高对真实世界图像的通用性（generalisability），对模型进行了重新训练，并在视觉光谱中添加了8343幅图像。图像是从各种在线来源收集的，通过编程方式收集，使用本文研究的十个舰船型别作为关键词，因此每个图像类别（type）和型别标签自动指定。但是，为避免人工标注边界框的劳动密集型任务，图像省略了边界框标签，称为半标记图像。
在主干特征检测器的输出端（YOLOv3体系结构中）加入了一个图像分类器。该分类器由一个全连接层（FC）和全局平均池（global average pooling）组成，输出层包含14个输出神经元，其中4个与舰船类别有关，其余10个用于舰船型别（ship class）。使用交叉熵损失对该分类器的结果类别和型别预测进行独立评分，在训练过程中，通过复制人为地增加半标记数据的数量，使每幅半标记图像具有约5幅合成图像的采样率。
就半标记伪红外图像添加训练，为最大限度提高半标记可见光谱数据的影响，使用一组数据变换，将可见光谱数据转换为伪红外图像，并通过对每个图像的像素强度应用多重随机线性变换来实现。
评价。算法评估是用长波红外摄像机采集的一序列真实图像进行的，该序列图像内容为一艘海军护卫舰在沿海环境中以自身动力行驶，背景杂波范围很广，主要包括：一个导航浮标，以及岩石和堆积的海岸线。评估指标是精度、召回率和交互比（IoU），每个指标都忽略了船型和船级预测。
在三个实验中，YOLOv3算法训练数据的平均准确率、召回率和IoU得分分别超过0.98、0.92和0.86。经过红外验证序列评估，使用合成和半标记伪红外图像混合训练的模型获得了最佳性能，在精确度、召回率和平均IoU上分别达到了0.991、0.932和0.872的峰值。
图4显示了三组训练条件中的每一组所获得的F分数。当同时使用合成和半标记伪红外数据进行训练时，该算法峰值验证F值为0.96。仅用合成数据训练，或用合成数据辅以半标记视觉光谱数据训练，得分分别达到0.42和0.50峰值，结果表明尽管不足以单独训练YOL0v3算法，但添加半标记数据有助于显著提高性能，不过只有在这些数据针对红外域进行了裁剪并使其方差最大化之后，才有可能实现。
图5展示了对技术人员合成训练数据的一些例子的算法推断，用绿色绘制地面真值框，用蓝色绘制预测目标检测，并附带类别和型别预测。图6和图7分别显示了选择的半标记视觉光谱和伪红外训练图像，推断目标用蓝色绘制，船类和船型预测用绿色标注。半标记图像没有边界框标签，意味着检测算法没有明确显示如何正确注释这些例子，但能这样做。这证明了模型的泛化能力，并表明算法正在学习和识别来自真实世界图像的有用特征。
图 4 算法验证F分数
图 5 训练期间合成数据的算法输出示例（为便于说明，对比度增强，绿色框是地面真值，蓝色框和文本是算法预测）
图 6 训练期间半标记数据的算法输出示例（蓝色框和文本是算法预测）
图 7 训练期间半标记数据的算法输出示例（蓝色框和文本是算法预测）
本文以合成数据作为训练样本的唯一来源，成功地训练了一种用于红外反舰目标自动识别的端到端深度学习目标检测器。为此，需要解决有关生成合成数据的几个问题。有关天空和海洋状态以及背景杂波的多样性（有限）的问题，通过开发一个增强模块得到了解决，大大增加了合成图像的复杂性。其次，通过提高目标CAD模型的细节标准和开发一种自动生成目标红外特征的方法，使舰船外观更加逼真和多样化。这些改进措施产生了一种能够推广到真实红外图像领域的深度学习算法。
使用相对少量的半标记伪红外图像补充合成训练数据，验证性能得到了显著改善。补充数据使适用于红外验证序列的新特征学习成为可能，但尚未出现在技术人员的合成数据集中，却有助于提高真实红外领域的适用性。
使用半标记视觉光谱数据对算法验证性能影响不大，该算法能成功检测和识别图像中目标，表明特征是从这些数据中学习的。这些新特征很明显在应用于红外领域未产生作用，表明这些可见光谱图像不能充分代表红外数据。
当用技术人员合成数据对算法进行训练时，训练与测试成绩之间差异表明合成数据还有改进。在图像增强模块中使用真实红外图像（相对于灰度可见光谱数据），可以使合成数据更能代表测试域。真实世界情况可以通过包含弓形波和其他物体等已知会导致目标部分遮挡的前景杂波来更好表示。该数据集的未来迭代也将受益于更多的大气条件，包括雨、雾和太阳光，以及更多种类舰船加入。
深度学习算法有可能重新定义红外反舰自动目标识别领域的最新技术，但需要大量不同的注释训练数据集。本文描述了如何使用一系列高保真CAD模型（每个模型具有一系列独特的红外特征）和在线图像增强管道合成生成这些数据。此外，技术人员在不同条件下训练了一个修正的YOLOv3算法，并确认使用伪红外图像是提高算法泛化能力的有效方法。
此外，本文还提出了一个新的真实长波红外图像数据集，用于反舰自动目标识别算法的训练开发。该数据集包含972000个注释示例、10个不同的舰船型别，并使用不同天空和海洋状态以及背景杂波的在线增强实现其复杂性和多样性的最大化。
本文编译自2020年英国国防学院电子战信息和网络中心的相关研究资料，数据结果仅供参考。由于大量资料从互联网多个渠道收集整理，加之作者水平有限，可能存在认识或理解不当之处，更多精彩的国内外测试、仿真以及数据分析等内容，欢迎各领域专家联系本公众号探讨研究，交流指正。
需要英文原文及更多国外装备伪装隐身技术资料欢迎联系010-86468585，13810077682（微信同号）
