基于跨模态近邻损失的可视-红外行人重识别

可视-红外跨模态行人重识别任务的目标是给定一个模态的特定人员图像，在其他不同模态摄像机所拍摄的图像集中进行检索，找出相同人员对应的图像。由于成像方式不同，不同模态的图像之间存在明显的模态差异。为此，从度量学习的角度出发，对损失函数进行改进以获取具有更加辨别性的信息。对图像特征内聚性进行理论分析，并在此基础上提出一种基于内聚性分析和跨模态近邻损失函数的重识别方法，以加强不同模态样本的内聚性。将跨模态困难样本的相似性度量问题转化为跨模态最近邻样本对和同模态样本对的相似性度量，使得网络对模态内聚性的优化更加高效和稳定。对所提方法在全局特征表示的基线网络和部分特征表示的基线网络上进行实验验证结果表明：所提方法对可视-红外行人重识别的预测结果相较于基线方法，平均准确度最高可提升8.44%，证明了方法在不同网络架构中的通用性；同时，以较小的模型复杂度和较低的计算量为代价，实现了可靠的跨模态行人重识别结果。