基于自适应记忆长度的多尺度模态融合网络

为了更好地利用点云和光学图像在自动驾驶领域的互补感知优势，提出了一种双模态融合网络MerNet。网络采用点云特征和光学图像特征并行编码的结构，在每一个编码阶段通过基于残差映射和膨胀点注意力机制的融合模块将光学图像特征单向融合到点云特征支路。设计了一种多尺度膨胀支路的级联空洞卷积模块，以加强点云的上下文联系，并在并行支路上采用瓶颈结构来降低上下文模块的参数量。为进一步优化参数更新过程，提出了一种自适应变历史记忆长度的优化算法，考虑了不同梯度变化趋势下历史梯度的贡献值。研究了一种基于交叉熵损失的协同损失函数，通过交叉比对不同模态的预测标签，并通过设定阈值筛选对比模态的预测特征，突出不同传感器的感知优势。在公开数据集SemanticKITTI上对MerNet进行了训练和验证，实验结果表明：提出的双模态网络能够有效提升语义分割性能，并使算法更加关注驾驶环境中的高危险性动态目标。同时，提出的上下文模块还能够降低64.89%的参数量，进一步提高算法的效率。