基于多模态组合互补性学习的时尚兼容度预测模型研究

在时尚单品兼容度预测研究中,多模态特征间的互补性以及融合特征对于视觉特征的相关性问题未得到充分挖掘。针对这个问题,提出多模态组合互补性学习的时尚兼容度预测模型。该模型由四部分构成：特征提取网络使用ResNet18提取视觉特征和LSTM提取文本特征;然后使用联合表征网络将视觉特征与文本特征映射到相同的多模态嵌入空间中,减小模态间的差异性增强互补性;考虑到互补融合特征对于视觉特征的相关性问题,特征融合网络使用了组合模块分别组合了视觉特征和多模态特征;最后使用类别感知的映射方法将多模态特征映射进基于类别感知的嵌入空间中分析时尚服装的兼容度。实验仿真结果表明,该模型在消融实验以及在时尚兼容度预测的相关评价指标上均有提升和优化。