面向MR远程协同任务的实物虚拟化方法研究

混合现实（Mixed reality,MR）技术的飞速发展为装配场景中的远程协同任务带来了新的可能。作为MR协同系统的前置环节，实物虚拟化的主要任务是为用户浏览与交互提供可靠的模型支撑与虚实融合关系。现有方法无法同时兼顾装配零件细节高还原度、低虚拟化成本的目标。本文提出了一种基于模板匹配和点云配准原理的零件模型精密恢复方法，针对MR远程协同过程中的任务相关零件，首先通过基于背景差分与八叉树空间检索的背景点云分割以及基于超体素的前景粘连点云分割获得零件点云相关的先验信息来分割模板匹配感兴趣区域ROI，解决了原始LineMod算法抗遮挡性弱、模板比对效率低的问题，完成了对零件点云的识别匹配和位姿粗略估计；然后利用ICP算法进一步优化估计的位姿，求解相关零件在重建点云模型中的精确位姿；最后根据此位姿，用高精度的零件CAD模型替换3D重建点云场景中的零件重建点云模型，最终实现对共享MR协同场景的实物虚拟化。通过对复杂装配场景中的多种零件进行实物虚拟化试验，证明了本文方法能够准确识别零件点云，实现精确的实物虚拟化，在MR远程协同任务中具有重要的实用意义。