SpaceMocap：在轨人体运动捕捉系统

SpaceMocap是一套基于多RGB-D相机的计算机视觉航天员运动捕捉系统。地面准备阶段，扫描航天员模型，并分别标定彩色相机的内参数。在轨采集阶段，3~4台相机布置在舱内角落，同步采集航天员任务视频。地面处理阶段，通过相机外参数标定和ICP方法实现点云融合，采用深度神经网络对人体关节点位置进行检测并初始化位姿参数，再用改进的ICP方法进行位姿求精，实现序列图像中关节角度跟踪。本系统搭载TG-2升空，对SZ-11航天员的任务视频进行了采集和处理，首次获取了在轨航天员的姿态(包括中性体位)、占位空间、运动参数等重要数据。结果表明，运动捕捉的模型与点云具有良好的重合度，关节点位置与关节角度具有较高的跟踪精度。SpaceMocap是我国首个在轨运动捕捉系统，它小型、轻质，具有计算机视觉特有的非接触测量、直观、高精度优势，无需在人体上粘贴任何标志，具有良好的抗遮挡能力，完全适用于微重力、狭小空间环境下的在轨应用 。     

基于多任务辅助推理的近眼视线估计方法

眼动交互是头戴式虚拟现实(VR)/增强现实(AR)设备的关键操控方式, 如何进行高精度、高鲁棒性的非标定视线估计是当前VR/AR眼动交互的核心问题之一, 高效、鲁棒的非标定视线估计需要大量的眼图训练数据和高效的算法结构做支撑。在现有基于深度学习的近眼视线估计方法的基础上, 通过添加多任务辅助推理模块, 增加网络结构的多阶段输出, 进行多任务联合训练, 在不增加视线估计测试耗时的前提下, 有效提升视线估计精度。在模型训练时, 从视线估计网络结构的多个中间阶段引出多个眼部特征的辅助推理并行网络头, 包括眼动图像的语义分割、虹膜边界框及眼部轮廓信息, 为原始视线估计网络提供多阶段中继监控, 在不增加训练数据的基础上, 有效提升视线估计网络的测试精度。在国际公开数据集Acomo-14与OpenEDS2020上的验证实验表明, 与无辅助推理的网络相比, 所提方法精度分别得到了21.74%与18.91%的效果提升, 平均角度误差分别减少到1.38°与2.01°。