一种面向舱外活动的视觉感知启发的手势识别方法

针对航天员出舱作业(EVA)时的人机交互需求,结合着舱外服手套后手部动作的工效学分析,提出了一种结合眼动仪和手势识别技术的航天员目标选取方案,使航天员真正达到"解放双手"的目的。该方案采用眼动仪获取航天员"感兴趣目标区域"的位置信息,利用摄像头捕获航天员手势动作,并基于稀疏滤波的特征提取方法和神经网络分类器对手势进行识别,根据预定义的目标选取指令实现交互功能。试验结果表明,手势识别算法的识别率可达到95%以上,为后期将该交互系统集成到航天服中提供了原型依据。     

基于SS-ROI分割和CNN的交互手势识别

针对月面机器人在执行空间任务期间与航天员之间交互时的手势识别问题,提出一种基于SS-ROI分割和CNN的手势语义解读算法。利用SS算法的多策略融合优势,将待测图像生成目标候选区域,提取的各区域PHOG特征送入SVM分类器中进行分类,定位手势区域。采用7层网络结构对16种手势样本进行训练,得到迭代模型。对手势区域输入的迭代模型进行类别判断,得到识别结果。实验结果表明,算法验证识别率达到97.63%。     

基于支持向量机的人机交互媒体播放界面手势识别方法

为了提高手势识别在人机交互媒体播放界面交流的准确率，提出一种基于支持向量机的人机交互媒体播放界面手势识别方法。首先通过分析人机交互媒体播放界面，利用Cam Shift方法跟踪用户手势，确定手势在人机交互媒体播放界面的区域，通过计算波峰数量、手势的长度和能量，提取出手势特征；然后通过扫描用户手势的深度图像，得到手势范围，引入高斯滤波函数，过滤掉手势图像的掩模，确定手心位置，完成手势分割；最后利用支持向量机的分类阈值，计算手势图像的分类面，引入拉格朗日算法，将最优分类面问题转化为对偶性问题，实现人机交互媒体播放界面的手势识别。实验结果表明，该方法能够清晰识别人机交互媒体播放界面中的手势，并将准确率提高到90%以上。研究结果为复杂工作环境中运用手势动作进行人机互动提供理论支持。     

航天员与类人机器人月面联合探测概念初步研究

介绍了人机联合探测中涉及的类人机器人、遥操作、人机共享控制、地面验证等技术发展现状;对月面类人机器人与航天员联合探测的概念进行了初步研究,规划出了月面人机联合探测系统结构、探测模式和探测任务等;并对类人机器人技术、人机协同操作技术、遥操作控制技术和地面仿真验证技术等关键技术进行了总结。     

面向空间站在轨服务的人机系统概念设计

针对航天员与空间机器人组成的人机系统,对航天员与机器人的定位和关系进行了分析,根据我国空间站未来舱内外平台运营维护及载荷设备照料对人机系统的任务和功能需求,提出了一种以构型及操作特点与航天员类似的四臂拟人机器人为基础的新型人机系统,并从机器人的机构构型、控制模式及人机交互手段等方面对人机系统进行了概念设计。可为我国空间站后续运营维护手段的配置提供有益参考。     

面向航天员训练的混合现实场景理解方法研究

针对航天员混合现实系统在人机交互过程中尚未实现自主智能诱导的局限性,结合航天器舱内环境的特殊性,构建了一种航天员混合现实空间场景理解原型系统架构,提出了基于深度学习的空间场景自主理解方法,采用合成样本的方法建立了舱内设备数据库,实现了基于深度学习算法的自主舱内设备识别。实验结果表明,对舱内设备识别的mAP值达到79.8%,混合现实空间场景理解原型架构和场景理解方法可以有效解决航天员舱内训练设备操作状态变化的自然识别需求,并实现混合现实虚拟流程的自主引导。     

一种空间服务机器人在轨人机交互系统设计

研究在轨人机交互的技术瓶颈在于如何实现视觉、听觉等多源传感器信息的高效融合,以满足一系列耗时长、难度大、风险高、环境恶劣的空间任务需求。为此提出了一种基于多模态信息融合的在轨人机交互系统设计,构建了适应于不同任务需求和极端环境的人机交互体系架构,设计了近程/远程交互方案,构建沉浸式多源信息交互机制,并提供自然友好、高效便捷的人机交互接口。开展了多模态信息交互地面验证试验,结果表明,在轨交互涉及的复杂场景三维重建、人体姿态估计结果能有效克服时延大、临场感差等缺陷;经训练后的机器人对规定手势、语音指令的平均识别正确率分别可达74%和86.1%。     

面向机器人航天员的球形目标识别与定位方法研究

针对机器人航天员在典型目标识别与定位方面的问题,提出一种球形目标识别与定位方法,利用目标颜色特征和形状特征实现了目标识别,采用空间射影几何方法推导了单目视觉空间球定位公式,建立了硬件试验环境,在此环境下实现了基于彩色相机的单目视觉定位、双目立体视觉定位以及融合TOF相机和彩色相机的视觉定位方法。通过真实试验和仿真实验对这些方法进行了比较分析,得到了各自的适用条件,为工程应用中具体方法的选择提供了依据。     

机器人航天员精细操作方法及在轨验证

针对航天员舱外活动风险与空间探索的效率问题,建立了具有双臂手的机器人航天员系统。该机器人航天员由多自由度机械臂、仿人灵巧手及具有双目视觉系统的头部等构成,具有位置、力矩、视觉等多种感知功能。为了验证机器人航天员及在轨人机协同关键技术,在空间微重力环境下与航天员配合完成多种演示验证试验,为空间机器人辅助或配合航天员开展在轨维修积累了经验和数据。     

面向载人月球探测任务的月面机器人系统初探

未来有人参与的月面活动将更加复杂和多样化。针对载人月球探测任务对月面机器人系统的需求,介绍了空间机器人的发展现状,提出了我国月面活动按机器人先导探测、人机联合探测、远期科研站建设分步开展的设想,论证了月面活动不同发展阶段对机器人系统的任务及能力需求,按有限规模、多功能集成的原则提出了各阶段机器人配置设想,分析了月面机器人系统发展在移动、操作、感知、交互、环境适应性方面需解决的关键问题。     

月面多机器人的分布式协同定位算法研究

针对月面多机器人协同定位问题,建立了优化模型,提出了一种基于梯度的分布式步长一致算法,使每个机器人通过测量与邻居机器人的局部距离信息确定自己在网络中的位置。进行了基于测量距离信息的多机器人网络的仿真试验,结果表明,对网络中单个机器人任意给定初始位置估计值,经过该方法都可以有效获得其在网络中的全局定位;该算法也适用于移动机器人网络,静态网络定位中从给定初值到准确定位的收敛轨迹可作为多机器人移动过程的实时定位的轨迹。     

月面巡视机器人快速安全路径规划

为提高月面巡视机器人自主探测任务的效率及安全性,提出了一种基于月面数字高程地图的大范围自主探测快速安全路径规划算法。首先根据获取的月面数字高程地图设计了一种地形可通过性分析方法,并生成了欧几里得距离地图（EDM）为安全路径规划提供参考。然后针对A^*算法解决月面巡视探测问题时搜索速度慢、未考虑路径安全性的问题,提出了FSA^*算法,改进了A^*算法的搜索机制以适用于月面大范围路径的快速搜索,并结合EDM地图设计了一种安全启发式函数,可使生成路径尽量远离危险区域,提高了巡视机器人自主探测过程的安全性。最后选取月球艾特肯盆地区域作为仿真场景,验证了该算法的有效性。     

基于关节点遮挡推测的多相机手姿态估计方法

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度。     

月面机器人探测路线图及典型方案研究

月面机器人具有环境适应性好、工作时间长和安全性高等特点,是未来无人/载人月面探测中的重要支持系统。在分析整理国内外月面机器人探测历史与规划的基础上,梳理月面机器人探测任务需求。结合中国探月工程总体规划和技术水平,提出月球南极、中低纬度和月球背面月面机器人探测的路线图,并从科学价值、工程可行性等方面对各阶段着陆地点进行初选;详细阐述以水冰探测和生物学实验为主要目标的月球南极Shackleton山跨明暗界线探测方案,以及以人机联合探测、大深度地质钻探为特色的中低纬度海陆边界区探测的任务目标和系统方案,可为探月任务的实施提供参考和启示。     

视觉手势识别技术在航天虚拟训练中的应用研究

针对我国载人航天地面虚拟组装训练需求,研究了基于Kinect的视觉手势识别技术,提出了一种使用深度信息进行手势检测及分割的方法,采用手势图像轮廓曲率分析方法进行指尖检测,并结合Kalman滤波稳定跟踪指尖;同时自定义了几种组装所需的手势,根据图像的指尖特征进行特定手势识别。结合OpenNI、Nite和OpenCV,最终在VC2010环境下实现了航天虚拟组装训练系统。实验结果证明,该手势识别方法识别率较高,鲁棒性好,可应用于载人航天虚拟组装训练。     

集群化多功能载人月面着陆/上升器概念设计

针对未来载人月球探测器的的高可靠、低成本、可拓展任务等要求,提出了一种新型的集群化多功能载人月面着陆/上升器方案,采用集群模块化设计,将原本单一的登月舱进行解构,划分为指令舱、服务舱、运载航天员的登月舱以及功能模块,其中功能模块包括探测舱、仪器实验舱、通讯舱、能源舱以及包含燃料、食物和水等的后勤舱。对飞行器总体模块划分、着陆/上升飞行程序、补给方案等进行了分析,结果表明:模块化设计可实现各个模块最优着陆方案,保障航天员生命安全的同时达到解决控制难度和燃料消耗的问题;与此同时,功能模块的相互独立,有利于提高整体工作的执行效率,提高整体可靠性。该方案可为实现更多的月面任务提供足够的空间。     

月面服务机器人研究进展及发展设想

针对我国后续无人月球探测和载人月球探测中巡视勘察、资源利用、设施建造等任务对多功能巡视作业功能的月面服务机器人的迫切需求,综述了国内外轮腿式、可重构、仿生、翻滚式、弹跳式等新概念月面机器人的研究进展;结合无人月球探测及有人月球探测的任务,分析了月面活动对机器人高效移动、载荷操作、月面组装等需求;在此基础上,提出了月面服务机器人向轮腿式、可重构、多机协同、人机协作等方面发展的设想。可为我国后续无人月球探测和载人月球探测提供参考和借鉴。     

基于体态识别的航天员虚拟训练仿真技术研究

以未来空间站任务建设虚拟现实训练器为需求,为了最大限度地降低虚拟现实设备穿戴给航天员带来的额外束缚,提出了一种新的基于体态识别的航天员虚拟训练仿真系统:采用平行双目视觉原理和偏振立体电视实现立体图像的生成与显示;采用人体三层模型实现虚拟航天员表达,采用骨骼动画实现人体典型动作自动演示、Kinect实现人机交互过程中人体跟踪和运动控制,适合于空间站任务航天员训练、工效验证、典型流程演示等人机交互应用。     

月面重力环境效应的地面模拟方法

月球探测和月球基地建设涉及各种月面操作活动,相关技术的地面验证需要建立等效月面环境.针对月面重力环境效应的地面模拟问题,首先介绍了空间微重力环境效应地面模拟方法的原理及优缺点,分析了其用于模拟月面重力环境效应的可能性;然后归纳分析了星体表面操作地面试验现状及面临的问题;在此基础上,介绍了一种液磁混合悬浮模拟方法,阐释了...     

一种未知环境下的局部动态概率路线图法

针对未知环境中空中机器人路径规划问题,提出了一种适用于静态未知环境的路径规划方法。该方法在概率路线图法基础上,重新设计了在线重规划阶段,使得空中机器人不需更新整个规划空间,而是借助传感器感知环境信息,重构局部路线图,从而达到避障的目的。该方法可在规划空间中搜索出一条光滑的且能有效避开障碍物的可行路径。仿真结果表明,该方法复杂度低、实时性好,能快速规划出静态未知环境下空中机器人的可行路径。