视觉手势识别技术在航天虚拟训练中的应用研究

针对我国载人航天地面虚拟组装训练需求,研究了基于Kinect的视觉手势识别技术,提出了一种使用深度信息进行手势检测及分割的方法,采用手势图像轮廓曲率分析方法进行指尖检测,并结合Kalman滤波稳定跟踪指尖;同时自定义了几种组装所需的手势,根据图像的指尖特征进行特定手势识别。结合OpenNI、Nite和OpenCV,最终在VC2010环境下实现了航天虚拟组装训练系统。实验结果证明,该手势识别方法识别率较高,鲁棒性好,可应用于载人航天虚拟组装训练。     

基于支持向量机的人机交互媒体播放界面手势识别方法

为了提高手势识别在人机交互媒体播放界面交流的准确率，提出一种基于支持向量机的人机交互媒体播放界面手势识别方法。首先通过分析人机交互媒体播放界面，利用Cam Shift方法跟踪用户手势，确定手势在人机交互媒体播放界面的区域，通过计算波峰数量、手势的长度和能量，提取出手势特征；然后通过扫描用户手势的深度图像，得到手势范围，引入高斯滤波函数，过滤掉手势图像的掩模，确定手心位置，完成手势分割；最后利用支持向量机的分类阈值，计算手势图像的分类面，引入拉格朗日算法，将最优分类面问题转化为对偶性问题，实现人机交互媒体播放界面的手势识别。实验结果表明，该方法能够清晰识别人机交互媒体播放界面中的手势，并将准确率提高到90%以上。研究结果为复杂工作环境中运用手势动作进行人机互动提供理论支持。     

基于SS-ROI分割和CNN的交互手势识别

针对月面机器人在执行空间任务期间与航天员之间交互时的手势识别问题,提出一种基于SS-ROI分割和CNN的手势语义解读算法。利用SS算法的多策略融合优势,将待测图像生成目标候选区域,提取的各区域PHOG特征送入SVM分类器中进行分类,定位手势区域。采用7层网络结构对16种手势样本进行训练,得到迭代模型。对手势区域输入的迭代模型进行类别判断,得到识别结果。实验结果表明,算法验证识别率达到97.63%。     

一种基于体感交互设备的虚拟沙盘展示技术

沙盘是进行军事推演和战术分析的重要手段,现有的虚拟沙盘大多由鼠标控制,存在交互方式不够自然等问题,难以满足飞行员在空中的沙盘操作需要。为此,设计了一种基于体感交互设备的虚拟沙盘展示技术,通过控制逻辑设计与手势识别稳定性分析,实现了基于手势识别的虚拟沙盘控制功能,为飞行员提供了更加方便、直观的观察和交互方式。     

一种面向舱外活动的视觉感知启发的手势识别方法

针对航天员出舱作业(EVA)时的人机交互需求,结合着舱外服手套后手部动作的工效学分析,提出了一种结合眼动仪和手势识别技术的航天员目标选取方案,使航天员真正达到"解放双手"的目的。该方案采用眼动仪获取航天员"感兴趣目标区域"的位置信息,利用摄像头捕获航天员手势动作,并基于稀疏滤波的特征提取方法和神经网络分类器对手势进行识别,根据预定义的目标选取指令实现交互功能。试验结果表明,手势识别算法的识别率可达到95%以上,为后期将该交互系统集成到航天服中提供了原型依据。     

基于关节点遮挡推测的多相机手姿态估计方法

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度。     

笔式用户界面中的手势资源

针对笔式用户界面中手势管理与应用之间的耦合度问题,提出了一种手势资源模型.该模型将手势作为一种独立的资源进行管理,在具体的笔式用户界面中,手势以引用的方式得以应用,有效降低了手势管理与应用之间的耦合度,提高了手势管理的灵活性和健壮性.     

面向月面探测的空间机器人-航天员手势交互方法的研究

针对月面探测机器人-航天员手势交互的问题,以航天员助手机器人(AAR-2)为实验平台,运用卷积神经网络模型,提出了一种静态手势识别方法。采用该方法对设计的8种空间人机交互手势进行了手势识别试验,并将试验结果与单通道的CNN等方法的结果进行对比,证明了该方法能在一定程度上提高静态手势识别率,识别准确率达到93.3%。并自制了一套小型空间人机交互的手势数据集,用以补充该方法在月面探测的实际任务中的不足。     

用户期望心象驱动的直升机造型进化设计

选取直升机造型典型元素——机身特征线为研究对象,基于遗传算法提出用户期望心象驱动的直升机造型进化思想和方法流程。获取用户期望的直升机造型心象形容词,经过聚类分析得到关键心象词汇并将其量化表征。从多种途径选取符合用户期望心象的直升机造型初始样本,选取机身侧面轮廓线为对象,利用贝塞尔曲线将其量化描述。为保证造型进化一直处于用户期望心象引导下,基于用户期望心象形容词构建人工适应度评估机制;进行交叉、变异操作,获得符合用户期望心象的造型进化子代种群,从而实现了基于用户期望心象驱动的造型进化目标,并以此指导直升机造型设计。以"绝影"高速隐身无人直升机造型进化设计为例,证明了该方法的合理性和可行性。     

基于复杂截线的NURBS双向蒙皮造型方法

通过对NURBS造型方法技术的研究,在我校自主开发的SuperManCAD/CAM集成系统中成功地实现了基于复杂曲线的NURBS双向蒙皮曲面的造型功能,建立了完全基于NURBS方法的CAD/CAM系统。大量的工程应用和实例验证,表明本研究的NURBS方法是一种适用于复杂外形产品设计与制造的、灵活有效的造型方法。