基于关节点遮挡推测的多相机手姿态估计方法

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度。     

视觉手势识别技术在航天虚拟训练中的应用研究

针对我国载人航天地面虚拟组装训练需求,研究了基于Kinect的视觉手势识别技术,提出了一种使用深度信息进行手势检测及分割的方法,采用手势图像轮廓曲率分析方法进行指尖检测,并结合Kalman滤波稳定跟踪指尖;同时自定义了几种组装所需的手势,根据图像的指尖特征进行特定手势识别。结合OpenNI、Nite和OpenCV,最终在VC2010环境下实现了航天虚拟组装训练系统。实验结果证明,该手势识别方法识别率较高,鲁棒性好,可应用于载人航天虚拟组装训练。     

基于现代教育技术的虚拟实验系统构建模式的研究

虚拟实验系统是现代教育技术和实践教学理论相结合的产物。通过对网上虚拟实验系统构建技术的全面分析和总结 ,将适合于高职高专院校的虚拟实验教学系统的构建模式划分为模拟演示型、系统仿真型、虚拟操作训练型和真实测量型等四种类型 ,并给出了对于高职高专院校具有重要的意义的构建方案、实现思路、适用场合和应用案例     

虚拟手操作随动仿真算法研究

针对在交互操作过程中虚拟手抓持物体后,虚拟手及被操作物体如何逼真跟随运动的问题,分析了虚拟手交互操作过程。对虚拟手采用两层仿真模型,对绕轴转动类物体提出以转动角度计算其和虚拟手的随动算法,该算法保证了在移动过程中虚拟手与被操作对象的接触位置不变,实现了连续随动。给出了支持无约束自由移动类物体、有约束沿固定方向移动类物体和有约束绕轴转动类物体虚拟手交互操作统一仿真流程。最后通过空间站舱门和灭火器交互操作仿真实例对仿真流程和随动算法进行了综合验证,结果表明,仿真流程能适应不同约束类型的物体操作仿真,随动算法使得操作与视觉反馈一致,交互操作简单自然,实时性好,为后续航天员采用虚拟现实训练提供了有效的基础算法。     

一种基于体感交互设备的虚拟沙盘展示技术

沙盘是进行军事推演和战术分析的重要手段,现有的虚拟沙盘大多由鼠标控制,存在交互方式不够自然等问题,难以满足飞行员在空中的沙盘操作需要。为此,设计了一种基于体感交互设备的虚拟沙盘展示技术,通过控制逻辑设计与手势识别稳定性分析,实现了基于手势识别的虚拟沙盘控制功能,为飞行员提供了更加方便、直观的观察和交互方式。     

力封闭虚拟手抓持规则研究

针对航天员虚拟训练虚拟手抓持操作中传统的碰撞检测和几何约束抓持规则判定标准简单、仿真效果不理想的问题,在力封闭判别和稳定静力抓持模型的基础上,提出了力封闭虚拟手抓持规则,实现了通过力与力矩计算判别是否抓持成功。并设计了两组抓持试验,从抓持接触点、被抓持物体材质等角度对抓持规则判定进行验证,结果证明该抓持规则可根据抓持手姿、被抓持物体材质,通过受力模型对抓持是否成功进行判别。通过力封闭计算制定抓持规则的方法,使抓持更符合实际抓持,为基于物理的虚拟手抓持研究提供了一种方法,可以应用到航天员虚拟训练虚拟手抓持中。     

近代园林体感互动游戏的设计与实现

新一代Kinect2.0设备打破了传统体感设备统治市场(Kinect1.0,Leap Motion和PlayStation Move等)的格局,在人物识别的有效距离,精准度和处理速度等方面都有了质的提高。基于kinect2.0的体感游戏,以C#的WPF框架和kinect2.0互联来实现"十九世纪近代园林体感互动游戏",为达到沉浸式的体验效果,从动画的3D艺术效果、kinect动作识别的灵活性以及游戏的流畅性等方面着手开发出一款完美的体感游戏。     

面向航天员训练的混合现实场景理解方法研究

针对航天员混合现实系统在人机交互过程中尚未实现自主智能诱导的局限性,结合航天器舱内环境的特殊性,构建了一种航天员混合现实空间场景理解原型系统架构,提出了基于深度学习的空间场景自主理解方法,采用合成样本的方法建立了舱内设备数据库,实现了基于深度学习算法的自主舱内设备识别。实验结果表明,对舱内设备识别的mAP值达到79.8%,混合现实空间场景理解原型架构和场景理解方法可以有效解决航天员舱内训练设备操作状态变化的自然识别需求,并实现混合现实虚拟流程的自主引导。     

失重状态下旋转陀螺交互操作的仿真研究

针对在地面难以使用实物进行空间操作任务训练的问题,提出了一种基于人机交互和物理引擎技术的交互操作虚拟仿真方法,并实现了失重状态下旋转陀螺的虚拟操作训练。实现中首先建立航天员和陀螺的三维图形模型和用于碰撞检测的物理模型,并采用虚拟现实设备数据手套和位置跟踪仪实时跟踪获取受训人体的实时运动数据,用于交互控制虚拟航天员的运动,最终通过物理引擎及仿真算法计算失重状态下旋转陀螺的运动状态。结果显示,该方法较好地解决了旋转陀螺定轴特性仿真问题,能够满足虚拟训练的实时性和有效性要求。     

XNA环境下数据手套交互模块的研究与实现

数据手套作为虚拟现实系统中自然的人机交互设备,能够将人手的姿势实时地传递到虚拟环境中,使用户能够更加有效而自然地与虚拟世界交互。在VC＋＋．NET中封装5DTSDK中的系统函数,解决了XNA与指针接口交互困难的问题,实现了数据手套供XNA使用的COM交互接口;通过在XNA中使用骨骼蒙皮技术,消除了传统虚拟手皮肤出现裂纹等问题;根据人手的运动学特点,在XNA中实现了虚拟手与数据手套的实时交互。实验表明,虚拟手模块能够实时、逼真地实现人手的运动。     

虚拟仿真实验系统的建模方法研究

提出了虚拟仿真实验系统建模的“数学模型 图像模型”的模型结构,该模型从真实实验抽象出实验场景、仪器对象以及元器件对象,采用面向对象方法对它们进行数学建模与图像建模,完成对真实实验的虚拟;总结了虚拟仿真实验开发过程中的各种仿真建模方法和技术,包括数学模型的建立、静态和动态三维图像模型的建立、数学模型与图像模型的协调工作等;最后给出了面向对象的可重用建模方法,该方法具有良好的直观性、可扩展性和可重用性。     

一种基于LeapMotion的灵巧虚拟手抓取交互方法

利用物体抓取任务中所有五个手指运动的运动学分析结果,结合LeapMotion 运动跟踪设备的特点和 逆运动学,提出了一种简单而有效的灵巧虚拟手抓取交互方法,使用户在虚拟环境中,通过一只灵巧的虚拟手 作为化身,在不进行手指弯曲运动跟踪的情况下,即可自然地到达并抓取数字三维物体。验证结果表明,所提 出的方法比传统的基于正向运动学的虚拟抓取方法具有一定的优势。     

航天员舱内虚拟训练体验质量评价试验研究

针对虚拟训练系统的体验质量问题,采用用户主观评价的方法,从多个维度设计指标,选取典型的虚拟训练任务,设计了用户体验试验,对航天员舱内导航与操作虚拟训练系统的体验质量展开了评价。结果表明,用户总体体验满意度较高,系统能够模拟逼真的环境,带给用户身临其境的感觉,且用户自觉虚拟训练有实效;但也存在诱发生理不适,交互设备使用不自然的问题,需要进一步完善。     

机载火控系统虚拟仿真实验室的构建与研究

为了解决院校教育与部队先进装备的同步训练,采用虚拟仿真技术、虚拟仪器测试技术、人工智能故障检测技术构建了机载火控系统虚拟仿真实验室.经使用,该实验室的功能达到了设计要求,不仅满足了教学需要,而且采用技术先进,设备性能优越,极大提高了院校为部队人才培训及装备维修保障的能力.     

基于模糊综合评价的民机虚拟维修训练评估

针对民机虚拟维修训练人员的评估优选问题,运用模糊综合评判方法,综合考虑了故障分析、故障定位、工具使用、关键操作等各方面的因素,建立了民机虚拟维修训练人员的选优标准、选优的程序步骤。给出了基于权值的模糊层次分析与评判方法。该方法通过两两元素相对比较技术来建立判断矩阵,改善了AHP方法所给出判断矩阵的不平衡问题而得出权值,再根据权值的大小对训练进行分析与评判。最后,通过一个民机虚拟维修训练评估和选择的实例来应用和检验这种系统综合评判方法。     

基于SS-ROI分割和CNN的交互手势识别

针对月面机器人在执行空间任务期间与航天员之间交互时的手势识别问题,提出一种基于SS-ROI分割和CNN的手势语义解读算法。利用SS算法的多策略融合优势,将待测图像生成目标候选区域,提取的各区域PHOG特征送入SVM分类器中进行分类,定位手势区域。采用7层网络结构对16种手势样本进行训练,得到迭代模型。对手势区域输入的迭代模型进行类别判断,得到识别结果。实验结果表明,算法验证识别率达到97.63%。     

VMware Workstation在高职计算机教学中的应用

总结利用VMware Workstation构建虚拟实验环境,缓解高职教学过程中实验场地和设备不足的缺陷,提高设备的安全稳定性,促进学生自主学习,为高职计算机教学提供了一种良好的解决方案.     

无人机沉浸式模拟训练系统设计与实现

针对传统无人机模拟训练沉浸感差的问题,将数字头盔和三维动态鼠标等虚拟现实设备应用到无人机模拟训练中,通过多人协同交互、全息显示、多通道图像处理等技术手段,提供一种全新的沉浸式训练体验,使得教学训练更加生动.采用通用的开发语言、标准模块的设计结构和通用开放的设计接口,通过三维模型制作、虚拟场景搭建,创造立体逼真的虚拟操作...     

MSC软件助力航天七○二所进行虚拟测试

MSC公司近日宣布,中国航天科技集团公司第一研究院第七〇二研究所使用MSC公司的Patran、MSCNastran及Adams软件进行航天器的虚拟测试来进行航天器设计的验证及试验方案评估。航天七〇二研究所多年使用MSC产品来进行虚拟试验,在对真实的航天器样机进行物理实验之前,通过虚拟试验来预测试验时提取数据的位置,并通过虚拟试验和真实试验的结合,准确、全面地评估设备。航天七〇二所试验中心主任说,"试验本身的数据具有一定的统计性,     

基于环境建模与修正的视觉/力觉辅助遥操作系统

为增强空间遥操作系统的力交互性,提出了一种基于视觉/力觉辅助的空间遥操作系统。结合虚拟现实技术,借助力觉反馈设备搭建了基于虚拟3D视觉反馈和虚拟力觉反馈的空间遥操作实验平台。使用KINECT相机采集3D点云数据,采用滑动最小二乘法(SLSM)在线识别未知环境中的模型参数并更新本地虚拟环境。通过虚拟预测环境产生实时的视觉、力觉反馈。基于人工势场的共享控制方法,产生引力或斥力信号来增强操作者控制远端机器人的避障及接近操作目标的能力。该方法在7自由度Schunk机械臂上得到了实现,实验表明此方法能够克服2 s时延影响并显著提高操作效率。