半虚拟现实座舱中基于最大后验概率框架的手姿态估计

手姿态估计是半虚拟现实(SVR)座舱环境中进行人机交互(HCI)的基础工作,为此提出一种基于最大后验概率(MAP)框架的手姿态估计方法.针对手部自遮挡问题,建立多视点手势特征树,通过树节点搜索实现手姿态参数的快速估计,并利用时序信息提高估计精度.在树节点搜索过程中,采用改进的局部敏感哈希(LSH)索引算法提高搜索效率....     

Leap Motion虚拟手构建方法及其在航天训练中的应用

针对我国载人航天地面虚拟训练中虚拟手构建的需求,利用Leap Motion手势采集设备,研究了虚拟手构建方法,提出了一种Leap Motion虚拟手模型与约束。采用获取的信息构建出符合人手生理学结构的虚拟手,并通过对比实验、主观评价实验验证了所构建的虚拟手与真实手在完成操作手势时的构型、姿态等的相似性。Leap Motion虚拟手构建方法在设备组装的虚拟操作训练中的应用实践表明:该方法构建出的虚拟手与真实手基本一致,构建速度快,交互性好,能够应用于以虚拟操作为代表的航天员虚拟训练中。     

空间站舱内定向虚拟训练方法研究

在失重环境下航天员常常以任意的身体姿态漂浮,依赖视觉线索定向便成为舱内航天员必须掌握的生存技能。针对在地面实物模拟器内难以开展空间定向训练的问题,提出了一套基于虚拟现实技术的空间定向训练方法。该方法以虚拟实验舱和核心舱为训练场景,提供三维空间记忆与定向策略,帮助航天员学习任意视角下定向的技能。实验结果表明,在具有不同视觉垂向信息量的舱段内,该方法均能够明显提高定向任务绩效,所提供的空间记忆策略有助于构建具有层次性的空间知识结构,多姿态定向训练能够帮助航天员建立清晰完整的舱内三维结构认知图。     

基于3D heatmap的人体三维姿态估计方法

针对肢体间自遮挡和物体遮挡造成的关节位置信息缺失问题,提出了一种基于3D heat-map的三维姿态估计方法.首先,采用卷积神经网络对人体二维关节点热图heatmap进行提取,并根据各摄像头间的外参数构建人体各关节点的初始3D heatmap;然后,利用人体扫描与建模获得的人体模型先验信息,采用期望最大化算法,迭代优化...     

虚拟手操作随动仿真算法研究

针对在交互操作过程中虚拟手抓持物体后,虚拟手及被操作物体如何逼真跟随运动的问题,分析了虚拟手交互操作过程。对虚拟手采用两层仿真模型,对绕轴转动类物体提出以转动角度计算其和虚拟手的随动算法,该算法保证了在移动过程中虚拟手与被操作对象的接触位置不变,实现了连续随动。给出了支持无约束自由移动类物体、有约束沿固定方向移动类物体和有约束绕轴转动类物体虚拟手交互操作统一仿真流程。最后通过空间站舱门和灭火器交互操作仿真实例对仿真流程和随动算法进行了综合验证,结果表明,仿真流程能适应不同约束类型的物体操作仿真,随动算法使得操作与视觉反馈一致,交互操作简单自然,实时性好,为后续航天员采用虚拟现实训练提供了有效的基础算法。     

力封闭虚拟手抓持规则研究

针对航天员虚拟训练虚拟手抓持操作中传统的碰撞检测和几何约束抓持规则判定标准简单、仿真效果不理想的问题,在力封闭判别和稳定静力抓持模型的基础上,提出了力封闭虚拟手抓持规则,实现了通过力与力矩计算判别是否抓持成功。并设计了两组抓持试验,从抓持接触点、被抓持物体材质等角度对抓持规则判定进行验证,结果证明该抓持规则可根据抓持手姿、被抓持物体材质,通过受力模型对抓持是否成功进行判别。通过力封闭计算制定抓持规则的方法,使抓持更符合实际抓持,为基于物理的虚拟手抓持研究提供了一种方法,可以应用到航天员虚拟训练虚拟手抓持中。     

视觉手势识别技术在航天虚拟训练中的应用研究

针对我国载人航天地面虚拟组装训练需求,研究了基于Kinect的视觉手势识别技术,提出了一种使用深度信息进行手势检测及分割的方法,采用手势图像轮廓曲率分析方法进行指尖检测,并结合Kalman滤波稳定跟踪指尖;同时自定义了几种组装所需的手势,根据图像的指尖特征进行特定手势识别。结合OpenNI、Nite和OpenCV,最终在VC2010环境下实现了航天虚拟组装训练系统。实验结果证明,该手势识别方法识别率较高,鲁棒性好,可应用于载人航天虚拟组装训练。     

基于SS-ROI分割和CNN的交互手势识别

针对月面机器人在执行空间任务期间与航天员之间交互时的手势识别问题,提出一种基于SS-ROI分割和CNN的手势语义解读算法。利用SS算法的多策略融合优势,将待测图像生成目标候选区域,提取的各区域PHOG特征送入SVM分类器中进行分类,定位手势区域。采用7层网络结构对16种手势样本进行训练,得到迭代模型。对手势区域输入的迭代模型进行类别判断,得到识别结果。实验结果表明,算法验证识别率达到97.63%。     

航天员混合现实训练与支持技术研究

基于航天员地面单人便携训练、多人协同操作训练、空间在轨操作辅助支持以及远程协同支持等工程任务需要,开展混合现实训练与支持技术研究。设计了航天员混合现实训练与支持的工程实现总体技术框架,针对航天员地面训练环境、在轨任务环境以及远程支持环境等特殊因素,对混合现实头盔头部位姿实时估计技术、多人协同操作技术以及远程支持场景匹配等关键技术进行研究。试验验证和航天员体验表明,技术方法有效、用户体验良好,满足空间站航天员地面与长期在轨典型性训练和支持任务需求,提高了训练支持质量和效率。     

基于体态识别的航天员虚拟训练仿真技术研究

以未来空间站任务建设虚拟现实训练器为需求,为了最大限度地降低虚拟现实设备穿戴给航天员带来的额外束缚,提出了一种新的基于体态识别的航天员虚拟训练仿真系统:采用平行双目视觉原理和偏振立体电视实现立体图像的生成与显示;采用人体三层模型实现虚拟航天员表达,采用骨骼动画实现人体典型动作自动演示、Kinect实现人机交互过程中人体跟踪和运动控制,适合于空间站任务航天员训练、工效验证、典型流程演示等人机交互应用。     

一种空间服务机器人在轨人机交互系统设计

研究在轨人机交互的技术瓶颈在于如何实现视觉、听觉等多源传感器信息的高效融合,以满足一系列耗时长、难度大、风险高、环境恶劣的空间任务需求。为此提出了一种基于多模态信息融合的在轨人机交互系统设计,构建了适应于不同任务需求和极端环境的人机交互体系架构,设计了近程/远程交互方案,构建沉浸式多源信息交互机制,并提供自然友好、高效便捷的人机交互接口。开展了多模态信息交互地面验证试验,结果表明,在轨交互涉及的复杂场景三维重建、人体姿态估计结果能有效克服时延大、临场感差等缺陷;经训练后的机器人对规定手势、语音指令的平均识别正确率分别可达74%和86.1%。     

虚拟现实技术在空间站舱内定向训练中的应用

载人航天中,失重环境和结构复杂的空间站对航天员空间定向能力的影响极大,导致航天员可能出现空间失定向现象。针对在地面难以使用实物进行空间定向任务训练的问题,阐述了虚拟现实技术在空间定向训练中的应用,并对其特点进行了分析,设计了基于虚拟现实技术的空间定向训练系统提供飞行前的适应性训练,使航天员掌握依赖视觉信息进行空间定向的技能,为后续更为复杂的航天员空间操作任务提供新的训练方式。     

失重状态下旋转陀螺交互操作的仿真研究

针对在地面难以使用实物进行空间操作任务训练的问题,提出了一种基于人机交互和物理引擎技术的交互操作虚拟仿真方法,并实现了失重状态下旋转陀螺的虚拟操作训练。实现中首先建立航天员和陀螺的三维图形模型和用于碰撞检测的物理模型,并采用虚拟现实设备数据手套和位置跟踪仪实时跟踪获取受训人体的实时运动数据,用于交互控制虚拟航天员的运动,最终通过物理引擎及仿真算法计算失重状态下旋转陀螺的运动状态。结果显示,该方法较好地解决了旋转陀螺定轴特性仿真问题,能够满足虚拟训练的实时性和有效性要求。     

一种基于体感交互设备的虚拟沙盘展示技术

沙盘是进行军事推演和战术分析的重要手段,现有的虚拟沙盘大多由鼠标控制,存在交互方式不够自然等问题,难以满足飞行员在空中的沙盘操作需要。为此,设计了一种基于体感交互设备的虚拟沙盘展示技术,通过控制逻辑设计与手势识别稳定性分析,实现了基于手势识别的虚拟沙盘控制功能,为飞行员提供了更加方便、直观的观察和交互方式。     

面向机器人航天员的球形目标识别与定位方法研究

针对机器人航天员在典型目标识别与定位方面的问题,提出一种球形目标识别与定位方法,利用目标颜色特征和形状特征实现了目标识别,采用空间射影几何方法推导了单目视觉空间球定位公式,建立了硬件试验环境,在此环境下实现了基于彩色相机的单目视觉定位、双目立体视觉定位以及融合TOF相机和彩色相机的视觉定位方法。通过真实试验和仿真实验对这些方法进行了比较分析,得到了各自的适用条件,为工程应用中具体方法的选择提供了依据。     

基于环境建模与修正的视觉/力觉辅助遥操作系统

为增强空间遥操作系统的力交互性,提出了一种基于视觉/力觉辅助的空间遥操作系统。结合虚拟现实技术,借助力觉反馈设备搭建了基于虚拟3D视觉反馈和虚拟力觉反馈的空间遥操作实验平台。使用KINECT相机采集3D点云数据,采用滑动最小二乘法(SLSM)在线识别未知环境中的模型参数并更新本地虚拟环境。通过虚拟预测环境产生实时的视觉、力觉反馈。基于人工势场的共享控制方法,产生引力或斥力信号来增强操作者控制远端机器人的避障及接近操作目标的能力。该方法在7自由度Schunk机械臂上得到了实现,实验表明此方法能够克服2 s时延影响并显著提高操作效率。     

机器人航天员精细操作方法及在轨验证

针对航天员舱外活动风险与空间探索的效率问题,建立了具有双臂手的机器人航天员系统。该机器人航天员由多自由度机械臂、仿人灵巧手及具有双目视觉系统的头部等构成,具有位置、力矩、视觉等多种感知功能。为了验证机器人航天员及在轨人机协同关键技术,在空间微重力环境下与航天员配合完成多种演示验证试验,为空间机器人辅助或配合航天员开展在轨维修积累了经验和数据。     

虚拟航天员多层次运动仿真模型研究与实现

为解决虚拟现实训练中航天员模型实时交互控制和失重运动仿真等问题,提出了一种多层次运动仿真模型,在运动控制层实现运动跟踪,并构建标准化人体运动模型;物理控制层采用物理引擎建立人体多刚体动力学模型;规则控制层为不同的运动方式制定相应规则,显示层使用骨骼蒙皮技术提升显示效果。通过各层次组合的方式,共同实现了虚拟航天员的交互运动仿真。通过两个应用实例,证明了该层次化组合模型实现的虚拟航天员运动,可同时实现实时交互控制、失重运动仿真、交互操作仿真、太空行走仿真以及较好的显示效果,并适用于多种任务场景的航天员训练。     

航天员舱内虚拟训练体验质量评价试验研究

针对虚拟训练系统的体验质量问题,采用用户主观评价的方法,从多个维度设计指标,选取典型的虚拟训练任务,设计了用户体验试验,对航天员舱内导航与操作虚拟训练系统的体验质量展开了评价。结果表明,用户总体体验满意度较高,系统能够模拟逼真的环境,带给用户身临其境的感觉,且用户自觉虚拟训练有实效;但也存在诱发生理不适,交互设备使用不自然的问题,需要进一步完善。     

无人机群体视角下的轨迹预测CSCD

利用无人机对观测目标的运动轨迹进行预测是当前无人系统领域的关键任务之一。目前的目标轨迹预测研究通常基于单一无人机所采集的轨迹数据,但由于场景中障碍物以及视角倾斜等因素的影响,单无人机不易稳定监测目标具体位置,容易导致目标丢失。而且,现有利用无人机的目标轨迹预测一般基于鸟瞰视角,没有发挥出无人机的灵活性。随着无人机集群协同技术的发展,无人机群体视角为目标全方位监测提供了新的思路,在解决目标丢失和目标遮挡问题中具有明显的优势。同时,基于多无人机的位姿估计可以估计出目标的准确三维坐标,为无人机的灵活视角观测提供基础。因此,从轨迹预测的相关工作出发,探讨无人机群体视角下轨迹预测中面临的挑战和解决思路,以期对未来的轨迹预测研究以及集群协同技术发展提供一定帮助。