基于笔输入的三维造型系统的体系结构

分析了在产品概念设计阶段WIMP交互方式的诸多不足,论述了手势交互的优越性,给出了基于笔输入建立三维造型系统的体系结构,讨论了其中的关键技术问题,如手势设计、手势识别以及基于ACIS几何造型器的造型实现等.     

视觉手势识别技术在航天虚拟训练中的应用研究

针对我国载人航天地面虚拟组装训练需求,研究了基于Kinect的视觉手势识别技术,提出了一种使用深度信息进行手势检测及分割的方法,采用手势图像轮廓曲率分析方法进行指尖检测,并结合Kalman滤波稳定跟踪指尖;同时自定义了几种组装所需的手势,根据图像的指尖特征进行特定手势识别。结合OpenNI、Nite和OpenCV,最终在VC2010环境下实现了航天虚拟组装训练系统。实验结果证明,该手势识别方法识别率较高,鲁棒性好,可应用于载人航天虚拟组装训练。     

基于关节点遮挡推测的多相机手姿态估计方法

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度。     

安装主动侧杆的飞机的人机交互控制系统研究

主动侧杆人机交互控制是一种具有广泛应用前景和重要意义的技术，它不仅可以减轻飞行员的负担，也可以提高飞机的性能和安全性。为了解决飞机执行器出现故障时可能出现的飞机失控问题，本文构建了含有主动侧杆的飞机中飞行员与控制增稳系统之间的并联人机交互控制架构，设计了一种新的主动侧杆与飞行员交互方式，主动侧杆不仅传递操纵指令，还通过触觉反馈向飞行员传递飞行状态，使飞行员能够快速感知飞机故障并采取相应措施。同时，设计了控制增稳系统，选用自适应控制器，并在此基础上设计了改进型自适应控制器+PID控制器。利用模糊控制机制动态分配人机控制权重，为飞机系统和飞行员之间的交互提供更加灵活和精确的控制方式。最后，通过仿真验证了所设计的含主动侧杆的人机交互控制方法的有效性。     

基于改进YOLOv5的飞行员异常行为识别方法

为了快速准确地识别飞行员在驾驶舱内的异常行为,以保证航空安全,设计了一种基于改进YOLOv5算法的驾驶舱内飞行员异常行为识别方法。在YOLOv5的骨干网络中加入坐标注意力机制,获取在位置和方向上的特征信息,增强对注意力信息的敏感程度;改良交并比作为损失函数,提高模型计算速度和精度。训练自制飞行员异常行为原始数据集,实验结果表明,在模拟飞行驾驶舱中进行测试,能够准确快速识别飞行员的3种异常行为,平均精度达到98.3%,满足了识别要求。     

基于SS-ROI分割和CNN的交互手势识别

针对月面机器人在执行空间任务期间与航天员之间交互时的手势识别问题,提出一种基于SS-ROI分割和CNN的手势语义解读算法。利用SS算法的多策略融合优势,将待测图像生成目标候选区域,提取的各区域PHOG特征送入SVM分类器中进行分类,定位手势区域。采用7层网络结构对16种手势样本进行训练,得到迭代模型。对手势区域输入的迭代模型进行类别判断,得到识别结果。实验结果表明,算法验证识别率达到97.63%。     

基于支持向量机的人机交互媒体播放界面手势识别方法

为了提高手势识别在人机交互媒体播放界面交流的准确率，提出一种基于支持向量机的人机交互媒体播放界面手势识别方法。首先通过分析人机交互媒体播放界面，利用Cam Shift方法跟踪用户手势，确定手势在人机交互媒体播放界面的区域，通过计算波峰数量、手势的长度和能量，提取出手势特征；然后通过扫描用户手势的深度图像，得到手势范围，引入高斯滤波函数，过滤掉手势图像的掩模，确定手心位置，完成手势分割；最后利用支持向量机的分类阈值，计算手势图像的分类面，引入拉格朗日算法，将最优分类面问题转化为对偶性问题，实现人机交互媒体播放界面的手势识别。实验结果表明，该方法能够清晰识别人机交互媒体播放界面中的手势，并将准确率提高到90%以上。研究结果为复杂工作环境中运用手势动作进行人机互动提供理论支持。     

一种面向舱外活动的视觉感知启发的手势识别方法

针对航天员出舱作业(EVA)时的人机交互需求,结合着舱外服手套后手部动作的工效学分析,提出了一种结合眼动仪和手势识别技术的航天员目标选取方案,使航天员真正达到"解放双手"的目的。该方案采用眼动仪获取航天员"感兴趣目标区域"的位置信息,利用摄像头捕获航天员手势动作,并基于稀疏滤波的特征提取方法和神经网络分类器对手势进行识别,根据预定义的目标选取指令实现交互功能。试验结果表明,手势识别算法的识别率可达到95%以上,为后期将该交互系统集成到航天服中提供了原型依据。     

基于GASVM-HMM算法的飞行员操控意图识别

针对传统意图识别方法的识别单一性和实时性差的问题,提出基于GASVM-HMM算法的飞行员操控意图识别方法。20名被试者在A320飞行模拟器上进行测试,采集飞行过程中飞行员与显示屏和控制装置的交互动作数据,并建立操控意图数据集。方法将GA与SVM算法结合进行优化,提高识别的精度,并将GASVM层的输出转化为概率作为HMM层的输入值,进一步提高整体意图识别模型的准确性。与传统的算法进行对比后发现,GASVM-HMM算法的准确率较高,达到92.92%。最后进行实时验证,证明了算法的有效性。     

飞机智能座舱发展研究

针对未来飞行器面临的战场环境复杂性增加、飞行员操纵负荷增加、常规操纵方式无法适应危险环 境态势等问题，提出飞行器智能座舱设想，围绕基于态势感知的虚拟座舱系统、基于人工智能的飞行员辅助系 统、覆盖门到门的机组自动化系统等方向，通过虚拟现实技术、柔性显示技术、人工智能技术、信息处理技术 改进座舱设计，以增强飞行员态势感知能力、优化飞行员操纵方式、减轻飞行员决策负担、提高飞机的生存率、 实现降低飞行成本和危险环境下自主飞行。     

Leap Motion虚拟手构建方法及其在航天训练中的应用

针对我国载人航天地面虚拟训练中虚拟手构建的需求,利用Leap Motion手势采集设备,研究了虚拟手构建方法,提出了一种Leap Motion虚拟手模型与约束。采用获取的信息构建出符合人手生理学结构的虚拟手,并通过对比实验、主观评价实验验证了所构建的虚拟手与真实手在完成操作手势时的构型、姿态等的相似性。Leap Motion虚拟手构建方法在设备组装的虚拟操作训练中的应用实践表明:该方法构建出的虚拟手与真实手基本一致,构建速度快,交互性好,能够应用于以虚拟操作为代表的航天员虚拟训练中。     

基于增强现实的航空飞行辅助系统

采用基于增强现实的立体显示技术及与之对应的人机交互方式，可实现3D 立体虚拟场景和真实环 境融合的视觉显示效果，向飞行员提供全景战场态势沉浸感知能力和多维度显示信息虚拟再现能力，从而有效 支撑未来座舱智能感知和敏捷交互目标的实现。     

面向月面探测的空间机器人-航天员手势交互方法的研究

针对月面探测机器人-航天员手势交互的问题,以航天员助手机器人(AAR-2)为实验平台,运用卷积神经网络模型,提出了一种静态手势识别方法。采用该方法对设计的8种空间人机交互手势进行了手势识别试验,并将试验结果与单通道的CNN等方法的结果进行对比,证明了该方法能在一定程度上提高静态手势识别率,识别准确率达到93.3%。并自制了一套小型空间人机交互的手势数据集,用以补充该方法在月面探测的实际任务中的不足。     

无人机系统模拟训练体系构想

为满足无人机飞行员/操作员对模拟训练的需求,达到飞行员/操作员不同阶段、不同训练层次的训练效果,充分发挥装备的作战效能,提出了无人机系统模拟训练体系的详细构想。从无人机地面站的岗位设置类型和特点、模拟训练功能和层次需求以及国内外现状等角度论证了基于高、中、低搭配的模拟训练体系构想。本体系构想主要包括单机虚拟训练系统、嵌入式模拟训练系统和战术模拟训练系统。     

虚拟训练仿真中空间定向能力的影响因素分析

虚拟定向训练是空间站内定向训练的重要手段,制定合理有效的虚拟定向训练方案需要探究清楚影响虚拟环境下人定向能力的各类因素。结合空间站内虚拟训练的特点,从人的空间能力和虚拟训练系统的交互方式两个方面提出了影响虚拟训练仿真中定向能力的因素,并从理论上分析了这两大类因素在虚拟定向训练中的作用,形成了虚拟训练仿真中空间定向能力影响因素的综合分析结果。     

飞机着陆下沉速度的间接控制方法

着陆试验中,飞行员需要操纵飞机以要求的下沉速度着陆,但飞行员座舱内不显示下沉速度。考虑到飞机速度与下沉速度之间的关系,探索了一种通过平显的飞机速度大小和方向间接控制下沉速度的方法。首先分析了平显的飞机速度方向与真实速度方向之间的关系式,并针对着陆状态对该关系式进行了简化处理,得出了接地时的关系式;然后利用某型飞机着陆的数据,识别了接地时关系式中的系数,并将识别出来的关系式应用于该型飞机着陆试验中。试飞结果表明,该方法能让飞行员凭借平显的飞机速度大小和方向间接量化判断下沉速度的大小,实现了下沉速度的控制从经验式到量化式的转变,明显提高了下沉速度的控制精度,降低了着陆试验的风险。     

基于环境建模与修正的视觉/力觉辅助遥操作系统

为增强空间遥操作系统的力交互性,提出了一种基于视觉/力觉辅助的空间遥操作系统。结合虚拟现实技术,借助力觉反馈设备搭建了基于虚拟3D视觉反馈和虚拟力觉反馈的空间遥操作实验平台。使用KINECT相机采集3D点云数据,采用滑动最小二乘法(SLSM)在线识别未知环境中的模型参数并更新本地虚拟环境。通过虚拟预测环境产生实时的视觉、力觉反馈。基于人工势场的共享控制方法,产生引力或斥力信号来增强操作者控制远端机器人的避障及接近操作目标的能力。该方法在7自由度Schunk机械臂上得到了实现,实验表明此方法能够克服2 s时延影响并显著提高操作效率。     

基于改进GRA-TOPSIS法的飞行员核心胜任力评估

为评估飞行员岗位核心胜任力,有针对性地改进飞行训练,基于改进的GRA-TOPSIS法对飞行员核心胜任力水平进行评估。首先,通过CBTA体系和EBT手册确定9大核心胜任力评估指标,以资深飞行员、教员为对象进行问卷调查、专家访谈,对所得结果进行信度、效度、独立样本检验,最终确定了33项飞行员核心胜任力指标。其次,运用群决策相对熵结法、熵权法确定指标体系权重,改进GRA-TOPSIS算法以相对贴近度形式评价飞行员核心胜任力。最后,对随机抽取5名A330机型机长和副驾驶的核心胜任力进行综合评估,并以雷达图算法表征各飞行员核心胜任力水平差异。结果表明,改进的评估方法可以客观反应权重数值,能有效评估飞行员核心胜任力,有效识别各飞行员的胜任力偏差。     

飞行员疲劳监测中的人眼定位及状态判别研究

飞行员驾驶疲劳是影响飞行安全的重要因素之一。常用基于人眼识别的方法对飞行员进行疲劳监测，其关键是人眼定位及状态判别。利用改进的平均合成滤波器算法定位人眼，根据模糊综合评价思想，判定人眼睁开闭合状态，根据PERCLOS疲劳检测方法对飞行员进行疲劳监测。实验表明，改进的人眼定位方法具有更高的精确度和鲁棒性，提出的人眼状态判定方法能够满足疲劳监测需要。为最终构建一种机载的、实时的、非接触式的飞行员疲劳监测系统提供了理论基础。     

跟踪控制状态飞行员建模研究

在跟踪飞行状态时,飞行员是按被跟踪状态量的速率信息和跟踪误差信息以一定的控制规律进行操纵的。研究了飞行员在跟踪控制状态时操纵模型的建立方法,即如何建立飞行员的控制规律。以光学助降人工着舰时飞行员下滑"m eatball"对中跟踪操纵为例,采用海军惯用的"backside"技术设计了飞行员控制规律的操纵增益参数,并辅以仿真验证。结果表明,跟踪控制状态飞行员建模的简化方法具有普遍意义。