基于脑电和眼动信号的人机交互意图识别

意图识别在人机交互（HCI）领域受到广泛关注,传统人机交互意图识别方法单纯依靠脑电（EEG）或眼动数据,不能很好地利用2种方法优点。为此,提出了一种融合脑电和眼动数据的人机交互意图识别方法,通过采集脑电和眼动信号,进行特征提取,输入机器学习模式识别网络进行意图识别,并基于Dempster-Shafer （D-S）证据理论进行决策层融合得出最终识别结果。招募了20名有效受试者进行交互意图识别实验,结果表明,基于脑电和眼动信号的人机交互意图识别方法识别准确率高于单纯依靠脑电和眼动数据的方法,可为下一步飞行器和武器系统人机交互系统自适应设计提供理论依据和技术支持。     

空中交通管制员的眼动行为与疲劳关系

在空中交通管制工作中,管制疲劳程度度量是一项需要长期研究的重要课题。实时测量管制员的疲劳程度,对航空运输系统的安全运行有重要意义。提出以眼动行为特征指标作为反映管制员疲劳程度的依据,利用faceLAB 5.0系统记录了管制员在正常状态和疲劳状态下进行管制模拟实验的眼动数据和绩效数据,分析了管制员的绩效数据与眨眼频率和瞳孔直径两种眼动指标在不同状态下的变化规律。研究发现与正常状态相比,管制员在疲劳状态下的眨眼频率增加,瞳孔直径减小。随着任务时间的增加,被试的绩效变差,眨眼频率增加,瞳孔直径减小,表明被试的工作状态从正常状态转为疲劳状态。统计分析结果说明,眨眼频率和瞳孔直径能够有效地检测管制员的疲劳状态,充分刻画不同工作时段管制员工作状态的变化,为开发实用的疲劳监测系统提供理论基础。     

面向舱外航天服的眼动交互技术研究

针对现有舱外航天服人机交互方式较为单一的问题,提出了一种利用头戴式增强现实显示技术与头戴式眼动仪相结合的眼动交互方法。使用目前已成熟的瞳孔角膜反射法实现了视线跟踪;设计了基于注视停留时间触发和长眼跳触发的眼动交互模式,实现了在增强现实显示界面的眼动人机交互。可用性评估结果表明该技术能够实现人眼注视方向的准确估计,具有对测试者侵扰程度低、眼控触发灵敏高效的优点,可有效提高航天员出舱活动任务的工作效率。     

四轴无人机飞行控制的多模态脑机接口技术

提出一种面向四轴无人机飞行控制的多模态脑机接口系统,利用有限状态机将自发的脑电图信号转化为命令,以控制四轴无人机在空间飞行。首先,针对传统固定窗口对有效信号割裂的问题,通过滑动窗口计算脑电图O2通道信号的方差来确定睁闭眼状态,并利用脑电图Fp2通道中的眼电伪迹快速计算眨眼次数,以此识别用户是否正在刻意眨眼,避免了用户自然眨眼对系统的影响,同时保证了系统的舒适度。然后,为了解决控制命令与必要飞行模式数量不相等的问题,设计有限状态机实现只通过两种不同类型的脑电信号对四轴无人机起飞、降落、悬停、旋转和前进等多种飞行模式的控制。最后,确立试验范式并开展相关试验,结果表明飞行任务的成功率达到91%,证明了该脑机接口系统对四轴无人机控制的有效性和可靠性。     

基于支持向量机的人机交互媒体播放界面手势识别方法

为了提高手势识别在人机交互媒体播放界面交流的准确率，提出一种基于支持向量机的人机交互媒体播放界面手势识别方法。首先通过分析人机交互媒体播放界面，利用Cam Shift方法跟踪用户手势，确定手势在人机交互媒体播放界面的区域，通过计算波峰数量、手势的长度和能量，提取出手势特征；然后通过扫描用户手势的深度图像，得到手势范围，引入高斯滤波函数，过滤掉手势图像的掩模，确定手心位置，完成手势分割；最后利用支持向量机的分类阈值，计算手势图像的分类面，引入拉格朗日算法，将最优分类面问题转化为对偶性问题，实现人机交互媒体播放界面的手势识别。实验结果表明，该方法能够清晰识别人机交互媒体播放界面中的手势，并将准确率提高到90%以上。研究结果为复杂工作环境中运用手势动作进行人机互动提供理论支持。     

基于多任务辅助学习特征的瞳孔中心检测

眼动跟踪技术在航空领域极具潜力，其作为关键的信息获取和人机交互手段，可用于精确的目标瞄准、飞行员状态监测，对飞行安全和作战精准意义重大。而瞳孔中心检测作为核心技术，决定了眼动追踪系统的鲁棒性和准确性，本文提出一种基于多任务辅助学习特征的瞳孔中心检测算法，模拟人类视觉系统的多任务辅助学习特性，引入多任务模块，实现从粗到精的瞳孔中心检测，并通过试验验证了本文方法的有效性和先进性，从而提高了眼动跟踪的精度和准确性，为航空领域的各项任务和操作提供了更精确、高效和安全的手段。     

多模式无人机人机交互系统设计

应用虚拟现实和人工智能的新技术成果,设计了一种多模式无人机人机交互界面(HCI)系统。设计了多模人机交互的沉浸式显示、运动捕捉、眼动跟踪和语音识别等功能,并根据无人机地面站(GCS)运行的实际情况,完成硬件选型。整个系统可以提供多模式无人机交互的人因工程验证评估平台,支撑新型人机界面(HCI)设计开发,提供高逼真单兵无人机操作训练环境,支撑新型CGS地面操作者个性化训练。     

面向人机交互式软件的测试模型建模方法

从测试用例自动生成和自动执行的角度来探讨如何对人机交互软件建立测试模型。采用UML活动图模型来描述软件的人机交互过程。为了能够从活动图模型中生成一组确定的可执行的测试用例，给出了一组规则来细化基于活动图的测试模型所表达的语义，同时也对活动图做了一些扩展，以支持基于模型的测试用例自动生成及其自动执行。给出的建模方法，能够减少某些冗余的测试用例。     

人机交互风格及其发展趋势

人机交互的风格经历了命令界面、图形界面、多媒体界面等主要发展阶段，目前正向虚拟现实技术和多通道用户界面的方向发展。本文简要回顾人机交互技术的历史，并进而探讨什么是理想、自然的人机交互模式。     

一种基于肤色和脸部特征的人脸特征点检测算法

人脸检测通常是人机系统中人机交互的第一步,像人机系统中基于人体特征的用户身份识别,计算机对用户感情和意图的理解等.本文提出了一种用于办公室环境下的彩色图像中人脸检测算法.基于一种新的肤色检测算法,对图像进行肤色区域检测.算法通过构建眼,嘴模板来进行人脸的校验.实验结果表明,该算法可以实现在图像中出现照明,人脸表情,尺度较大范围变化情况下的人脸检测.     

一种面向舱外活动的视觉感知启发的手势识别方法

针对航天员出舱作业(EVA)时的人机交互需求,结合着舱外服手套后手部动作的工效学分析,提出了一种结合眼动仪和手势识别技术的航天员目标选取方案,使航天员真正达到"解放双手"的目的。该方案采用眼动仪获取航天员"感兴趣目标区域"的位置信息,利用摄像头捕获航天员手势动作,并基于稀疏滤波的特征提取方法和神经网络分类器对手势进行识别,根据预定义的目标选取指令实现交互功能。试验结果表明,手势识别算法的识别率可达到95%以上,为后期将该交互系统集成到航天服中提供了原型依据。     

安装主动侧杆的飞机的人机交互控制系统研究

主动侧杆人机交互控制是一种具有广泛应用前景和重要意义的技术，它不仅可以减轻飞行员的负担，也可以提高飞机的性能和安全性。为了解决飞机执行器出现故障时可能出现的飞机失控问题，本文构建了含有主动侧杆的飞机中飞行员与控制增稳系统之间的并联人机交互控制架构，设计了一种新的主动侧杆与飞行员交互方式，主动侧杆不仅传递操纵指令，还通过触觉反馈向飞行员传递飞行状态，使飞行员能够快速感知飞机故障并采取相应措施。同时，设计了控制增稳系统，选用自适应控制器，并在此基础上设计了改进型自适应控制器+PID控制器。利用模糊控制机制动态分配人机控制权重，为飞机系统和飞行员之间的交互提供更加灵活和精确的控制方式。最后，通过仿真验证了所设计的含主动侧杆的人机交互控制方法的有效性。     

民机复合材料目视检查中的眼动与疲劳检测

疲劳是导致民机复合材料结构目视检查差错的重要诱因，疲劳检测对于减少人的差错，保障飞行安全具有重要意义。对基于眼动行为的疲劳度量与检测方法进行了研究，建立了民机复合材料结构目视检查实验场景，利用Tobii眼动仪提取了正常状态和疲劳状态下的目视检查眼动数据，分析了瞳孔直径、平均注视时间、平均注视频率、平均眼跳时间、平均眼跳频率、注视热点与轨迹和扫视速度等眼动行为与疲劳的关系，进而提取了能表征疲劳的瞳孔直径、平均注视时间和扫视速度3种眼动指标，以该指标构建特征向量，利用支持向量机（SVM）方法构建了目视检查疲劳检测模型。研究发现疲劳状态下的目视检查平均注视时间更长，扫视速度更慢、瞳孔直径减小，右瞳孔减小程度更大，核函数为径向基函数和高斯函数的SVM方法对疲劳的检测效果好。研究结果表明，利用SVM方法训练由瞳孔直径、平均注视时间和扫视速度构成的眼动特征向量能有效检测目视检查中的疲劳状态。     

基于TruCluster的集群管理系统

集群计算机是利用高速通信网络将一组高性能工作站或高档ＰＣ按某种结构连接起来，在并行程序设计及可视化人机交互集成开发环境支持下，统一调度，协调处理，实现高效并行处理的系统。从结构和结点间的通信方式来看，它属于分布存储系统，主要利用消息传递方式实现各结占之间的通信。目前已实现和正在研究中的集群系统大多用现有商用工作站／ＰＣ和通用ＬＡＮ网络，这样既可以缩短开发周期，又可以利用最新的微处理器技术。集群系统在机场网络系统中的应用越来越广泛。本文主要讨论集群管理系统的相关概念，及ＴｒｕＣｌｕｓｔｅｒ集群系统的体系结构。     

面向机组工作量审定的民用飞机人机交互适航验证场景设计

设计有效的民用飞机人机交互适航验证场景是实施机组工作量审定的基础。依据中国民航规章CCAR-25 部1523 条款和附录D 适航验证性要求,通过对运输类飞机机组工作量适航验证条款的解读,建立工作量审定人机交互适航内容及验证流程;确立机组工作量审定民用飞机人机交互适航场景设计原则,分别从测试机组、运行过程、运行环境以及运...     

人机交互多媒体教学系统浅析

在传统的多媒体教学中,教师对PPT的播放几乎都通过鼠标和键盘的操作来完成,如此在某种程度上增加了学生和教师之间的距离感,减少了师生之间的交流,降低了互动性。随着人机交互技术的提出和应用,特别是ki‐nect设备的出现,完美地解决了这些弊端,在kinect设备上通过编码来控制PPT的自动播放,以实现人机交互。     

通用卫星轨道的可视化向导式设计软件开发

通过研究太阳同步轨道、地球静止轨道、回归轨道、太阳同步回归轨道及冻结轨道的数学模型，开发了设计软件和人机交互界面，并通过与国际上最通用的卫星设计工具包stk的设计结果的比较及分析，验证了软件设计的正确性。最后从总体的角度介绍了本软件。     

一种基于XML组件框架的长事务处理策略

在管理信息系统开发中,多用户操作容易导致人机交互长事务问题,而数据库的事务处理机制是不能解决这一问题的。设计了一种基于连接组件的长事务处理策略,该策略采用标志位和时间戳来解决资源锁定权及资源解锁的人机交互长事务问题,有效地避免了多人可能造成的数据误操作,保证了工作质量,增强了数据库的一致性。     

基于增强现实的航空飞行辅助系统

采用基于增强现实的立体显示技术及与之对应的人机交互方式，可实现3D 立体虚拟场景和真实环 境融合的视觉显示效果，向飞行员提供全景战场态势沉浸感知能力和多维度显示信息虚拟再现能力，从而有效 支撑未来座舱智能感知和敏捷交互目标的实现。     

战斗机智能座舱人机交互方式发展及应用

基于战机座舱这一对象,以加强人机交互、保证飞行员安全、提升战斗机性能为目的,从航电系统设计的角度,通过对比分析一至四代机座舱人机交互方式的发展,指出了传统飞机座舱发展演变过程中人机交互方式存在的缺陷,明确了智能座舱人机交互方式的发展趋势,梳理了亟需重点研究的新型交互手段及其应用方式,对未来战斗机智能座舱的发展提出了新的思考。