基于深度学习目标识别的航天员训练场景理解技术

增强现实(AR)是航天员训练的有效途径,其关键技术是场景重建与空间定位。针对当前AR设备只能进行场景空间静态识别,无法感知目标动态变化的问题,提出了深度学习与AR技术相结合的目标识别与位姿估计方法。采用YOLO v5神经网络实现了小训练样本量的操作目标识别,结合深度信息实现了目标点云分割,与目标CAD模型点云进行ICP匹配后估计出目标的三维空间位姿,从而在AR显示空间中实现目标的动态定位与虚实融合。结果表明：YOLO v5的识别平均精度可以达到0.995,虚实结构可以准确叠加。该方法可有效提高AR设备的场景理解能力,扩展航天员AR训练手段。     

近地空间航天员训练视景真实感渲染技术研究

载人航天任务中,地面模拟训练是培养提升航天员操作技能的重要手段。视景系统是航天飞行训练模拟的重要组成部分,高逼真度的仿真场景对提升航天员训练效果有重要的意义。针对空间视景仿真场景调度和渲染的特殊性,提出并设计实现视景仿真软件的总体架构。对影响空间场景真实感的地球纹理数据库的生成和调度技术、大气散射仿真技术、场景光照实时渲染等关键技术进行研究,融合各种方法,在视景仿真系统中基于GPU实现。试验验证表明,实现算法准确,模型设计合理,已经应用于航天员的训练中。     

航天员混合现实训练与支持技术研究

基于航天员地面单人便携训练、多人协同操作训练、空间在轨操作辅助支持以及远程协同支持等工程任务需要,开展混合现实训练与支持技术研究。设计了航天员混合现实训练与支持的工程实现总体技术框架,针对航天员地面训练环境、在轨任务环境以及远程支持环境等特殊因素,对混合现实头盔头部位姿实时估计技术、多人协同操作技术以及远程支持场景匹配等关键技术进行研究。试验验证和航天员体验表明,技术方法有效、用户体验良好,满足空间站航天员地面与长期在轨典型性训练和支持任务需求,提高了训练支持质量和效率。     

空间站舱内定向虚拟训练方法研究

在失重环境下航天员常常以任意的身体姿态漂浮,依赖视觉线索定向便成为舱内航天员必须掌握的生存技能。针对在地面实物模拟器内难以开展空间定向训练的问题,提出了一套基于虚拟现实技术的空间定向训练方法。该方法以虚拟实验舱和核心舱为训练场景,提供三维空间记忆与定向策略,帮助航天员学习任意视角下定向的技能。实验结果表明,在具有不同视觉垂向信息量的舱段内,该方法均能够明显提高定向任务绩效,所提供的空间记忆策略有助于构建具有层次性的空间知识结构,多姿态定向训练能够帮助航天员建立清晰完整的舱内三维结构认知图。     

一种面向舱外活动的视觉感知启发的手势识别方法

针对航天员出舱作业(EVA)时的人机交互需求,结合着舱外服手套后手部动作的工效学分析,提出了一种结合眼动仪和手势识别技术的航天员目标选取方案,使航天员真正达到"解放双手"的目的。该方案采用眼动仪获取航天员"感兴趣目标区域"的位置信息,利用摄像头捕获航天员手势动作,并基于稀疏滤波的特征提取方法和神经网络分类器对手势进行识别,根据预定义的目标选取指令实现交互功能。试验结果表明,手势识别算法的识别率可达到95%以上,为后期将该交互系统集成到航天服中提供了原型依据。     

一种大型载人航天器的情景照明系统设计

现阶段航天器照明系统主要以满足工作照明需求为目的,并未充分考虑航天员长期在轨的生理和心理因素。针对这一问题,提出了一种可以应用于空间站舱内LED情景照明系统方案。从总体方案、场景模式、光源和控制、通信及软件框架进行了方案设计及阐述,并对方案进行了试验验证。初步结果表明,该情景照明系统更加符合人体生理和心理需求,能够实现远程控制,有望提高航天员在轨舒适度,提高空间站任务效能。     

基于体态识别的航天员虚拟训练仿真技术研究

以未来空间站任务建设虚拟现实训练器为需求,为了最大限度地降低虚拟现实设备穿戴给航天员带来的额外束缚,提出了一种新的基于体态识别的航天员虚拟训练仿真系统:采用平行双目视觉原理和偏振立体电视实现立体图像的生成与显示;采用人体三层模型实现虚拟航天员表达,采用骨骼动画实现人体典型动作自动演示、Kinect实现人机交互过程中人体跟踪和运动控制,适合于空间站任务航天员训练、工效验证、典型流程演示等人机交互应用。     

载人航天器的舱内通风问题

舱内通风系统是载人航天器环境控制与生命保障系统的重要组成部分。在微重力条件下,自然对流消失,舱内通风系统造成的强迫对流可以确保舱内气体循环流动,从而保证舱内有害物质得到及时的处理和回收。同时,通风系统驱动的舱内气体流动情况与舱内防火和灭火的研究也直接相关。对载人航天器舱内通风系统的研究涉及了航天员的生命安全保障,是改善航天员生活、工作环境的必备工作,同时也为载人航天器设计提供了重要的参考意见。     

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

基于域自适应的复合材料结构损伤识别方法

深度学习模型能够辅助提高基于导波的复合材料结构损伤监测的可靠性，但需要大量的损伤样本。以大量的模拟损伤样本和少量的真实损伤样本为基础，设计一种基于域自适应的损伤识别模型，实现从模拟损伤识别向真实损伤识别能力的迁移。首先，通过粘贴质量块收集大量模拟损伤数据，设计卷积-时序混合神经网络，实现对模拟损伤的高准确率识别；然后，在模型中加入域自适应模块，使模拟损伤和真实损伤数据在特征空间内分布规律近似，进而在无需对真实损伤进行标注的情况下，实现准确识别。实验结果表明，该方法对真实损伤的检出准确率为85.7%,优于传统深度学习模型。     

级联影响分析方法在EE舱通风冷却失效影响定级中的应用

民用飞机电子设备舱(EE舱)通风冷却功能是保证舱内各系统的电子设备安全、正常工作的基础功能。随着民用飞机航电系统集成化程度的不断提高,越来越多系统的电子设备放置在EE舱内,通风冷却功能也越来越重要。若通风冷却功能失效,如何确定电子设备舱内设备工作情况、如何确定失效设备对飞机的影响、如何确定该失效模式的影响等级,这些问题急需解决。通过制定确定失效场景、判断直接影响、分析间接影响和分析全机综合影响的原则,研究基于级联影响分析技术的EE舱通风冷却功能失效影响定级问题。通过分析EE舱通风冷却系统架构和功能,确定通风冷却功能失效机理,定义通风冷却失效场景。通过级联影响分析技术,分析通风冷却失效对全机系统和整机的影响,适用于通风冷却失效全机综合安全性评估,为通风冷却功能失效影响定级提供技术支撑。     

增强现实技术在飞机维修保障过程中的应用研究

将增强现实技术应用于飞机维修保障,能够有效提高飞机的保障效能。研究了就增强现实技术在飞机维修保障过程中的应用,制定了研究方案,包括使用保障作业引导、智能维修辅助和交互式智能故障诊断引导3个方向的研究。针对研究方案,还开展了路径规划及对象自主识别技术、基于IETM的辅助信息智能化组织和推动技术、三维虚拟动画匹配现实场景的维修作业引导技术,以及多人协同组织技术4个方面的关键技术研究。最后,为了验证技术的可行性,开发了原型系统,对技术进行了初步的验证。     

面向月球基地设备交互场景的目标检测与路径规划算法研究

随着国际月球科研站计划的快速推进,针对月球基地相关技术的研究受到了广泛关注。面向月球基地场景下不同的设备间进行自主接触式交互这一应用背景展开研究。考虑不同的设备在进行自主接触式交互时,需要准确地完成相互识别,并且规划出畅行无阻且较优的行进路线以保证往返活动顺利进行,基于Webots搭建了月球基地仿真环境进行目标检测和路径规划相关实验。以前后配备高精度RGB相机的交互设备为载体实现基于TPH-YOLOv5月球基地场景下的目标检测。此外,设计并实现了交互设备在月球基地场景下基于双向快速扩展随机树（Bidirectional RTT）的路径规划算法,以保证交互设备在月球基地环境下的相关工作顺利进行。仿真结果显示,该目标检测及路径规划算法能够实现预期功能。     

面向空间站在轨服务的人机系统概念设计

针对航天员与空间机器人组成的人机系统,对航天员与机器人的定位和关系进行了分析,根据我国空间站未来舱内外平台运营维护及载荷设备照料对人机系统的任务和功能需求,提出了一种以构型及操作特点与航天员类似的四臂拟人机器人为基础的新型人机系统,并从机器人的机构构型、控制模式及人机交互手段等方面对人机系统进行了概念设计。可为我国空间站后续运营维护手段的配置提供有益参考。     

基于强化学习的多无人机避碰计算制导方法

针对大量固定翼无人机在有限空域内的协同避碰问题,提出了一种基于多智能体深度强化学习的计算制导方法.首先,将避碰制导过程抽象为序列决策问题,通过马尔可夫博弈理论对其进行数学描述.然后提出了一种基于深度神经网络技术的自主避碰制导决策方法,该网络使用改进的Actor-Critic模型进行训练,设计了实现该方法的机器学习架构,...     

空间机器人深度学习识别捕获部位的应用探讨

针对空间机器人对捕获部位识别方法的普适性、实时性和准确性等要求,提出了采用深度学习方法对空间机器人捕获目标的特征部位进行识别。通过比较分析方法、数据驱动方法等传统识别方法和深度学习方法的优缺点,发现深度学习方法对于解决空间机器人捕获部位识别问题具有显著优势。进一步分析了应用深度学习方法解决捕获部位识别问题的几个关键技术问题,为后续空间机器人在轨捕获目标的研究与实践提供了新的思路。     

面向机器人航天员的球形目标识别与定位方法研究

针对机器人航天员在典型目标识别与定位方面的问题,提出一种球形目标识别与定位方法,利用目标颜色特征和形状特征实现了目标识别,采用空间射影几何方法推导了单目视觉空间球定位公式,建立了硬件试验环境,在此环境下实现了基于彩色相机的单目视觉定位、双目立体视觉定位以及融合TOF相机和彩色相机的视觉定位方法。通过真实试验和仿真实验对这些方法进行了比较分析,得到了各自的适用条件,为工程应用中具体方法的选择提供了依据。     

面向MR远程协同任务的实物虚拟化方法研究

混合现实（Mixed reality,MR）技术的飞速发展为装配场景中的远程协同任务带来了新的可能。作为MR协同系统的前置环节,实物虚拟化的主要任务是为用户浏览与交互提供可靠的模型支撑与虚实融合关系。现有方法无法同时兼顾装配零件细节高还原度、低虚拟化成本的目标。本文提出了一种基于模板匹配和点云配准原理的零件模型精密恢复方法,针对MR远程协同过程中的任务相关零件,首先通过基于背景差分与八叉树空间检索的背景点云分割以及基于超体素的前景粘连点云分割获得零件点云相关的先验信息来分割模板匹配感兴趣区域ROI,解决了原始LineMod算法抗遮挡性弱、模板比对效率低的问题,完成了对零件点云的识别匹配和位姿粗略估计;然后利用ICP算法进一步优化估计的位姿,求解相关零件在重建点云模型中的精确位姿;最后根据此位姿,用高精度的零件CAD模型替换3D重建点云场景中的零件重建点云模型,最终实现对共享MR协同场景的实物虚拟化。通过对复杂装配场景中的多种零件进行实物虚拟化试验,证明了本文方法能够准确识别零件点云,实现精确的实物虚拟化,在MR远程协同任务中具有重要的实用意义。     

机器人航天员双臂操作仿真系统的研究与实现

针对机器人航天员复杂操作场景下的任务规划和仿真验证问题,基于仿真模块集成化的设计思想,集成通信模块、任务调度管理模块、路径规划模块、力控制模块、碰撞检测模块、双臂3D几何模型,通过OSG建立了实体模型及仿真场景,并建立插拔、抓握、对准、旋拧、搬运、转移等典型操作库,实现了机器人航天员双臂多种复杂操作任务的仿真。最后,通过机器人航天员搬运物体任务仿真实现双臂协调操作任务规划的仿真,验证了该系统的有效性和任务规划验证的合理性。