航天器轨道追逃博弈多阶段强化学习训练方法

针对航天器轨道追逃博弈问题,提出一种多阶段学习训练赋能方法,使得追踪星在终端时刻抵近逃逸星的特定区域,而逃逸星需要通过轨道机动规避追踪星。首先,构建两星的训练策略集,基于逻辑规则设计追踪星和逃逸星的机动策略,通过实时预测对方的终端位置,设计己方的期望位置和脉冲策略,显式给出追逃策略的解析表达式,用于训练赋能;其次,为提升航天器的训练赋能效率及应对未知环境的博弈能力,提出一种基于强化学习技术多模式、分阶段的学习训练方法,先使追踪星和逃逸星分别应对上述逻辑规则引导下的逃逸星和追踪星,完成预训练;再次,开展二次训练,两星都采用邻近策略优化(PPO)策略进行追逃博弈,在博弈中不断调整网络权值,提升决策能力;最后,在仿真环境中验证提出的训练方法的有效性,经过二次训练后,追踪星和逃逸星可有效应对不同策略驱动下的对手,提升追逃成功率。     

面向火星自主漫游任务的视觉-惯性感知系统

精确的位姿估计以及对周围环境中的障碍物的实时感知,是探测器在火星表面进行自主漫游的基础.然而,火星探测器受到自身质量、体积和能源供应等因素的影响,计算资源和设备功率受到严格限制,这给感知系统的设计与实现提出了挑战.本文针对火星探测器计算资源严重受限的问题,设计了一种基于视觉-惯性多传感器滤波融合的智能感知系统,其主要包括两个模块:1)基于多状态约束卡尔曼滤波MSCKF(multi state constrained Kalman filter)算法的视觉-惯性里程估计模块,实现了相对误差小于1.5％的较高定位精度;2)使用GPU加速的高程地图构建算法,实现了稠密地形图的实时构建.其中,高程地图与机器人位姿采用概率最优的方式进行融合,保证了感知系统整体的概率一致性.相比于现有感知系统,本文所提出的方法可以仅使用双目视觉和IMU实现机器人的位姿估计和周围环境高程地图的构建,并通过合理的算法设计、GPU硬件加速等方法,最终整套系统在30W板载系统上实现了位姿估计输出频率400Hz、地图输出频率4.2Hz的实时运行效果,充分验证了本系统的轻量化特性,能够有效应用于火星车的自主探测任务.     

深度强化学习技术在地外探测自主操控中的应用与挑战

围绕地外探测任务对全自主操控的需求，阐述了智能技术的引入对地外探测操控的重要意义。根据地外探测操控任务的发展现状和特点，总结出地外探测自主操控面临的挑战与难点，对现有基于深度强化学习的操控算法进行概括。以地外探测自主操控任务难点为驱动，对深度强化学习（DRL）技术在地外探测操控中的应用及成果进行了综述与分析，概括了未来地外探测自主智能操控发展中涉及的关键技术问题。     

地外巡视探测无人系统自主感知与操控技术发展综述

地外天体探测是空间科学与技术创新的重要途径,是当前和未来航天领域的发展重点之一.地外天体表面巡视探测是拓展探测广度和深度的有效途径.未来月球、火星探测任务对表面探测范围和探测效率的需求明显提高,探测范围从公里级扩展到百公里级以上,移动时速从百米级提高到公里级以上,要求地外巡视探测器具有更强的地外环境适应能力和探测效率.决定地外巡视探测能力的关键因素之一是自主环境感知与操控能力,本文面向我国未来深空探测重大工程任务需求,对地外巡视探测无人系统的自主感知与操控技术发展现状及趋势进行总结分析.     

基于状态反馈的黄金分割控制器参数化方法及其在高超声速飞行器上的应用

研究气动参数摄动和外界扰动下高超声速飞行器姿态系统的鲁棒自适应控制问题.引入特征建模的思想对高超声速飞行器的姿态系统建立二阶差分方程模型.考虑到高超声速飞行器再入过程要经历飞行环境的剧烈变化的特点,为了提高闭环系统的瞬态响应性能和抗扰能力,设计了黄金分割鲁棒自适应控制器.该控制器具有与特征模型相似的结构,控制器参数通过在线辨识获得,并且按照黄金分割比生成控制信号,能够保证辨识参数收敛过程中系统的稳定性.基于混合H2和H∞控制思想对标准的黄金分割自适应控制器中的参数λ进行在线优化,从而保证了姿态回路对气动参数摄动和外界扰动具有满意的鲁棒性.所提出的λ(k)优化算法是通过对一组线性矩阵不等式求解得到的,因此易于工程实现.改进后的黄金分割鲁棒自适应控制算法在自适应性和鲁棒性的优越性使得该方法尤其适用于高超声速飞行器姿态控制系统.仿真结果验证了控制方法的有效性和实用性.     

空间飞行器智能自主控制技术现状与发展思考

提升空间飞行器的自主水平一直是航天领域的发展重点,新一代人工智能技术的巨大进步为其提供了新的机遇.本文对国内外空间飞行器智能自主控制技术的发展现状进行分析和总结,结合未来空间任务的发展需求,阐述空间飞行器智能自主控制的新特征,提出新的感知 决策 操控星上闭环结构,从智能自主角度剖析感知、决策、操控和健康管理的能力要素,并根据系统对地面的依赖程度和处理复杂任务的智能水平,提出空间智能自主控制的分级方法.针对发展空间智能自主控制技术所面临的挑战,从感知与认知、决策与规划、学习与操控、健康管理和系统体系架构五个方面给出发展建议.     

信息非完备下多航天器轨道博弈强化学习方法

针对信息非完备约束下航天器轨道博弈难以自主决策的问题，基于多智能体强化学习提出一种多航天器轨道博弈决策方法。首先建立轨道博弈动力学和信息非完备约束。其次建立用于训练和决策的神经网络模型，依据分布式系统架构对网络的输入输出结构进行设计，并引入具有记忆功能的长短期记忆网络(LSTM),根据航天器轨道运动在时间、空间连续的属性，补偿位置、速度测量信息的非完备性。然后采用近端策略优化(PPO)算法开展红蓝左右互搏式学习训练。最后通过三组对比训练实验，验证了所提出的方法在信息非完备约束下能够有效增强学习训练过程的稳定性，并提升任务完成率和降低燃料消耗。