航天器轨道追逃博弈多阶段强化学习训练方法

针对航天器轨道追逃博弈问题,提出一种多阶段学习训练赋能方法,使得追踪星在终端时刻抵近逃逸星的特定区域,而逃逸星需要通过轨道机动规避追踪星。首先,构建两星的训练策略集,基于逻辑规则设计追踪星和逃逸星的机动策略,通过实时预测对方的终端位置,设计己方的期望位置和脉冲策略,显式给出追逃策略的解析表达式,用于训练赋能;其次,为提升航天器的训练赋能效率及应对未知环境的博弈能力,提出一种基于强化学习技术多模式、分阶段的学习训练方法,先使追踪星和逃逸星分别应对上述逻辑规则引导下的逃逸星和追踪星,完成预训练;再次,开展二次训练,两星都采用邻近策略优化(PPO)策略进行追逃博弈,在博弈中不断调整网络权值,提升决策能力;最后,在仿真环境中验证提出的训练方法的有效性,经过二次训练后,追踪星和逃逸星可有效应对不同策略驱动下的对手,提升追逃成功率。     

基于计算博弈的脉冲作用下航天器追逃策略

本文研究了地球高阶引力模型中,基于脉冲作用的航天器轨道追逃问题。针对该问题,将航天器轨道追逃问题定义为两选手计算博弈,其中以博弈双方的距离和燃料消耗设计了性能指标函数,并以速度增量大小和方向构建容许控制集。此外,为了保证纳什均衡解的求解效率,引入了快速搜索(ARS)算法,并设计了一种数据剪枝方法用于优化搜索空间,最终实现了基于计算博弈的控制策略的快速求解。仿真结果表明:该方法能够有效解决脉冲作用下航天器的追逃难题,与传统方法相比,该方法能同时满足脱靶量精度和燃料消耗要求,具有一定的可行性和有效性。     

三维RTPN的追踪导引研究

描述三维RTPN导引的模型是超越非线性微分方程组，不易求解．常规的方法是进行线性化。通过坐标系的变换和引入辅助向量获得了解析的捕获域和截获时间，并在三维空间内对这种追踪导引过程进行了仿真验算。理论分析和仿真表明：所设计的追踪导引律，能使整个追逃过程是在一个由初始相对距离和初始相对速度确定的平面内进行；当导弹采用RTPN导引，目标分别以IPN、RTPN逃逸和非机动飞行时，拦截TPN逃逸导引的目标能量消耗大，截获时间长，捕获域小。     

自适应动态规划算法在飞行器追逃中的应用

针对飞行器追逃对抗的二人零和微分对策问题,提出基于数据的积分策略迭代自适应动态规划算法,以求解数学模型未知系统的控制律.该算法利用固定时段内有效的状态和输入信息,建立数据模型,并对其进行基于值函数和控制策略的算法迭代,在平面拦截系统完全未知的情况下得到追逃双方的近似最优策略.仿真结果表明,所得到的双方控制策略能在有限界内无限接近最优解,验证了所提出算法的有效性.     

基于多智能体强化学习的轨道追逃博弈方法

针对空间轨道博弈过程中的集群卫星和非合作目标追逃博弈情形下的动力学模型复杂、非合作目标机动信息未知,以及卫星间难以有效协调等问题,提出一种基于多智能体深度强化学习算法的集群卫星空间轨道追逃博弈方法.首先通过对博弈场景进行建模,在考虑最短时间、最优燃料以及碰撞规避的情形下进行奖励函数的塑造和改进,利用深度强化学习方法中的...     

现代战机空战对策建模研究

分析了现代战机空战的种类,着重讨论了单机单目标空战对策的建模问题,分别从二维和三维的角度描述了空战双方的几何关系并建立了飞行器相对运动模型.在此基础上,针对单机单目标空战可能出现的两种情况,建立了追-逃微分对策模型和双目标对策模型.     

基于分支深度强化学习的非合作目标追逃博弈策略求解

为解决航天器与非合作目标的空间交会问题,缓解深度强化学习在连续空间的应用限制,提出了一种基于分支深度强化学习的追逃博弈算法,以获得与非合作目标的空间交会策略。对于非合作目标的空间交会最优控制,运用微分对策描述为连续推力作用下的追逃博弈问题;为避免传统深度强化学习应对连续空间存在维数灾难问题,通过构建模糊推理模型来表征连续空间,提出了一种具有多组并行神经网络和共享决策模块的分支深度强化学习架构。实现了最优控制与博弈论的结合,有效解决了微分对策模型高度非线性且难于利用经典最优控制理论进行求解的难题,进一步提升了深度强化学习对离散行为的学习能力,并通过算例仿真检验了该算法的有效性。     

基于CW方程的航天器追逃问题半直接求解方法

针对时间固定的两航天器追逃问题,提出一种以半直接配点法研究追逃双方最优控制策略的求解方法。航天器追逃问题是基于微分对策的追逃问题,该问题是含有追逐者和逃逸者控制变量的两点边值问题。若采用必要条件求解,则对迭代初值要求高,收敛困难。在两航天器均为连续小推力的假设条件下,以终端距离为支付函数,给出半直接配点法的求解过程。在此数值方法中,根据半直接转换将微分对策问题转化为最优控制问题,采用Gauss-Lobbato配点法将此最优问题最终转化为非线性规划问题,继而通过序列二次规划算法求解。这种半直接配点法避免了对微分对策问题最优策略的必要条件(两点边值问题)求解。采用该方法求解对迭代初值不敏感,且数值稳定性好。数值仿真实例验证了这种求解方法的可行性。该方法提高了求解两点边值问题的收敛性,为求解含有双方控制变量的微分对策问题提供了一种思路。