拦截大气层内机动目标的深度强化学习制导律

针对大气层内高速机动目标的拦截问题，提出了一种基于双延迟深度确定性策略梯度(TD3)算法的深度强化学习制导律，它直接将交战状态信息映射为拦截弹的指令加速度，是一种端到端、无模型的制导策略。首先，将攻防双方的交战运动学模型描述为适用于深度强化学习算法的马尔科夫决策过程，之后通过合理地设计算法训练所需的交战场景、动作空间、状态空间和网络结构，并引入奖励函数整形和状态随机初始化，构建了完整的深度强化学习制导算法。仿真结果表明：与比例导引和增强比例导引两种方案相比，深度强化学习制导策略在脱靶量更小的同时能够降低对中制导精度的要求；具有良好的鲁棒性和泛化能力，并且计算负担较小,具备在弹载计算机上运行的条件。     

一种高速可变形飞行器智能变形决策方法

针对一类高速可变形飞行器(HMFV)的变形决策问题,提出一种基于深度确定性策略算法(DDPG)下考虑综合性能指标最优的智能变形决策方法。首先,以一类后掠角可连续变化的高速飞行器为研究对象,给出变形飞行器动力学模型,分析模型特性及变形量与关键气动参数之间的定性关系。其次,基于关键气动数据特征分析,考虑包含气动性能、控制误差在内的综合性能指标,设计一种基于DDPG算法的智能变形决策方案。再者,针对带有标称控制器的HMFV进行变形决策训练,实时获得滑翔过程中不同飞行状态下的最优构型。最后,仿真结果表明所设计的智能变形决策算法收敛效果好,且具备较好的泛化性能。相比于固定外形,可通过变形使得在不同状态下的升阻比保持最优,且与考虑单一决策指标相比,考虑综合指标最优的变形决策可进一步缩小姿态动态跟踪误差。     

基于MADDPG的多无人机协同任务决策

针对多无人机任务决策方法研究中传统优化算法难以在短时间内得到期望结果的问题,基于深度强化学习提出一种无人机多智能体深度确定性策略梯度(MADDPG)算法,通过允许无人机在学习时使用全局信息,在应用决策的时候只使用局部信息的方法,从网络结构、状态空间、动作空间和奖励函数设计了 MADDPG算法的模型结构.最后通过仿真实验...     

弱模型依赖通用智能姿态控制技术

超高速跨域飞行、敏捷机动等是新一代飞行器发展方向,而长时高速飞行产生的气动外形变化带来的气动参数大范围改变等问题,都对控制系统设计提出了更高的要求。为提高飞行器对模型不确定性的适应能力及控制方法对不同外形、复合执行机构的通用性,深入研究了弱模型依赖的通用智能姿态控制技术,分层次地开展了基于深度学习(DL)的自适应姿态控制、基于深度确定性策略梯度算法(DDPG)的通用姿态控制、弱模型依赖的多维复合控制等技术研究,显著提高了控制系统的鲁棒性和通用性,对人工智能技术在飞行器姿态控制中的应用具有一定的指导意义。     

一种基于深度强化学习的机动博弈制导律设计方法

针对高速机动飞行器常用的程序化机动突防方式适应性不强、突防效果不稳定的问题,提出了一种基于深度强化学习算法的机动博弈制导方法。该方法以增大交会摆脱量为任务目标,采用深度神经网络拟合飞行器的制导律,应用强化学习方法训练网络参数,得到一种以突防拦截双方的位置和速度为输入、以飞行器的需用过载为输出的智能机动博弈制导律。数学仿真验证结果表明,在连续的状态空间和动作空间中,飞行器能根据当前态势自主选择合适的制导指令。相比传统突防方式,该制导律显著提升了交会摆脱量,且突防效果更稳定。     

基于多智能体强化学习的轨道追逃博弈方法

针对空间轨道博弈过程中的集群卫星和非合作目标追逃博弈情形下的动力学模型复杂、非合作目标机动信息未知,以及卫星间难以有效协调等问题,提出一种基于多智能体深度强化学习算法的集群卫星空间轨道追逃博弈方法.首先通过对博弈场景进行建模,在考虑最短时间、最优燃料以及碰撞规避的情形下进行奖励函数的塑造和改进,利用深度强化学习方法中的...     

基于特征模型的高超声速飞行器的自适应姿态控制

研究了基于特征模型的自适应控制方法在高超声速飞行器姿态控制中的应用。对一类非线性强耦合以及大范围参数不确定性的类X-20高超声速飞行器无动力滑翔段六自由度动力学模型,建立含耦合的多输入多输出(MIMO)特征模型,并设计基于特征模型的黄金分割控制器。控制律设计中通过对非对角元控制量强制一步滞后,使得各通道控制量可以计算简单。最后通过飞行高度和速度大范围变化的长时间飞行过程中姿态角的跟踪控制仿真,验证了控制器的鲁棒性和适应性。     

基于不确定性的飞行器分离可靠性建模与分析方法

为实现飞行器分离任务可靠性的定量分析和高效精确评估,研究了高超声速飞行器分离任务过程中各种不确定性因素对分离可靠性的影响,提出一种基于不确定性的飞行器分离可靠性建模与分析方法。面向高超声速飞行器分离任务需求,建立分离动力学仿真模型,综合考虑分离过程不确定性因素的影响,利用灵敏度分析方法识别主要不确定性因素,构建分离可靠性模型。针对此模型,提出一种改进主动学习Kriging(IAK)的分离可靠性分析方法,通过新的采样策略选取失效概率更大的采样点作为新增训练点,进行高效可靠性分析。实例结果表明,该方法能够准确描述不确定性因素对分离过程的影响,提升分离可靠性定量分析的精度和效率,为飞行器分离方案的精细化设计提供支撑。     

深度强化学习在变体飞行器自主外形优化中的应用

基于深度强化学习策略,研究了一类变体飞行器外形自主优化问题。以一种抽象化的变体飞行器为对象,给出其外形变化公式与最优外形函数等。结合深度学习与确定性策略梯度强化学习,设计深度确定性策略梯度(DDPG)学习步骤,使飞行器经过训练学习后具有较高的自主性和环境适应性,提高其在战场上的生存、应变和攻击能力。仿真结果表明,训练过程收敛较快,训练好的深度网络参数可以使飞行器在整个飞行任务过程中达到最优气动外形。     

一种深度强化学习制导控制一体化算法

研究了一种基于深度强化学习理论的制导控制一体化算法。不同于传统的制导控制一体化算法和制导控制回路分开设计的方法,基于深度强化学习理论的制导控制一体化算法利用深度学习强化算法生成一个智能体,智能体根据导弹的观测量生成舵偏角控制指令准确拦截目标。首先将制导控制问题转化为一个马尔可夫决策过程,然后提出了一个权衡制导精度、能量损耗和飞行时间的奖励函数,将制导控制问题转化到强化学习问题的框架中。最后采用深度确定性策略梯度算法,求解提出的强化学习问题,训练得到制导控制智能体,智能体根据导弹观测量生成舵偏角指令。通过进行大量的数值模拟,验证了提出的制导控制一体化算法的有效性和鲁棒性。     

人工智能技术在宽域飞行器控制中的应用

针对人工智能技术在宽域飞行器控制中的两种应用技术途径进行了研究,其中包括利用深度神经网络辨识飞行器关键特征,实现控制增益的精准调度,提升对模型不确定性的自适应能力;以及利用深度神经网络建立神经网络动力学对飞行动力学的映射表达,实现“端对端”控制。最后对有待持续深入开展的人工智能应用研究进行展望。     

远程操控飞行器自适应神经网络观测器设计

针对无人飞行器远程操控系统设计时,由于远程操控飞行器动力学的非线性和飞行器控制系统性能的不确定性,无法精确建立远程操控飞行器控制系统模型的问题,提出了一种自适应神经网络状态观测器设计方法实现对远程操控飞行器的控制系统模型的估计。首先将飞行器的动力学环节与自动驾驶仪构成的闭环回路作为一个整体建立了远程操控飞行器控制系统的非线性模型。然后针对模型中存在未建模动态的问题,采用神经网络算法对非线性动力学模型进行在线辨识,并引入鲁棒项对附加扰动进行抑制。最后设计自适应律对神经网络的权值进行实时调整,保证了系统的稳定性,并基于Lyapunov理论证明了观测器的估计误差是最终一致有界的。仿真结果表明,所设计的观测器能够保证远程操控飞行器在存在未建模动态和附加扰动的情况下对飞行状态具有良好的估计性能。     

飞行器总体不确定性建模与优化设计方法

针对考虑不确定性的飞行器总体设计迭代周期长、优化困难等问题，提出一种基于裕度量化解耦策略的飞行器总体不确定性建模与优化设计方法。首先采用主动学习策略开展基于优化加点Kriging的阈值不确定性分析，实现了不确定性裕度的高效求解。进而提出一种适用于飞行器总体设计的裕度量化解耦策略，将双层嵌套的不确定性优化问题解耦为确定性优化与不确定性分析过程顺序执行，高效给出满足概率约束的优化设计方案。该方法解决了传统解耦方法采用嵌入式算法而导致的工程应用困难的问题。通过非线性多约束数值案例以及滑翔飞行器工程案例，验证了该方法能够在保证精度的前提下，提高不确定性优化设计效率。     

变化风场下近空间飞行器机体/发动机一体化飞行力学建模与分析

近空间飞行器飞行包络大、环境变化复杂、参数变化激烈,对其开展飞行控制技术研究工作的首要问题是对此复杂系统基本物理规律准确把握和描述,并依此建立其机理运动模型。针对机体/发动机一体化设计的近空间飞行器,系统地进行了飞行力学分析,并推导了变化风场下近空间飞行器在高超声速条件下的完整的6-自由度12-状态的动力学方程和运动学方程,体现出变化风场的影响和推力矢量的作用。随后,对其在不同条件下的开环控制特性进行了仿真研究,直观表现了系统的快时变、强耦合、强非线性和不确定性等特点。所得结果可用于未来高超声速飞行器轨迹管理、飞行控制等问题的概念设计和仿真研究。     

带攻击角度约束的深度强化元学习制导律

针对执行机构部分失效的速度时变导弹机动目标拦截问题,本文提出一种基于深度强化元学习和剩余飞行时间感知逻辑函数的攻击角度约束三维制导律.首先,采用基于模型的深度强化元学习方法,建立深度神经网络动力学模型;引入模型预测路径积分控制,该深度神经网络动力学模型作为预测模型;采用元学习方法,在线学习执行机构部分失效及目标机动等环...     

高超声速飞行器的神经网络PID控制

高超声速飞行器是一种强耦合性、存在不确定性和高度非线性的复杂控制系统,在其应用神经网络PID控制方法进行纵向通道的姿态控制时,将控制系统分为快慢内外环,基于神经网络控制理论,针对高超声速飞行器的动力学模型和运动学模型设计单神经元PID控制律和PID神经网络控制律,推导了权值调整的学习算法。仿真结果表明,高超声速飞行器的神经网络PID控制系统能够有效抑制气动参数变化的影响,较好地跟踪期望攻角,有较强的鲁棒性。     

基于DDQN的运载火箭姿态控制器参数设计

探索了利用深度强化学习算法训练智能体,以代替人类工程师进行火箭姿态控制器参数的离线设计方案。建立了多特征秒的火箭频域分析模型,选定了设计参数。选择深度强化学习算法中的双深度Q学习(Double Deep Q Network,DDQN)算法,通过记忆回放和时间差分迭代的方式让智能体在与环境交互过程中不断学习。设计了对应的马尔科夫决策过程模型,进行了智能体的训练和前向测试。结果说明该方法对于运载火箭姿控设计具有一定参考价值。     

未知空间目标纹理缺失表面三维重建算法

针对传统三维重建方法难以对纹理缺失表面进行完整重建的问题,提出一种基于深度学习与截断符号距离函数(TSDF)融合的未知目标三维表面完整重建算法。首先设计一种基于深度学习的图像逐像素深度估计框架,通过在训练过程中引入多个复杂结构模型,提高该深度估计框架的泛化能力;其次,利用TSDF对各帧图像所估计的深度信息进行融合,实现对纹理缺失区域的空间目标完整三维重建。根据仿真校验,对于300 mm尺寸的卫星模型图像,像素深度估计平均误差约为13 mm,通过TSDF融合后尺寸精度误差小于5.10%。实验结果表明该算法可以对未知空间目标光学图像进行逐像素深度估计,并获得目标完整的三维结构与纹理信息,有效解决无纹理区域的重建结构缺失问题。     

航天器反应式碎片规避动作规划方法

提出一种航天器反应式碎片规避动作规划方法，首先以扰动流体动态系统(IFDS)算法作为动作规划的基础算法，通过其中的总和扰动矩阵对航天器的轨道速度矢量进行修正，实现轨道机动规避；然后，建立基于双延迟深度确定性策略梯度(TD3)深度强化学习算法的反应式动作规划方法，通过TD3在线优化IFDS规划参数，实现对碎片群的“状态-动作”最优、快速规避决策。在此基础上，将优先级经验回放和渐进式学习策略引入该方法中，提升训练效率。最后，仿真结果表明，所提方法可使航天器安全规避多发、突发、动态且形状各异的空间碎片群，且具有较好的实时性。     

考虑推进和气动弹性影响的高超飞行器的建模与控制

针对高超声速飞行器飞行的速度和高度跨度大、变化快,飞行动力学特性复杂;模型具有非线性,强耦合及不确定性的特点,建立了考虑推进及弹性影响的纵向模型,并提出了纵向模型的鲁棒协调控制器设计方法。该方法在典型高超声速飞行器几何结构基础上,针对机体/发动机一体化设计布局,结合高超声速气动力学和气动弹性有关理论,建立非线性纵向模型;通过分析模型的不确定性来源,对刚体-弹性耦合系统设计了基于线性二次型调节器的隐式模型跟随鲁棒协调控制器,从而保证飞行器在不确定干扰情况下的闭环系统稳定性。仿真结果表明,本方法所设计的控制器在给定的不确定性范围内具有良好的鲁棒性。