弱模型依赖通用智能姿态控制技术

超高速跨域飞行、敏捷机动等是新一代飞行器发展方向,而长时高速飞行产生的气动外形变化带来的气动参数大范围改变等问题,都对控制系统设计提出了更高的要求。为提高飞行器对模型不确定性的适应能力及控制方法对不同外形、复合执行机构的通用性,深入研究了弱模型依赖的通用智能姿态控制技术,分层次地开展了基于深度学习(DL)的自适应姿态控制、基于深度确定性策略梯度算法(DDPG)的通用姿态控制、弱模型依赖的多维复合控制等技术研究,显著提高了控制系统的鲁棒性和通用性,对人工智能技术在飞行器姿态控制中的应用具有一定的指导意义。     

拦截大气层内机动目标的深度强化学习制导律

针对大气层内高速机动目标的拦截问题，提出了一种基于双延迟深度确定性策略梯度(TD3)算法的深度强化学习制导律，它直接将交战状态信息映射为拦截弹的指令加速度，是一种端到端、无模型的制导策略。首先，将攻防双方的交战运动学模型描述为适用于深度强化学习算法的马尔科夫决策过程，之后通过合理地设计算法训练所需的交战场景、动作空间、状态空间和网络结构，并引入奖励函数整形和状态随机初始化，构建了完整的深度强化学习制导算法。仿真结果表明：与比例导引和增强比例导引两种方案相比，深度强化学习制导策略在脱靶量更小的同时能够降低对中制导精度的要求；具有良好的鲁棒性和泛化能力，并且计算负担较小,具备在弹载计算机上运行的条件。     

攻击角度约束下的分布式强化学习制导方法

为提高导弹在攻击角度约束下对目标的打击效能，提出了一种基于深度确定性策略梯度算法的分布式强化学习制导策略。为了最大限度地减小攻击角度误差，设计了一种新的奖励函数，使导弹在满足视场角约束的同时，视线角向期望值收敛。此外，为了增强强化学习模型的泛化能力，提出了一种分布式探索策略，提高了模型训练过程中对环境的探索效率。仿真结果验证了所提出的分布式强化学习制导方法能够在固定攻击角度约束下实现对目标的精准打击。与传统制导律相比，所提制导方法的攻击角度误差更小，收敛速度更快。     

基于MADDPG的多无人机协同任务决策

针对多无人机任务决策方法研究中传统优化算法难以在短时间内得到期望结果的问题,基于深度强化学习提出一种无人机多智能体深度确定性策略梯度(MADDPG)算法,通过允许无人机在学习时使用全局信息,在应用决策的时候只使用局部信息的方法,从网络结构、状态空间、动作空间和奖励函数设计了MADDPG算法的模型结构。最后通过仿真实验,并对比深度确定性策略梯度(DDPG)算法,验证了本文提出的MADDPG算法在保证精度的基础上,学习速度大幅度提高,弥补了传统强化学习算法在多智能体领域的不足。     

一种高速可变形飞行器智能变形决策方法

针对一类高速可变形飞行器(HMFV)的变形决策问题，提出一种基于深度确定性策略算法(DDPG)下考虑综合性能指标最优的智能变形决策方法。首先，以一类后掠角可连续变化的高速飞行器为研究对象，给出变形飞行器动力学模型，分析模型特性及变形量与关键气动参数之间的定性关系。其次，基于关键气动数据特征分析，考虑包含气动性能、控制误差在内的综合性能指标，设计一种基于DDPG算法的智能变形决策方案。再者，针对带有标称控制器的HMFV进行变形决策训练，实时获得滑翔过程中不同飞行状态下的最优构型。最后，仿真结果表明所设计的智能变形决策算法收敛效果好，且具备较好的泛化性能。相比于固定外形，可通过变形使得在不同状态下的升阻比保持最优，且与考虑单一决策指标相比，考虑综合指标最优的变形决策可进一步缩小姿态动态跟踪误差。     

一种深度强化学习制导控制一体化算法

研究了一种基于深度强化学习理论的制导控制一体化算法。不同于传统的制导控制一体化算法和制导控制回路分开设计的方法,基于深度强化学习理论的制导控制一体化算法利用深度学习强化算法生成一个智能体,智能体根据导弹的观测量生成舵偏角控制指令准确拦截目标。首先将制导控制问题转化为一个马尔可夫决策过程,然后提出了一个权衡制导精度、能量损耗和飞行时间的奖励函数,将制导控制问题转化到强化学习问题的框架中。最后采用深度确定性策略梯度算法,求解提出的强化学习问题,训练得到制导控制智能体,智能体根据导弹观测量生成舵偏角指令。通过进行大量的数值模拟,验证了提出的制导控制一体化算法的有效性和鲁棒性。     

跨传感器异步迁移学习的室内单目无人机避障

针对强化学习策略由仿真环境向实际迁移困难的问题，以提高无人机采用无深度信息单目视觉时的行人规避能力为目标，提出一种基于异步深度神经网络结构的跨传感器迁移学习方法。首先，在仿真环境中仅使用虚拟单线激光雷达作为传感器，通过基于确定性策略梯度(DDPG)的深度强化学习方法，训练得到一个稳定的初级避障策略。其次，用单目摄像头和激光雷达同步采集现实环境中的视觉和深度数据集并逐帧绑定，使用上述初级避障策略对现实数据集进行自动标注，进而训练得到无需激光雷达数据的单目视觉避障策略，实现从虚拟激光雷达到现实单目视觉的跨传感器迁移学习。最后，引入YOLO v3-tiny网络与Resnet18网络组成异步深度神经网络结构，有效提高了存在行人场景下的避障性能。     

一种超参数自适应航天器交会变轨策略优化方法

利用强化学习技术,本文提出了一种超参数自适应的燃料最优地球同步轨道（GEO）航天器交会变轨策略优化方法。首先,建立了GEO航天器交会Lambert变轨模型。以变轨时刻为决策变量、燃料消耗为适应度函数,使用改进式综合学习粒子群算法（ICLPSO）作为变轨策略优化的基础方法。其次,考虑到求解的最优性和快速性,重新设计了以粒子群算法（PSO）优化结果为参考基线的奖励函数。使用一族典型GEO航天器交会工况训练深度确定性策略梯度神经网络（DDPG）。将DDPG与ICLPSO组合为强化学习粒子群算法（RLPSO）,从而实现算法超参数根据实时迭代收敛情况的自适应动态调整。最后,仿真结果表明与PSO、综合学习粒子群算法（CLPSO）相比,RLPSO在较少迭代后即可给出适应度较高的规划结果,减轻了迭代过程中的计算资源消耗。     

航天器反应式碎片规避动作规划方法

提出一种航天器反应式碎片规避动作规划方法，首先以扰动流体动态系统(IFDS)算法作为动作规划的基础算法，通过其中的总和扰动矩阵对航天器的轨道速度矢量进行修正，实现轨道机动规避；然后，建立基于双延迟深度确定性策略梯度(TD3)深度强化学习算法的反应式动作规划方法，通过TD3在线优化IFDS规划参数，实现对碎片群的“状态-动作”最优、快速规避决策。在此基础上，将优先级经验回放和渐进式学习策略引入该方法中，提升训练效率。最后，仿真结果表明，所提方法可使航天器安全规避多发、突发、动态且形状各异的空间碎片群，且具有较好的实时性。     

非圆截面变体头锥机构设计与运动仿真分析

设计具有变形能力的飞行器结构,通过主动改变其气动外形是提高空天飞行器飞行能力和环境自适应性的有效途径。本文提出了一种可实现单侧弯曲与多级伸展变形的空天飞行器非圆截面变体头锥机构设计方法,可独立进行头锥的多级伸展及弯曲运动,实现变体形式多样化;通过在伸展机构级间设计锁定装置,保证了头锥变形的展开稳定性。结合飞行工况,计算了头锥伸展过程中所受载荷及所需驱动力。头锥伸展及弯曲运动仿真结果论证了方案的可行性。在给定驱动模式下头锥机构的轴向最大伸展位移与体长比为0.43,伸展弯曲比可达3.5。通过分析变形过程的位移、速度及加速度变化规律发现,所设计的变体头锥机构可实现较好的运动特性和运动平稳性。     

条件生成对抗网络的翼型反设计方法

针对变体飞行器实时控制翼型形状的需求，提出了基于深度学习的翼型反设计方法，利用多层感知机搭建了由生成器与判别器组成的条件生成对抗网络。生成器从带有随机噪声的气动参数中提取内在特征，习得特征到翼型的映射关系；判别器则将生成器产生的翼型或真实翼型与前述气动参数混合作为输入，输出该翼型为符合指定气动条件的真实翼型的概率。为了优化网络模型，研究并分析了噪声尺寸、超参数及网络结构对模型收敛性能的影响。训练好的网络模型即可根据给定的期望气动参数，快速生成配套的翼型。测试结果表明预测翼型与真实翼型的均方根误差的平均值为0.17%,耗时仅为23 ms,大大提高了设计精度与效率；并且在有噪声干扰情况下依旧保持良好的设计性能，增强了翼型设计模型的鲁棒性。研究成果可以应用于变体飞行器自适应在线最优气动构型控制。     

飞行器多学科不确定性设计理论概述

设计是充分利用设计知识做出智能决策得到最优解的过程，在基于建模与仿真的飞行器设计过程中，由于客观存在的不确定性，产生基于模型预估结果与真实结果的不一致。飞行器传统设计采用基于串行的确定性设计方法，无法得到性能、可支付性、可靠性、鲁棒性等综合平衡的设计。本文旨在建立飞行器多学科不确定性设计理论，介绍解决飞行器多学科不确定性设计相关计算、组织和不确定性科学处理复杂性问题的方法和基本思想。     

基于深度强化学习的追逃博弈算法

在未来的局部战争中,导弹攻防对抗将成为一个重要的作战样式。用智能小车的追逃来模拟导弹攻防对抗过程,并以深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法为原型,以视距和视线角为状态,借鉴PID控制思想设计回报函数,提出了一种追逃博弈算法。该算法分别在数学仿真和智能小车实物上进行了验证,实验结果表明算法可以有效地控制小车使其完成追捕任务,并且具有很好的适应性。     

基于DDQN的运载火箭姿态控制器参数设计

探索了利用深度强化学习算法训练智能体,以代替人类工程师进行火箭姿态控制器参数的离线设计方案。建立了多特征秒的火箭频域分析模型,选定了设计参数。选择深度强化学习算法中的双深度Q学习(Double Deep Q Network,DDQN)算法,通过记忆回放和时间差分迭代的方式让智能体在与环境交互过程中不断学习。设计了对应的马尔科夫决策过程模型,进行了智能体的训练和前向测试。结果说明该方法对于运载火箭姿控设计具有一定参考价值。     

再入飞行器自适应最优姿态控制

针对再入飞行器姿态控制问题,应用自适应动态规划（ADP）理论设计了姿态控制器。将再入飞行器的姿态控制建模为非线性系统的最优控制问题,提出单网络积分型强化学习（SNIRL）算法进行求解,该算法简化了积分型强化学习（IRL）算法在迭代计算中的执行-评价双网络结构,只需要采用评价网络估计值函数就可以求得最优控制律,其收敛性得到了理论证明。基于SNIRL算法设计了自适应最优控制器,并证明了闭环系统的稳定性。通过数值仿真校验了SNIRL算法比IRL算法计算效率更高,收敛速度更快,并校验了自适应最优姿态控制器的有效性 。     

基于FFD方法的高超声速升力体气动优化

将FFD(Free Form Deformation)自由变形法与无限插值动网格方法相结合,发展了一种飞行器参数化建模和网格生成方法。二维和三维的实例显示自由变形之后得到的飞行器几何外形及其对应的网格能保持平滑光顺,验证了方法的有效性。在此基础上,结合径向基函数代理模型和CFD技术发展了一套优化设计方法并对高超声速升力体外形进行了气动优化。基于自适应模拟退火算法的单目标优化表明,在保持原有外形体积不减小的情况下,升阻比提高了1.28%;基于NSGA-II的多目标优化得到了飞行器升阻比和体积的最优解集,典型优化外形的升阻比和体积分别提高了2.93%和2.49%。升力体的优化结果表明了FFD方法的有效性和优化设计方法的实用性。     

基于不确定性的飞行器分离可靠性建模与分析方法

为实现飞行器分离任务可靠性的定量分析和高效精确评估,研究了高超声速飞行器分离任务过程中各种不确定性因素对分离可靠性的影响,提出一种基于不确定性的飞行器分离可靠性建模与分析方法。面向高超声速飞行器分离任务需求,建立分离动力学仿真模型,综合考虑分离过程不确定性因素的影响,利用灵敏度分析方法识别主要不确定性因素,构建分离可靠性模型。针对此模型,提出一种改进主动学习Kriging(IAK)的分离可靠性分析方法,通过新的采样策略选取失效概率更大的采样点作为新增训练点,进行高效可靠性分析。实例结果表明,该方法能够准确描述不确定性因素对分离过程的影响,提升分离可靠性定量分析的精度和效率,为飞行器分离方案的精细化设计提供支撑。     

自适应学习率的增量强化学习飞行控制

针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法.首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度.然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器...     

降低气动非线性的高超飞行器总体优化方法研究

针对高超声速飞行器严重气动非线性特性给控制系统设计提出的高要求,基于推广的随控布局思想,从控制系统设计角度对高超声速飞行器总体提出气动非线性程度低的优化设计指标。引入高超声速飞行器气动非线性特性度量——非线性度的定义,通过气动工程估算建立非线性度与飞行器总体外形参数关系的表征模型,将非线性度表示为总体外形参数的函数;采用遗传算法求解以总体外形参数为决策变量和以非线性度最小为目标函数的优化问题;最终确定随控优化思想下的高超声速飞行器总体优化策略。算例分析表明,本文提出的总体随控优化方法对于改善高超声速飞行器的气动非线性特性简单有效。     

深度交叉遗传神经网络在液体火箭发动机故障检测中的应用

将遗传算法与BP神经网络深度交叉融合,即采用遗传算法对BP神经网络的权值和阈值进行多点优化,而在进化的每一代中随机取少量染色体进行单一BP网络训练,训练结果再返回染色体,经过若干代的进化后得到稳定的权值和阈值,再将它们赋给BP神经网络,作为初始值,按误差前向反馈算法沿负梯度搜索重新训练,最终得到最优解。这种算法既避免BP算法易陷入局部最优解的不足,又克服遗传算法以类似穷举的形式寻找最优解而引起的搜索时间长、速度慢的缺点。并且经过仿真分析,深度交叉遗传BP神经网络的收敛性和故障诊断能力优于传统BP神经网络和单一使用遗传算法,可有效应用于液体火箭发动机故障检测中。