基于分支深度强化学习的非合作目标追逃博弈策略求解

为解决航天器与非合作目标的空间交会问题,缓解深度强化学习在连续空间的应用限制,提出了一种基于分支深度强化学习的追逃博弈算法,以获得与非合作目标的空间交会策略。对于非合作目标的空间交会最优控制,运用微分对策描述为连续推力作用下的追逃博弈问题;为避免传统深度强化学习应对连续空间存在维数灾难问题,通过构建模糊推理模型来表征连续空间,提出了一种具有多组并行神经网络和共享决策模块的分支深度强化学习架构。实现了最优控制与博弈论的结合,有效解决了微分对策模型高度非线性且难于利用经典最优控制理论进行求解的难题,进一步提升了深度强化学习对离散行为的学习能力,并通过算例仿真检验了该算法的有效性。     

基于深度确定性策略梯度算法的战机规避中距空空导弹研究

飞机规避中距空空导弹的逃逸机动策略对于提高战斗机的生存力至关重要。针对深度确定性策略梯度算法训练智能体学习飞机规避导弹的逃逸机动策略进行研究。以飞机导弹相对态势参数等作为智能体的输入状态,飞机控制指令作为智能体的输出动作,导弹飞机追逃模型作为智能体的学习环境,设计由相对态势和飞行参数构成的成型奖励以及由交战结果组成的稀疏奖励,实现从状态参数到控制量端到端的逃逸机动策略。通过与四种基于专家先验知识的典型逃逸机动攻击区仿真验证对比,结果表明：智能体实现的逃逸策略攻击区仅次于置尾下降攻击区,该策略对飞机规避导弹先验知识的依存度最低。     

小型柔性接头推力矢量性能试验

设计了结构尺寸相同,弹性件材料分别为天然橡胶和硅橡胶的小型柔性接头,测试了容压作用下的轴向压缩位移,考察了弹性比力矩随温度(-50～70℃)、容压的变化情况.另外,为检验应力估算经验公式对小型柔性接头的适用性,测试了增强件内侧环向压缩应力.结果表明:柔性接头轴向压缩刚度随容压升高呈现一定程度的非线性增大趋势;弹性比力矩在0°～6°摆角范围内基本恒定,不同柔性接头弹性比力矩随容压升高呈现不同变化趋势;天然橡胶弹性件柔性接头弹性比力矩在低温下显著增大,硅橡胶弹性件柔性接头弹性比力矩在-50～70℃温区稳定;由燃烧室压强引起的增强件环向压缩应力经验公式估算值过大,不适用于小型柔性接头.      

Ground maneuver for front-wheel drive aircraft via deep reinforcement learning

The maneuvering time on the ground accounts for 10%–30% of their flight time, and it always exceeds 50% for short-haul aircraft when the ground traffic is congested. Aircraft also contribute significantly to emissions, fuel burn, and noise when taxiing on the ground at airports. There is an urgent need to reduce aircraft taxiing time on the ground. However, it is too expensive for airports and aircraft carriers to build and maintain more runways, and it is space-limited to tow the aircraft fast using tractors. Autonomous drive capability is currently the best solution for aircraft, which can save the maneuver time for aircraft. An idea is proposed that the wheels are driven by APU-powered (auxiliary power unit) motors, APU is working on its efficient point; consequently, the emissions, fuel burn, and noise will be reduced significantly. For Front-wheel drive aircraft, the front wheel must provide longitudinal force to tow the plane forward and lateral force to help the aircraft make a turn. Forward traction effects the aircraft’s maximum turning ability, which is difficult to be modeled to guide the controller design. Deep reinforcement learning provides a powerful tool to help us design controllers for black-box models; however, the models of related works are always simplified, fixed, or not easily modified, but that is what we care about most. Only with complex models can the trained controller be intelligent. High-fidelity models that can easily modified are necessary for aircraft ground maneuver controller design. This paper focuses on the maneuvering problem of front-wheel drive aircraft, a high-fidelity aircraft taxiing dynamic model is established, including the 6-DOF airframe, landing gears, and nonlinear tire force model. A deep reinforcement learning based controller was designed to improve the maneuver performance of front-wheel drive aircraft. It is proved that in some conditions, the DRL based controller outperformed conventional look-ahead controllers.     

基于启发强化学习的大规模ADR任务优化方法

随着航天事业的蓬勃发展,空间碎片尤其是低轨碎片已成为航天任务不可忽视的威胁。考虑到碎片清除的紧迫性和成本,低轨多碎片主动清除（ADR）技术成为缓解现状的必要手段。针对大规模多碎片主动清除任务规划问题,首先,基于任务规划的最大收益模型,提出一种强化学习（RL）优化方法,并依照强化学习框架定义了该问题的状态、动作以及收益函数;其次,基于高效启发因子,提出一种专用的改进蒙特卡罗树搜索（MCTS）算法,该算法使用MCTS算法作为内核,加入高效启发算子以及强化学习迭代过程;最后,在铱星33碎片云的全数据集中检验了所提算法有效性。与相关MCTS变体方法以及贪婪启发算法对比,所提方法能在测试数据集上更高效地获得较优规划结果,较好地平衡了探索与利用。     

自适应学习率的增量强化学习飞行控制

针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法.首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度.然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器...     

下单翼飞机主起落架舱补强结构设计与分析

主起落架舱(以下简称主起舱)位于主起落架所在的机身腹部翼身开口处,该区域连接结构复杂,是飞机外部载荷、应力集中、疲劳问题最为严重的区域,是机身载荷传递实现平衡的必经区域。主起舱的补强与一般机身开口补强不同,一方面要能够有效缓解开口应力集中,另一方面要参与外翼、主起落架与机身之间的传力以降低周围结构应力。补强结构设计的好坏直接影响翼身传力和主承力结构设计,通过主起舱补强结构进行力学和有限元对比,分析说明下单翼飞机主起舱补强方案。     

基于深度强化学习的软件定义卫星姿态控制算法

深度强化学习（DRL）作为一种新型的基于机器学习的控制算法,在机器人和无人机等智能控制领域展现出了优异的性能,而卫星姿态控制领域仍然在广泛使用传统的PID控制算法。随着卫星的小型化、智能化以至软件定义卫星的出现,传统控制算法越来越难以满足姿态控制系统对适应性、自主性、鲁棒性的需求。因此对基于深度强化学习的姿态控制算法进行了研究,该算法使用基于模型的算法,比非基于模型的算法拥有更快的收敛速度。与传统控制策略相比,该算法无需对卫星的物理参数和轨道参数等先验知识,具有较强的适应能力和自主控制能力,可以满足软件定义卫星适应不同硬件环境,进行快速研发和部署的需求。此外,该算法通过引入目标网络和并行化启发式搜索算法之后,在网络精度和计算速度方面进行了优化,并且通过仿真实验进行了验证。      

基于强化学习的航空兵认知行为模型

航空兵的认知行为模型为仿真航空兵的空战决策提供支持,通过强化学习积累战术决策经验.在虚拟战场环境中,作战态势通过多个属性进行描述,这使得强化学习过程将面临一个高维度的问题空间.传统的空间离散化方法处理高维空间时将对计算资源和存储资源产生极大需求,因此不可用.通过构造一个基于高斯径向基函数的拟合网络解决了这个问题,大大减少了对资源的需求以及强化学习周期,并最终产生了合理的机动策略.模型的有效性和自适应性通过一对一的空战仿真进行了验证,产生的交战轨迹与人类飞行员产生的交战轨迹类似.     

基于多智能体深度强化学习的多星观测任务分配方法

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况下,仍具有一定的自主协同能力及独立实现多星观测任务的高效分配能力。