基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

基于非精确计算的空间探测相控阵雷达任务规划算法

针对空间探测相控阵雷达系统,提出了一种新的基于非精确计算模型的观测任务规划算法。首先,建立了目标观测的实时任务模型,并分析了观测任务所占用传感器的资源;其次,基于非精确计算模型,提出一种多任务并行的实时容错调度算法来解决观测任务规划问题,该算法综合考虑相控阵雷达的搜索任务与跟踪任务,来进行系统资源的分配。对于跟踪任务,算法结合目标的过境时间以及当前系统的负载情况,以此来确定雷达对该目标的观测时间段;最后给出了算法的评估方法。利用2886个低轨空间目标进行仿真验证,结果表明,基于非精确计算模型的任务规划算法,可显著提高系统调度成功率以及时间资源利用率．比传统方法更稳健。     

基于多智能体混合学习的多星协同动态任务规划算法(英文)

针对多星协同动态任务规划问题,以往多采用基于启发式的重规划算法,但是由于启发式策略依赖于具体任务,使得优化性受到影响。注意到协同规划的历史信息对后续协同规划的影响,本文提出了一种基于策略迭代的多智能体强化学习和迁移学习的混合学习算法求解该问题近似最优策略。本文的多智能体强化学习方法利用神经网络描述各颗卫星的强化学习策略,通过协同进化的方法迭代搜索具有最优拓扑结构和连接权重的策略神经网络个体。针对随机出现的观测任务请求导致历史学习策略失效,通过迁移学习将历史学习策略转换为当前初始策略,保证规划质量前提下加快多星协同任务规划速度。仿真实验及分析结果表明本文算法对动态随机出现的任务请求有良好的适应性。     

基于深度强化学习算法的空间站任务重规划方法

针对空间站短期任务重规划问题规划周期短、实时性约束多、约束传播复杂的特点,结合深度强化学习在智能学习和决策上的优势,提出了适用于深度强化学习的空间站任务状态空间编码方式,实现了基于深度确定性策略梯度算法的空间站任务重规划方法。该方法可以通过学习,自主化解约束冲突,摆脱人为预先设定约束冲突化解策略的限制。仿真分析表明:该方法可以通过算法本身不断地学习进化,找到空间站任务重规划问题的近似最优解,相比于传统解决方法,具有很强的智能性和适应性,为解决空间站任务规划问题提供了新思路。     

基于Transformer层次预测的多星应急观测任务规划方法

应急观测任务规划是一个强时效性的复杂组合优化问题,必须在规定的时限内完成相应的计算。采用机器学习的方法对规划问题进行初始规划方案预测,可以有效地简化计算复杂度。为此,提出一种基于Transformer层次预测的多星应急观测任务规划方法,将多星任务规划的求解过程分解为3个步骤：首先,利用基于Transformer的任务可调度性预测模型预测待规划任务是否执行,得到预执行任务集合;然后,基于Transformer的任务分配模型对预执行任务集合分配卫星,得到初始规划方案;最后,利用基于随机爬山的约束修正算法对初始规划方案进行优化调整,得到可行规划方案。为验证所提方法的有效性,通过大量仿真实验与CPLEX优化器、标准遗传算法、长短期记忆网络等方法模型进行比较,实验结果表明所提方法计算耗时短,规划收益高,适用于多星观测任务快速规划。     

基于改进ARA*算法的无人机在线航迹规划

针对无人机三维在线航迹规划对算法速率、航迹最优性的需求,提出了基于改进ARA^*算法的无人机在线航迹规划方法。首先,建立无人机三维航迹规划的数学模型;然后,提出了节点空间约简策略、局部启发项策略以提高算法收敛速率,并针对复杂规划环境提出了启发因子自适应递减策略。仿真结果表明,所提算法能够快速、稳定地生成首条可行航迹,并在剩余时间内不断提高航迹质量,可应用于不同类型的在线规划任务,动态地适应规划时间与航迹最优性的要求。     

基于多模型的低轨星座多目标跟踪传感器资源调度

针对低轨星座多目标持续跟踪传感器资源调度问题,首先将目标跟踪任务划分为高精度任务集合和低精度任务集合,并分析了跟踪任务状态转移过程;然后,为两任务集合分别建立了基于动态优先级的优化调度模型,提出了一种基于多模型的实时传感器调度算法。不同场景下仿真实验表明,所提算法较之以跟踪精度为优化目标和以跟踪精度为门限约束的方法具有更强的适用性,尤其对于目标分布较为集中的情况,其目标丢失率大大降低,尽管个别目标的跟踪误差略有增大。     

基于改进蚁群算法的无人机路径规划

针对传统无人机路径规划算法存在规划效率低以及无法满足特定任务需求的缺点,提出了基于改进蚁群优化算法的无人机路径规划算法。首先,将待规划区域栅格化,给每一个网格按顺序编号;其次,在路径搜索时引入了一种双向搜索机制,对信息素的更新规则和下一步节点的选择方法做出改进;最后,提出了一种新的方法来整合两组蚂蚁生成的路径,并给出了若干仿真试验结果。结果表明,所提算法相比传统算法更能有效避免过早陷入局部最优,收敛速度加快,生成满足任务约束的最短路径。     

基于强化学习的航空器机场智能静态路径规划

随着人工智能迅速发展以及“智慧机场”的提出,研究人工智能在机场如何有效地辅助机场管制人员,驾驶员指挥航空器在地面滑行具有重要意义。本文提出一种基于强化学习的滑行路径规划方法,构建航空器机场地面强化学习移动模型,并以海口美兰机场为案例采用 Python 内置工具包 Tkinter 进行场面仿真;在此基础上,考虑机场航空器滑行规则,采用 Off-Policy 中 Q-Learning 算法求解贝尔曼方程,实现航空器在 Model-based 环境中进行静态路径规划。结果表明：本文所提方法能够实现停机位到跑道出口智能静态路径规划     

小失效概率情况下的全局可靠性灵敏度分析的高效方法

针对目前很多算法都无法准确、高效地计算小失效概率（10^-4,甚至更小）情况下的全局可靠性灵敏度问题,本文提出了一种高效求解小失效概率情况下的全局可靠性灵敏度新算法。所提算法通过扩大标准差构造重要抽样密度函数来进行空间分割（SP）,再与无迹变换（UT）结合,利用函数在分割后的子空间内非线性程度的降低和无迹变换方法可以高效计算低非线性程度函数的前二阶矩,来高效准确地计算小失效概率情况下的全局可靠性灵敏度。所提算法的优点有：重要抽样密度函数的选择可以使得空间分割时向重要区域偏移,并且在分割区域内功能函数的复杂性被降低,从而可以利用无迹变换方法高效计算失效概率,进而高效求得全局可靠性灵敏度。与已有的算法相比,算例说明了本文所提方法的优势。     

结合跳点引导的无人机随机搜索避撞决策方法

针对无人机在城市空域环境和密集交通流下的避撞决策问题，提出马尔科夫决策过程（MDP）和蒙特卡洛树搜索（MCTS）算法对该问题进行建模求解。蒙特卡洛树搜索算法在求解过程中为保证实时性而使其搜索深度受限，容易陷入局部最优，导致在含有静态障碍的场景中无法实现避撞的同时保证全局航迹最优。因此结合跳点搜索算法在全局规划上的优势，建立离散路径点引导无人机并改进奖励函数来权衡飞行路线，在进行动态避撞的同时实现对静态障碍的全局避撞。经过多个实验场景仿真，其结果表明改进后的算法均能在不同场景中获得更好的性能表现。特别是在凹形限飞区空域仿真模型中，改进后的算法相对于原始的蒙特卡洛树搜索算法，其冲突概率降低了36%并且飞行时间缩短47.8%。     

A measurement-driven adaptive probability hypothesis density filter for multitarget tracking

This paper studies the dynamic estimation problem for multitarget tracking. A novel gating strategy that is based on the measurement likelihood of the target state space is proposed to improve the overall effectiveness of the probability hypothesis density(PHD) filter. Firstly, a measurement-driven mechanism based on this gating technique is designed to classify the measurements. In this mechanism, only the measurements for the existing targets are considered in the update step of the existing targets while the measurements of newborn targets are used for exploring newborn targets. Secondly, the gating strategy enables the development of a heuristic state estimation algorithm when sequential Monte Carlo(SMC) implementation of the PHD filter is investigated, where the measurements are used to drive the particle clustering within the space gate.The resulting PHD filter can achieve a more robust and accurate estimation of the existing targets by reducing the interference from clutter. Moreover, the target birth intensity can be adaptive to detect newborn targets, which is in accordance with the birth measurements. Simulation results demonstrate the computational efficiency and tracking performance of the proposed algorithm.     

机载网络时间触发通信调度设计优化与评价方法

机载网络是航空电子系统实现信息传输与功能综合的关键组成,引入时间触发（TT）机制并安排合理通信调度可以有效保证机载网络实时可靠通信,但需要首先面对多种调度设计方法的选择问题。在总结了时间触发通信过程与特征的基础上,以时间触发以太网为分析对象,给出了基于可满足性模理论（SMT）、混合整数规划（MIP）和启发式算法等不同约束引导下的调度模型,并形成了基于强化学习（RL）的调度方法;从调度设计的求解能力与性能保障角度出发,建立了包括求解时间、可求解规模、传输延迟和调度模式的评价指标。以工业规模网络为研究案例对不同调度方法进行了验证分析,在评价指标的引导下对比分析了各种方法的适用场景,其中SMT方法可支持小规模案例,MIP方法具有明显的TT消息传输和调度求解运算优势,以遗传算法为典型的启发式方法和RL方法可实现大规模案例调度,虽然其TT延迟略高于MIP方法,但速率约束消息延迟优化程度分别达到7.97%和12.35%。在此基础上,进一步探讨了未来航电系统机载网络时间触发通信调度设计优化技术的发展趋势。     

月面巡视机器人快速安全路径规划

为提高月面巡视机器人自主探测任务的效率及安全性,提出了一种基于月面数字高程地图的大范围自主探测快速安全路径规划算法。首先根据获取的月面数字高程地图设计了一种地形可通过性分析方法,并生成了欧几里得距离地图（EDM）为安全路径规划提供参考。然后针对A^*算法解决月面巡视探测问题时搜索速度慢、未考虑路径安全性的问题,提出了FSA^*算法,改进了A^*算法的搜索机制以适用于月面大范围路径的快速搜索,并结合EDM地图设计了一种安全启发式函数,可使生成路径尽量远离危险区域,提高了巡视机器人自主探测过程的安全性。最后选取月球艾特肯盆地区域作为仿真场景,验证了该算法的有效性。     

蚁群算法的改进设计及在航迹规划中的应用

将蚁群算法与人工势场算法相结合，提出了一种新的寻优算法。在算法的设计过程中，首先引入人工势场法进行蚁群算法初始信息素的分配，避免了在迭代初始阶段，信息素太少与启发信息不成比例而使得蚂蚁集中在启发信息最强的路径上，从而陷入局部最优的问题。其次，通过引入势场引导函数改进蚁群算法的状态转移函数，避免了在三维空间中蚂蚁搜索容易忽视节点周围障碍物因素，从而陷入盲目选择导致搜索时间过长的问题。将优化算法应用于无人机三维航迹规划问题的求解，并通过仿真验证了有效性。     

面向突发任务的空间站任务重规划方法

针对空间站在轨运营出现突发任务的情况,提出一种基于启发式规则的任务重规划方法,满足了方案重规划的快速响应需求。根据任务执行的连续性特点和冲突状态,建立了空间站突发任务规划领域模型。考虑重规划过程中任务包含活动间复杂约束关系传播的影响,提出了时间回溯迭代冲突化解策略,同时依据任务执行时间间隔,提出针对间隔插空的时间冗余启发式规则。基于时间回溯迭代冲突化解策略和时间冗余启发式规则,对原任务执行计划进行实时重规划,实现了突发任务的快速响应。应用算例分析表明,提出的重规划方法可以成功地满足空间站突发任务规划需求,实现实时更新空间站在轨任务执行详单的目的。     

有限平板绕流Monte—Carlo方法仿真

本文采用直接仿真Monte-Carlo方法求解有限长平板绕流等问题。本方法是通过计算机跟踪仿真分子的运动来实现数值模拟的。仿真分子间的碰撞计算由统计抽样确定。碰撞模型分别选用了硬球分子模型和负幂律分子模型。仿真分子与固壁作用采用由完全扩散反射和镜面反射按比例混合组成的模型。为了检验方法的可靠性,还计算了激波结构和Rayleigh问题等一维流动,二维计算采用同步并行程序。数值结果表明直接仿真Monte-Carlo方法能够较好地模拟稀薄气体力学中的一些问题。对于二维计算,所花费的机时和所需的内存均在国内机器所允许的范围内。     

一种多寿命件机会更换策略启发式搜索算法

针对多寿命件机会更换问题缺乏快速有效求解算法的难题,提出了一种启发式搜索算法。以全生命周期寿命件总成本最低为优化目标,建立了多寿命件机会更换问题优化模型,将问题解空间表达为树结构;为了提高搜索算法的效率,提出了子节点生成方法和单层节点数量控制方法;在此基础上,提出了启发式搜索算法;最后,采用数值实验和应用案例对提出算法进行了评估和验证。结果表明:算法的消耗时间、求解效果与子节点生成系数α、单层节点最大数量β存在关系;当选取合适的α和β时,算法能够在较短时间内取得较好的效果;算法能够适用于设备总寿命为200000时间单位、包含100个寿命件的较大规模的多寿命件机会更换问题。      

Space Debris Reentry Analysis Methods and Tools

The reentry of uncontrolled spacecraft may be broken into many pieces of debris at an altitude in the range of 75-85 km. The surviving fragments could pose great hazard and risk to ground and people. In recent years, methods and tools for predicting and analyzing debris reentry and ground risk assessment have been studied and developed in National Aeronautics and Space Ad-ministration (NASA), European Space Agency (ESA) and other organizations, including the group of the present authors. This paper reviews the current progress on this topic of debris reentry briefly. We outline the Monte Carlo method for uncertainty analysis, breakup prediction, and parameters affecting survivability of debris. The existing analysis tools can be classified into two categories, i.e. the object-oriented and the spacecraft-oriented methods, the latter being more accurate than the first one. The past object-oriented tools include objects of only simple shapes. For more realistic simulation, here we present an object-oriented tool debris reentry and ablation prediction system (DRAPS) developed by the present authors, which introduces new object shapes to 15 types, as well as 51 predefined motions and relevant aerodynamic and aerothermal models. The aerodynamic and aerothermal models in DRAPS are validated using direct simulation Monte Carlo (DSMC) method.