非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

防空火力压制任务中反辐射无人机的作战效能研究

对防空火力压制(SEAD)任务中反辐射无人机的作战效能进行了研究。建立了SEAD效能的评估模型,根据模型中各指标的求解方法,给出了多反辐射无人机SEAD效能评估的仿真方法步骤,并通过算例对仿真方法进行了验证。结果表明,当敌方采取欺骗手段时,反辐射无人机的作战效能会减低很多,这与实际情况相符。该方法已在反辐射无人机SEAD效能的仿真研究中得到应用。     

无人机智能任务规划系统技术研究

面对复杂的现代战场环境,高效智能的任务规划系统对于准确实施作战任务至关重要。以基于性能模型计算的多要素一体化无人机智能任务规划系统架构为框架,从环境建模、航路和任务规划、推演和评估等功能模块切入,对相关原理及热点技术进行了研究。基于该架构的任务规划系统可以实现高度数字化和一体化,以及与计算机辅助算法的深度耦合,从而提升规划过程的自动化与智能化程度,使无人机可以高效应对复杂战场环境,准确执行分配的作战任务。     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

异构MAS结构下的空天资源多阶段协同任务规划方法

利用空天资源的互补优势进行协同观测是对地观测领域的新趋势.为提高对地观测效益和多阶段观测任务的完成度,分析了空天资源协同观测任务规划问题中的观测资源异构性和多阶段观测任务分解方式的多样性.针对卫星和无人机的任务规划模型不一致的特点,建立了异构多智能体系统(MAS)多阶段协同任务规划模型,根据模型特点将问题求解分解为两个协商过程,并分别提出了基于市场模型的异构MAS多阶段协同任务规划算法和基于自适应“超级步”的资源Agent协同任务规划算法.最后,研究了该方法在空天资源联合观测中的应用情况,实验及分析结果表明该方法能够有效解决空天资源对地观测协同任务规划问题.     

基于多指标动态优先级的无人机协同路径规划

针对复杂城市环境下多无人机（UAVS）协同巡检、配送等任务,提出一种基于多指标动态优先级的协同路径规划方法,以节省运行成本和增加任务效率。综合考虑碰撞风险、总路程、等待时间等指标构建动态优先级模型,并在优先级单边避碰机制下,定制组合规避策略以处理局部冲突,更好地权衡协同规划效率和路径质量。针对无人机个体路径规划,在Lazy Theta*算法基础上引入拥堵权值地图,引导无人机避开拥堵区域,降低冲突发生可能性。对比仿真试验表明：提出的个体规划算法可以减少拥堵区域和降低拥堵持续时间,提出的多指标动态优先级协同规划算法相比于飞行时间驱动的动态优先级,能够提高规划效率和结果最优性。     

基于混沌灰狼优化的多无人机协同航路规划

针对多无人机协同执行饱和攻击任务的时空约束,本文提出了基于混沌灰狼优化的离线航路规划方法,实现了多无人机协同航路的有效生成。首先,针对饱和攻击任务的特点进行分析,将具有时空约束的多无人机同时到达问题转化为协同航程问题;其次,针对将混沌映射引入灰狼优化算法中,提出了混沌灰狼优化算法,以提高原算法的探索能力和收敛速度;最后,提出了基于几何规划的航点扩展策略,从而构造出满足任务攻击时间与攻击方位要求的航点序列。通过对单无人机航路规划问题的仿真验证了改进算法的寻优能力;通过对面向饱和攻击任务的航路规划仿真验证了所提方法的可行性和有效性。     

基于多智能体混合学习的多星协同动态任务规划算法(英文)

针对多星协同动态任务规划问题,以往多采用基于启发式的重规划算法,但是由于启发式策略依赖于具体任务,使得优化性受到影响。注意到协同规划的历史信息对后续协同规划的影响,本文提出了一种基于策略迭代的多智能体强化学习和迁移学习的混合学习算法求解该问题近似最优策略。本文的多智能体强化学习方法利用神经网络描述各颗卫星的强化学习策略,通过协同进化的方法迭代搜索具有最优拓扑结构和连接权重的策略神经网络个体。针对随机出现的观测任务请求导致历史学习策略失效,通过迁移学习将历史学习策略转换为当前初始策略,保证规划质量前提下加快多星协同任务规划速度。仿真实验及分析结果表明本文算法对动态随机出现的任务请求有良好的适应性。     

基于HPSO-W算法的多机航迹协同规划方法

随着无人机应用愈加广泛,三维环境下多无人机航迹协同规划问题成为近年来的研究热点。针对多机协同航迹规划问题,基于应急物流任务环境与无人机性能约束,以全局安全运行综合代价最小为优化目标建立时空协同规划模型。考虑航迹规划中粒子群算法易陷入局部极值,后期收敛慢的缺点,提出一种基于狼群优化思想的混合改进粒子群算法HPSO-W。主要是先对粒子群算法参数进行优化,加入极值变异思想,并引入头狼召唤和优胜劣汰机制,平衡算法全局和局部搜索能力,加速后期收敛,避免局部阻滞,提高寻优性能。对比验证了HPSO-W算法的高效性,并通过实例验证了协同航迹规划方法的可行性与有效性。     

Mission decision-making method of multi-aircraft cooperatively attacking multi-target based on game theoretic framework

Coordinated mission decision-making is one of the core steps to effectively exploit the capabilities of cooperative attack of multiple aircrafts. However, the situational assessment is an essential base to realize the mission decision-making. Therefore, in this paper, we develop a mission decision-making method of multi-aircraft cooperatively attacking multi-target based on situational assessment. We have studied the situational assessment mathematical model based on the Dempster-Shafer (D-S) evidence theory and the mission decision-making mathematical model based on the game theory. The proposed mission decision-making method of antagonized airfight is validated by some simulation examples of a swarm of unmanned combat aerial vehicles (UCAVs) that carry out the mission of the suppressing of enemy air defenses (SEAD).     

基于博弈论模型的多机协同对抗多目标任务决策方法

根据多机协同对抗多目标的空战特征,以敌我双方可能的相互攻击组合方式作为策略集,由敌我双方对抗态势分析定量结果确定支付函数,建立完全信息静态博弈模型.通过求解博弈模型的混合策略纳什均衡解,并结合一定作战经验,形成任务决策方法.以无人作战飞机编队对抗敌地对空防御系统为例,对本文所研究的任务决策方法进行了验算.     

Q-learning强化学习协同拦截制导律CSCD

为实现多枚导弹协同拦截机动目标,提升拦截效能,提出了一种Q-learning强化学习协同拦截制导律。首先,基于逃逸域覆盖理论,建立了非线性多弹协同拦截模型。其次,以视线角速率为状态,依据脱靶量构造奖励函数,通过离线训练生成强化学习智能体,并结合传统比例制导控制方法,构建基于强化学习的变导引系数制导律,实时生成实现协同拦截的制导指令。最终,通过数值仿真验证了所提算法的有效性和优越性。     

多滑翔飞行器时间协同轨迹快速规划

从高超声速飞行器集群"探测-打击-评估"一体化任务需求出发,针对多滑翔飞行器时间协同再入轨迹规划问题进行研究,提出集群再入的协同形式及轨迹规划方案,基于改进序列凸化算法解决了再入总飞行时间的精确控制问题,从而实现滑翔段时间协同。首先,给出了滑翔飞行器集群的协同策略,将求解模型转化为协同时间的确定、协同时间约束下的轨迹规划子问题。将模型中的时间项误差等加入罚函数,提高了协同轨迹求解可行性。引入飞行路径角预设剖面作为软约束,并通过罚函数与信赖域自适应调整,以避免轨迹求解时的振荡问题,提高了序列凸化算法的收敛性。以CAV-H飞行器模型为例验证了算法的有效性,仿真结果表明,所提算法对初值的敏感性低,求解得到的再入总时间可调范围与伪谱法一致,轨迹规划结果的平滑性及计算时间均优于伪谱法。     

导弹集群协同作战任务规划系统

以领弹/攻击弹等新概念作战方式为例,讨论基于C4ISR系统下的导弹集群协同作战的总体框架,对信息融合系统、态势评估系统、任务规划系统、战毁评估系统及数据链系统等进行了分析,并对任务规划的主要算法,如A*,D*,Voronoi图法等进行了分析比较,最后设计了任务规划系统的硬件体系框架和软件结构模块.     

多无人机协同覆盖路径规划

多无人机协同覆盖路径规划(CPP)由于其并行性和容错能力,对于提高无人机完成侦察、监视、搜索等任务的效率具有重要意义。提出了一种基于无人机任务性能评价和任务区域划分的多无人机协同CPP算法。定量分析了无人机执行覆盖任务的能力,根据无人机及携带成像传感器的性能给出了计算无人机任务性能指数的数学公式;提出了一种基于任务性能和子区域宽度的任务区域划分算法,使无人机的总转弯次数达到最少。仿真结果表明,所提出的CPP算法能够规划出全局最优的多无人机协同覆盖路径。     

基于地面任务-空间姿态映射的敏捷卫星任务规划

面向观测时间窗口相互重叠的多点目标观测任务需求,对敏捷卫星单星单轨任务规划问题进行研究。针对传统方法在卫星机动能力受限和成像任务冗余两种情况下求解效率低的缺陷,引入任务-姿态协同规划思想。首先,建立地面任务和空间姿态映射关系,并考虑相邻任务间姿态机动时间的最优性使得卫星在观测相邻任务时无多余等待时间,以此来设计任务-姿态协同规划数学模型。其次,根据任务-姿态协同规划数学模型,设计自适应伪谱遗传算法（APGA）,用以求解满足调整时间最优性的敏捷卫星任务规划问题。最后,通过仿真实验,验证了模型和算法能够有效地解决传统算法求解敏捷卫星任务规划问题时存在的求解效率低的缺陷。     

有人机/无人机协同任务控制系统

针对有人机/无人机协同任务控制系统的设计和实现问题展开研究。结合有人机/无人机协同控制过程的特点,提出了基于自然语言接口方式的有人机/无人机协同任务控制系统结构。在此基础上,分析了系统模块的关键内容,设计了面向有人机与无人机交互过程的任务指令格式,提出了基于优先级的任务模式调度策略,针对无人机的典型任务模式,讨论了航路规划的计算方法选择,最后构建了有人机/无人机协同任务仿真环境。仿真试验结果验证了整体方法的可行性。     

多无人机协同航迹规划技术研究

多无人机协同航迹规划是多无人机协同控制的重要组成部分。多无人机协同航迹规划能得到满足安全性、协同性和任务要求的较优航迹,这对提高无人机系统性能有重要的意义。介绍了多无人机协同航迹规划的问题描述和求解结构,总结了在协同规划问题中的约束条件和航迹协调方法,着重阐述了几种在多无人机编队中常用的控制方法。在此基础上,对未来可能的研究方向进行了展望。     

Pop-up threat models for persistent area denial

Pop-up threats usually appear or disappear randomly in a battle field. If the next pop-up threat locations could be predicted it would assist a search or attack team, such as in a persistent area denial (PAD) mission, in getting a team of unmanned air vehicles (UAVs) to the threats sooner. We present a Markov model for predicting pop-up ground threats in military operations. We first introduce a general Markov chain of order n to capture the dependence of the appearance of pop-up threats at previous locations of the pop-up threats over time. We then present an adaptive approach to estimate the stationary transition probabilities of the nth order Markov models. To choose the order of the Markov chain model for a specific application, we suggest using hypothesis tests from statistical inference on historical data of pop-up threat locations. Anticipating intelligent responses from an adversary, which might change its pop-up threat deployment strategy upon observing UAV movements, we present adaptive Markov chain models using a moving horizon approach to estimate possibly abrupt changes in transition probabilities. We combine predicted and actual pop-up target locations to develop efficient cooperative strategies for networked UAVs. A theoretical analysis and simulation results are presented to evaluate the Markov model used for predicting pop-up threats. These results demonstrate the effectiveness of cooperative strategies using the combined information of threats and predicted threats in improving overall mission performance.