非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

影响图决策方法在编队协同空战中的应用

针对空战环境下出现的大量不确定信息,将影响图决策方法和多Agent系统理论引入到编队协同空战决策研究中,把编队看成一个多Agent系统,编队中的长机和僚机都看成是Agent,利用影响图对多Agent系统进行建模,实现了编队中长机、僚机在不确定空战环境下做出结果最佳的决策。仿真结果表明了决策的有效性。     

基于多智能体的多无人机编队算法

多架无人机协同攻击能够充分利用各个飞机的作战资源和空间占位,是未来空战的主要模式,对多无人机进行编队具有比较重要的实际意义。多智能体技术通过采用各智能体间的通信、合作、协调、管理及控制来表达实际系统的结构、功能及行为特性,为实际问题提供一种统一的框架。本文简要介绍了多智能体的概念及易于协调管理的特点,从多智能体系统理论和群集控制思想出发,对多无人机编队问题进行了分析和描述.     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

基于多智能体混合学习的多星协同动态任务规划算法(英文)

针对多星协同动态任务规划问题,以往多采用基于启发式的重规划算法,但是由于启发式策略依赖于具体任务,使得优化性受到影响。注意到协同规划的历史信息对后续协同规划的影响,本文提出了一种基于策略迭代的多智能体强化学习和迁移学习的混合学习算法求解该问题近似最优策略。本文的多智能体强化学习方法利用神经网络描述各颗卫星的强化学习策略,通过协同进化的方法迭代搜索具有最优拓扑结构和连接权重的策略神经网络个体。针对随机出现的观测任务请求导致历史学习策略失效,通过迁移学习将历史学习策略转换为当前初始策略,保证规划质量前提下加快多星协同任务规划速度。仿真实验及分析结果表明本文算法对动态随机出现的任务请求有良好的适应性。     

多机型协同空战多目标分配战术决策仿真算法

针对多个机型能够同时使用而且空战性能差别很大的特点,研究运用多机协同作战的理论来探讨适合多机型协同空战的目标分配战术决策方法。提出仿真算法并给出不同机型搭配的目标分配结果。计算结果表明,文中介绍的方法可以满足我军高低机型搭配作战的要求,并能更有针对性地完成战术决策任务。     

BVR空战仿真中具有分层学习能力的CGF实体行为仿真框架设计

针对超视距协同空战仿真是一个复杂系统的仿真特点,通过对预警机指挥引导下的多机协同空战过程的分析,建立了超视距多机协同空战行为功能框架,总结出多机协同空战过程中的影响因素。在分析了现有各种CGF系统体系结构及行为仿真框架基础上,结合超视距空战过程中各作战阶段的特点,建立了具有分层学习能力的编队协同空战自主兵力系统FCAF(Formation and Cooperative Air Combat Autonomous Force System,编队协同空战自主兵力系统)行为仿真框架,并给出了该行为仿真框架组成模块的形式化描述。仿真系统应用表明,在该框架中作战行为可以分解为一系列具有经验学习功能的行为基,并且各行为基可以重新组合,全面诠释了协同作战行为仿真的作战过程。     

协同多目标攻击空战决策及其神经网络实现

提出了一种超视距多目标空战决策方法——协同优先权算法。它能给出多机协同攻击多目标的目标配对。然后对２∶４空战,用３层Ｂ－Ｐ网络实现该算法,并用ＳＯＦＭ网络实现对目标的攻击排序。因它们具有很强的适应、容错能力和实时性,故这种实现将有助于复杂动态环境下飞行员的空战决策,以及提高航空武器系统的作战效能。仿真结果证实了上述思想的正确性。     

基于启发式自适应离散差分进化算法的多UCAV协同干扰空战决策

 研究了多无人作战飞机(UCAV)协同干扰空战决策(MUCJAD)问题,在干扰效能评估指标量化方法的基础上为该问题建立了优化模型。为有效求解该模型,提出一种启发式自适应离散差分进化(H-SDDE)算法。在H-SDDE算法中,设计了包含4种候选解产生策略的候选策略池,引入了候选解产生策略及其参数的自适应学习过程。此外,结合实际问题为算法设计了基于威胁度的扩展型整数编码方案、基于威胁度的启发式个体调整操作、基于约束满足的个体修复操作。在12个测试实例上进行了仿真验证,结果表明,H-SDDE算法与其他同类算法相比在求解质量和求解速度上具有明显优势,能够更好地发挥多UCAV协同干扰整体效果。     

基于多智能体的多机型协同作战决策系统模型研究

多机型协同作战决策系统开发是一项很复杂的工程,各组成要素之间的活动很难进行定量分析和描述,战场情况也复杂多变,具有不可预见性和不可再现性。文中基于目前多机协同作战仿真的发展现状,运用多智能体(Multi-agent)技术,提出了多机型协同作战复杂系统分析与设计决策仿真模型;介绍了运用群建模和开发工具对基于Multi-agent的多机型协同作战决策系统仿真的实现。     

多架无人作战飞机攻击行为的协调

建立了基于Agent的无人作战飞机指挥控制系统的形式化语义模型，提出了无人作战飞机编队的联合作战目标、联合作战意图和协同攻击效能的定义，以及结合联合作战意图、协同作战效能的多架无人作战飞机编队攻击行为的协调方法。仿真结果表明，结合联合作战意图和协同攻击效能的攻击行为可有效地提高编队的作战效能。     

现代空战机动决策研究

将影响图和对策论引入到现代空战机动决策中,提出了考虑交战双方对抗的n步连续机动决策的多级影响网对策决策模型。首先,确定现代空战飞机相关数学和运动模型;其次,将大规模群集空战转化为多个小集团作战;在此基础上,依据协同的原则,又将小集团作战转化为多个一对一空战,然后运用多级影响图对策理论解决一对一空战。空战仿真结果表明该模型的有效性。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

基于神经网络和人工势场的协同博弈路径规划

协同博弈路径规划是空战自主决策、机器人体育比赛等应用场景中的重要问题，其难点在于对环境对抗性反馈的实时自适应和多智能体的相互配合。提出一种基于神经网络和人工势场的协同博弈路径规划方法，使用反向传播（BP）神经网络自适应调整人工势场函数系数，并将人工势场作为神经网络输出端的特征提取。为解决真实样本质量和数量不足的问题，基于遗传算法仿真生成样本数据用于神经网络训练，并通过滚动时域的思路面向动态博弈优化样本性能。从样本数据中提炼出距离差与航向差以反映协同和博弈特性，利用神经网络的黑盒特性和学习能力解决协同博弈问题。应用于二对一反隐身超视距空战路径规划，比经典人工势场法有明显性能提升，且计算开销可接受，计算复杂度分析表明该方法可以较好扩展到多机对抗场景。     

基于粗糙集理论的编队协同空战决策规则提取

为了对空战过程中大量的冗余信息进行约简，以提高空战决策的实时性，将粗糙集理论引入到编队协同空战战术决策研究中，提出了一种用于提取空战关键信息和战术决策规则的属性约简算法。并将单一决策属性下的属性值约简方法推广，讨论了更适于编队作战分析的多决策属性下的属性值约简问题。最后，通过一个编队空战战术选择示例对该算法进行了验证，结果表明：空战的冗余信息是可以约简的；此算法可提取出对空战起主要作用的属性，即雷达／中距弹信息；并且在保证空战关键分类结果不变的情况下，可生成用于战术决策的最小简化策略，所提取的决策规则与编队空战的实际相符合。     

基于 ABMS的无人机编队协同制空任务效能评估

无人机是海空作战的重要力量,制空作战是未来无人机的重要任务之一。为研究无人机编队协同制空作战的制胜机理,评估无人机编队协同制空作战效能:首先,对无人机编队协同制空任务进行分析,明确典型作战过程;然后,采用基于 Agent的建模与仿真(Agent-basedmodelingandsimulation,ABMS)方法,构建攻击型无人机、预警型无人机和空空导弹的 Agent模型,开展多无人机协同制空作战仿真和效能分析。结果表明,无人机探测距离、编队内攻击型无人机的数量,以及编队内有无预警型无人机,这些都将对作战效能产生重要影响,该结论可为无人机协同作战运用提供参考。     

集群多机器人系统建模研究的发展与展望

凭借高效、鲁棒、应用广泛的特性,集群多机器人系统已经成为当今研究的热点课题之一,具有重要的实用价值.首先简述了自顶而下和自底而上两种多机器人系统研究思路的当前研究概况.然后从拟生物集群系统模型引入,进而引出一致性系统模型,针对低阶、高阶、异质、时延等一致性模型进行分析总结,单独阐述了多智能体强化学习系统模型的研究情况,...