基于多智能体强化学习的无人艇集群集结方法

为解决数量不定的同构水面无人艇(USV)集群以期望队形协同集结的问题，提出一种基于多智能体强化学习（MARL）的分布式集群集结控制方法。针对USV通信感知能力约束，建立集群的动态交互图，通过引入二维网格状态特征编码的方法，构建维度不变的智能体观测空间；采用集中式训练和分布式执行的多智能体近端策略优化(MAPPO)强化学习架构，分别设计策略网络和价值网络的状态空间和动作空间，定义收益函数；构建编队集结仿真环境，经过训练，所提方法能有效收敛。仿真结果表明：所提方法在不同期望队形、不同集群数量和部分智能体失效等场景中，均能成功实现快速集结，其灵活性和鲁棒性得到验证。     

弱信息交互条件下的无人机集群决策方法

随着无人系统与智能技术的发展，作为无人系统的典型应用之一的无人机集群，在民用与军事领域的应用前景越来越广阔，当集群规模较大时，传统的组网通信方式会受到带宽、干扰等限制，极大影响无人机集群的协同作战效能。基于此，提出一种弱信息交互条件下的无人机集群决策模型(WIIUSM)，不依赖无人机之间的双向数据交互，仅依靠单向视觉感知的方式实现期望的集群行为。建立了弱信息交互的无人机集群模型，采用改进后的遗传算法(IGA)作为优化方法对决策模型进行优化。以区域搜索任务为例进行仿真测试，将所提方法与基于顶层规划的蛇形方法进行对比，证明了所提方法在搜索效率层面的有效性；测试了不同比例无人机失效条件下搜索效率的下降程度，与蛇形方法进行对比，证明所提方法具有一定的鲁棒性。     

国外新概念导弹技术发展跟踪

正近期,欧美国家面向未来作战需求,在导弹技术与应用方面开展了大量创新,其中有多项新概念值得关注。利用导弹投放集束无人飞行系统智能弹药美陆军提出了“导弹投放集束无人飞行系统智能弹药”项目,计划研发一种可利用现有“陆军战术导弹系统”或“制导多管火箭炮系统”投送的折叠式小型四旋翼飞行器集群。该项目设想,将多架携带“爆炸成型弹药”的四旋翼飞行器折叠存放于导弹战斗部舱段,在临近目标区域上空释,每架飞行器都能够自主     

基于态势认知的无人机集群围捕方法

无人机集群围捕是智能无人机“蜂群”作战的一种重要任务方式。现有集群围捕方法大多建立在环境已知的基础上，面对未知的任务环境时围捕策略经常性失效。针对此问题，提出了基于态势认知的发育模型，探索一种对环境适应性较佳的围捕方法。首先，对集群围捕行为分解，将围捕离散化；然后，基于深度Q神经网络（DQN），设计一种围捕策略的生成方法；最后，建立状态-策略知识库，并通过大量有效数据的训练，针对不同环境获得不同的策略，对知识库进行发育。仿真结果表明:提出的基于态势认知的发育模型，能够有效适应不同环境，完成不同环境下的围捕。      

产品协同设计中异构模型数据融合的有效策略

针对复杂产品设计中，不同设计工具产生的模型数据之间的融合问题，提出了一种工具间端到端的异构模型数据融合策略。利用数据库管理动态特性，通过模型信息共享，实现异构模型数据之间的融合。在OpenMBEE系统集成环境中，通过建模工具CREO二次开发，利用所提策略获取全生命周期设计中的动态模型属性信息，通过3D模型编辑及重用功能测试，验证了所提策略的有效性。利用自动获取可视化模型属性信息的智能算法，设计一种基于Transformer模型与双向长短期记忆(Bi-LSTM)模型相结合的模型属性智能提取算法，利用神经网络的多层感知特性，通过对模型中属性文本信息进行深度学习、特征分析，实现了对异构数据属性信息的自动提取功能。利用CAMEO建模工具设计的需求分析模型构建模型数据集，验证了智能模型信息自动提取功能的有效性。      

基于DDPG算法的变体飞行器自主变形决策

针对变体飞行器的自主变形决策问题，提出了一种基于深度确定性策略梯度(DDPG)算法的智能二维变形决策方法。以可同时变展长及后掠角的飞行器为研究对象，利用DATCOM计算气动数据，并通过分析获得变形量与气动特性之间关系；基于给定的展长和后掠角变形动力学方程，设计DDPG算法学习步骤；针对对称和不对称变形条件下的变形策略进行学习训练。仿真结果表明:所提算法可以快速收敛，变形误差保持在3%以内，训练好的神经网络提高了变体飞行器对不同飞行任务的适应性，可以在不同的飞行环境中获得最佳的飞行性能。      

基于DRL的巨型星座星地测控链路规划算法

针对巨型星座的星地测控链路规划问题，提出了一种基于深度强化学习的智能规划调度算法。该方法考虑了卫星对于测控站的资源竞争关系和连接关系，设计了环境状态，决策智能体通过感知卫星状态，结合动作选择策略，生成卫星对于测控站的分配方案，并根据反馈的奖励值进行策略的迭代优化。将本算法应用于巨型星座系统的星地测控链路规划任务，仿真结果表明所提出的智能算法可以将测控站天线利用率提升到98%以上，同时有效地降低了天线的切换次数。另外，训练好的模型可以根据未来时刻的星地可视窗口，在30s内快速生成星地测控链路规划方案。     

基于深度强化学习的高超声速飞行器动态面控制方法

针对高超声速飞行器控制问题,通过将深度强化学习与动态面控制方法相结合,设计了智能姿态控制算法。首先,利用模型先验知识,采用传统的动态面控制方法设计控制器结构。然后,考虑跟踪误差和控制量幅值约束的指标情况下,采用深度学习算法完成对控制器参数的智能寻优,代替传统设计中的人工调参试错过程。为提升训练效果,在奖励函数中引入了控制量变化率。最后,通过数值仿真验证了本文所设计控制方法的有效性与鲁棒性。     

基于深度增强学习的卫星姿态控制方法

针对卫星在执行丢弃载荷或捕获目标等复杂任务时遭遇的姿态突然发生变化的问题,采用深度增强学习方法对卫星姿态进行控制,使卫星恢复稳定状态。具体来说,首先搭建飞行器的姿态动力学环境,并将连续的控制力矩输出离散化,然后采用Deep Q Network算法进行卫星自主姿态控制训练,以姿态角速度趋于稳定作为奖励获得离散行为的最优智能输出。仿真试验表明,面向空间卫星姿态控制的深度增强学习算法能够在卫星受到突发随机扰动后稳定卫星姿态,并能有效解决传统PD控制器依赖被控对象质量参数的难题。所提出的方法采用自主学习的方式对卫星姿态进行控制,具有很强的智能性和一定的普适性,在未来卫星执行复杂空间任务中的智能控制方面有着很好的应用潜力。     

基于信息素启发狼群算法的UAV集群火力分配

无人机（UAV）集群作战是未来智能化战争的重要作战样式。为充分发挥UAV集群整体作战优势，得到最优武器-目标分配（WTA）方案，使得UAV集群在火力分配中既能够满足任务要求，又能够较少作战单元消耗，建立了包含任务完成、有效杀伤、攻击消耗约束的UAV集群火力分配数学模型，采用带有游走、召唤算子的改进狼群算法（WPA）对模型进行求解。为提高算法全局寻优效率，避免陷入局部最优，引入蚁群优化（ACO）算法中信息素启发规则，对游走行为及狼群更新机制进一步改进，提出了基于信息素启发狼群算法（PHWPA）的UAV集群进攻的火力分配方法。仿真结果表明:所提方法是有效的，相比较于其他算法，PHWPA具有更高效的寻优能力，能够为UAV集群作战火力规划提供支持。      

未知环境下无人机集群协同区域搜索算法

针对无人机集群在无先验信息的未知环境中协同搜索的问题,提出了一种以覆盖率为实时搜索奖励的无人机集群协同区域搜索算法。首先建立覆盖分布地图（CDM）来描述任务环境,并采用Hadamard积实现CDM的快速更新,继而基于CDM计算覆盖率来定量描述实时搜索效果。将无人机集群视为一个控制系统,基于分布式模型预测控制理论建立系统的预测模型,并将预测周期内最大覆盖率增量设为奖励函数,采用差分进化算法进行求解,得到最优解作为系统的最优输入。仿真结果表明,所提算法能够对区域进行覆盖搜索,在出现突发情况时,覆盖率远高于平行搜索方法。      

基于改进人工神经网络的航天器电信号分类方法

根据航天器系统级电性能测试工作中数据量大、任务繁重的特点,设计了基于人工神经网络的智能分类系统,对原始测试数据进行智能化分类,将非线性的调试经验以数据的形式储备,可在减少测试工作中对人为经验依赖的同时为航天器信号识别快速提供专家知识。考虑到经典的人工神经网络系统有训练时间长和对网络初始权值的依赖程度高等不足,利用主成分分析对数据进行压缩和自动编码技术对网络权值进行初始化。实验数据测试表明:与传统方法相比,本文提出的改进学习系统的分类准确率、稳定性和响应速度均得到显著提高。      

无人集群系统时变编队H∞控制

针对有向通信拓扑网络下具有通信时滞与外部干扰的无人集群系统（AUSS）时变编队H_∞控制问题进行了研究。首先，基于AUSS期望编队构型信息、无人机（UAV）实时状态信息以及通信UAV之间带通信时滞的状态误差信息提出了AUSS的编队控制方法，通过变量替换将AUSS的编队控制问题转换成低维闭环系统的渐近稳定问题，并以线性矩阵不等式（LMI）形式给出了系统稳定的充分条件与最大允许通信时滞的计算公式。其次，通过构造Lyapunov-Krasovskii（L-K）泛函，证明了存在通信时滞与外部干扰条件下AUSS能够实现时变编队。最后，通过数值仿真验证所设计方法的准确性与有效性。      

基于信息素决策的无人机集群协同搜索算法

针对无人机(UAV)集群在未知环境中无先验信息条件下的搜索问题，提出了一种以信息素为决策机制的无人机集群协同搜索算法。首先，考虑无人机通信约束，建立了有外部节点的星型网络通信和无外部节点的自组织网络通信2种形式的搜索模型。其次，通过环境地图向信息素地图映射的方法建立任务环境模型。将任务过程分为3个阶段，在搜索阶段，无人机通过不断地移动实现本机信息素地图的更新；在通信阶段，通过通信网络实现多机信息素地图的融合；在决策阶段，根据局部信息和全局信息做出决策，并将栅格信息素浓度作为决策函数来引导无人机的位置更新。基于信息素地图覆盖率来定量描述搜索效果。最后，仿真结果表明，所提算法能够对区域进行覆盖搜索，表现为搜索效率高、抗毁性强、受集群的初始位置影响小。      

Multi-agent Q-Learning control of spacecraft formation flying reconfiguration trajectories

This paper presents a novel approach based on multi-agent reinforcement learning for spacecraft formation flying reconfiguration tracking problems. In this scheme, spacecrafts learn the control strategy via transfer learning. For this matter, a new generalized discounted value function is introduced for the tracking problems. Due to the digital nature of spacecraft computer systems, local optimal controllers are developed for the spacecrafts in discrete-time. The stability of the controller is proven. Two Q-learning algorithms are proposed, in each of which the optimal control solution is learned on-line without knowledge about the system dynamics. In the first algorithm, each agent learns the optimal control independently. In the second one, each agent shares the learned information with other agents. Next, the collision avoidance capability is provided. The effectiveness of the presented schemes is verified through simulations and compared with each other.     

图模型与学习算法结合的贝叶斯网络自动建模

针对纯数据驱动的贝叶斯网络结构学习算法的准确度和效率较低的问题,提出了一种融合多信号流图模型与K2学习算法的贝叶斯网络自动建模方法。该方法利用多信号流图模型能够描述信号之间传递与依赖关系的能力,结合K2学习算法在结构学习中的优势,实现了专家知识与数据驱动方法有效融合的贝叶斯网络结构自动学习算法。通过与常用网络结构学习算法的对比实验证明,该融合算法显著降低了结构学习对学习范围和训练数据规模的要求,具有更高的学习准确度和运算效率。采用真实系统实例阐述了该融合算法的应用过程,验证了算法的实用性。      

基于改进人工鱼群算法的无人直升机编队航迹规划

针对无人直升机（UH）编队的航迹规划问题，提出了一种基于改进人工鱼群算法（AFSA）的航迹规划算法。从邻域学习和算法特性2个角度出发，针对人工鱼群算法中的人工鱼视野模型提出了一种人工鱼自适应视野模型，并对其鱼群的进化策略在无性繁殖方式的基础上进行了改进；从规划原理、代价函数、约束条件3个方面建立了无人直升机编队航迹规划模型；针对航迹规划中普遍存在的搜索效率低、精度差等特有问题改进了所提算法的编码方式和聚类策略。利用三机编队航迹规划的算例对所提算法进行了验证，仿真结果证明，通过对人工鱼群算法的改进、航迹规划模型的建立等措施实现了良好的无人直升机编队航迹规划，同时在搜索效率、收敛速度及求解精度上都有了显著提高。