异构多智能体系统分组输出时变编队跟踪控制

空地协同控制是前沿的热点研究之一,以无人机、无人车为代表的空地智能体动力学模型的差异为研究带来了挑战。研究了高阶异构多智能体系统在有向拓扑条件下的分组输出时变编队跟踪控制问题,提出了虚拟领导者、分组领导者以及跟随者组成的三层协同控制架构。虚拟领导者用于规划整个多智能体系统的状态轨迹,分组领导者跟踪虚拟领导者所提供的轨迹信息,并相互协作以实现分组间的协同配合。跟随者跟踪分组领导者的输出并实现期望的输出编队。在有向通信拓扑结构条件下,基于局部邻居间的相对信息、观测器理论和滑模控制理论构造了控制协议,利用Lyapunov稳定性理论证明协议的有效性。数值仿真结果表明提出的方法能够实现无人机、无人车等异构智能体的空地协同,具有较好的工程应用价值。     

基于固定阈值事件触发扩张状态观测器的多智能体协同目标环绕控制

针对复杂多扰环境下面向未知运动目标的多智能体对峙跟踪问题,提出了一种基于固定阈值事件触发扩张状态观测器(FTESO)的多智能体协同目标环绕控制方法。首先,建立了智能体与目标的相对运动模型,将目标加速度、模型非线性、环境摄动视为集总干扰,利用量测的相对位置信息构造可降低测量端状态更新频次的FTESO,以实现在非周期采样条件下对于相对速度不可测和集总干扰未知的精准估计。其次,结合速度方向场理论生成目标与智能体间的期望相对速度,根据相邻智能体间的相对角间距信息与FTESO的观测结果,设计了一种不依赖目标加速度信息的多智能体相位协同一致性协议,使得多智能体能够以指定环绕半径、环绕角速度和相对角间距实现对未知运动目标的环绕跟踪。借助Lyapunov稳定性理论,证明了闭环系统中所有误差信号最终一致有界。最后,通过仿真和比较结果验证了所提算法的有效性。     

一种多智能体协同信息一致性算法

以无人机(UAVs)/导弹集群为代表的多智能体协同作战在未来战场中占有重要地位。协同信息的共享和一致性是多智能体系统完成协同、编队、集结、同步等协同任务的关键基础和前提。首先,基于邻居系统和团势能建立了信息一致性模型,将多智能体的协同信息的偏差映射为团势能。然后,通过以并行能量最小化求解马尔可夫随机场最大后验概率的方法实现了分布式无中心条件下的协同信息一致性。与传统的一致性算法相比,所提出的算法引入了虚拟基准的概念。当无外部基准输入时,基于平均场方法,通过邻居之间的协同信息交互建立虚拟基准;当存在领航节点或虚拟领航节点时,将领航节点协同信息的状态及状态导数作为虚拟基准。仿真结果表明:所得出的算法具有对网络规模不敏感、快速收敛、高鲁棒性的优点;对有/无基准输入的情况可采用相同的算法,体现了算法具有较好的适应性。     

具有动态领导者的多智能体系统分组一致性控制

对一类具有动态领导者的非线性多智能体系统的一致性进行研究，解决了领导-跟随一致性控制问题。首先，考虑到多目标任务中广泛存在的合作-竞争机制和领导者的控制输入非零的情况，基于邻居智能体的相对状态信息，设计了一类分布式的分组一致性控制器。通过在所设计的控制器中增加补偿项，解决了由领导者非零控制输入引出的问题。引入了一类Lipschitz-like条件，解决了非线性项在实现分组一致时所带来的困难。其次，利用图论和构造Lyapunov函数，通过求解代数Riccati方程得出了系统实现分组一致性的充分条件，并基于所设计的控制器实现了多智能体系统动态领导-跟随的分组一致性控制。最后，通过数值仿真和结果分析验证了所提出控制方案的有效性和可行性。     

Q-learning强化学习协同拦截制导律CSCD

为实现多枚导弹协同拦截机动目标,提升拦截效能,提出了一种Q-learning强化学习协同拦截制导律。首先,基于逃逸域覆盖理论,建立了非线性多弹协同拦截模型。其次,以视线角速率为状态,依据脱靶量构造奖励函数,通过离线训练生成强化学习智能体,并结合传统比例制导控制方法,构建基于强化学习的变导引系数制导律,实时生成实现协同拦截的制导指令。最终,通过数值仿真验证了所提算法的有效性和优越性。     

固定翼无人机紧密编队的鲁棒协同跟踪控制

固定翼无人机（UAV）具有典型的欠驱动、非线性等特点,导致航点自主跟踪设计难度大,同时紧密编队飞行过程中无人机之间运动耦合与气动干扰明显,进一步增加了高性能控制设计难度。为此,本文针对固定翼无人机紧密编队飞行的航点自主跟踪问题,综合考虑轨迹平滑性、运动协同性和跟踪鲁棒性等需求,依托全驱系统建模方法提出了一种多层次鲁棒协同跟踪控制架构。该架构包括上层运动规划、中层协同滤波及底层鲁棒协同跟踪控制3个核心部分。上层运动规划根据离散航点指令,融合虚拟结构法和迭代线性二次型优化,实时生成可行、平滑的运动轨迹。在此基础上,为改善跟踪控制的瞬态性能,引入分布式协同滤波思想,对规划轨迹进行滤波处理,生成每架无人机个体的参考信号。最后,考虑到紧密编队中气动耦合与系统不确定性等挑战,设计了一种基于不确定性及干扰观测器的鲁棒协同跟踪控制方法,实现了编队轨迹的精确跟踪以及队形的可靠保持。所提出的鲁棒协同跟踪控制架构考虑了紧密编队飞行中的多种约束与挑战,实现了编队运动规划与跟踪控制的综合设计,可以有效提升系统自主性、协同性和鲁棒性。最后,通过5架固定翼无人机的紧密编队飞行仿真对所提方法进行综合测试,验证了方法的...     

基于深度Q网络的多智能体逃逸算法设计CSCD

当前多智能体追逃博弈问题通常在二维平面下展开研究,且逃逸方智能体运动不受约束,同时传统方法在缺乏准确模型时存在设计控制策略困难的问题。针对三维空间中逃逸方智能体运动受约束的情况,提出了一种基于深度Q网络(DQN)的多智能体逃逸算法。该算法采用分布式学习的方法,逃逸方智能体通过对环境的探索学习得到满足期望的逃逸策略。为提高学习效率,根据任务的难易程度将智能体策略学习划分为两个阶段,并设计了相应的奖励函数引导智能体探索满足期望的逃逸策略。仿真结果表明,该算法所得逃逸策略效果稳定,并且具有泛化能力,在改变一定的初始位置条件后,逃逸方智能体也可成功逃逸。     

基于Leader-Follower的多无人机编队轨迹跟踪设计

针对四旋翼无人机（UAV）群在轨迹跟踪过程中易受外界干扰而引起跟踪误差的问题，设计了基于Leader-Follower的多无人机协同编队轨迹跟踪控制方法。在该系统中，首先通过积分反步法（IBS）对所建四旋翼飞行器模型设计Leader无人机的轨迹跟踪控制器。其次设计了滑模控制（SMC）器，以控制Leader与Follower无人机实现期望的编队队形并同时跟踪参考轨迹。然后通过数值仿真验证了算法的有效性，仿真结果表明，系统具有良好的控制精度。最后通过视觉定位系统进行实验，结果表明所设计的控制器能够实现多个无人机轨迹跟踪和编队控制，所设计的算法具有可行性。     

绕飞监测小卫星姿轨联合自适应控制研究

针对小卫星近距操作过程中轨道和姿态控制问题,建立了小卫星相对轨道和姿态的误差动力学模型。采用相对轨道和姿态联合控制策略,并考虑小卫星作业过程中质量和转动惯量的不确定性,设计了自适应输出反馈控制律,并证明了其稳定性。最后以对圆轨道目标星近距离环航为例,根据作业任务和姿态指向要求,设计了小卫星相对轨道和姿态的期望运动,应用所提出的控制策略及相应的控制律进行了数值仿真。结果表明,系统跟踪误差能够较快收敛,说明了控制策略的有效性。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

建模不确定性下变循环发动机自适应控制器设计

针对变循环航空发动机存在建模不确定情况下的多变量控制器设计问题,给出了一种最优律下的增广模型参考自适应跟踪补偿设计方法,阐明变循环发动机建模不确定性并引出LQR(Linear Quadratic Regulator)基准控制器动态跟踪不足的问题,进而在基准控制器反馈控制结构框架下,分别实现以下技术突破:确定期望闭环动态的参考模型、基于李亚普诺夫函数严格稳定证明下建立存在建模不确定性的自适应律等,最终以达到系统跟踪误差渐进为零的目标,改善系统不确定性的动态跟踪问题。对变循环航空发动机的控制器仿真结果表明:增广模型参考自适应控制方法改善了原LQR基准控制器对存在建模不确定性时的控制问题,有效地实现了控制指令跟踪,达到了所期望的动态响应,且自适应参数一致渐进稳定。同时,各标称点的稳态控制误差均小于0.3%,系统超调量小于0.8%,调节时间小于1s,符合航空发动机控制系统技术要求。     

基于“虚拟范围”的多机器人围捕算法

 讨论了基于SQL Server数据库的栅格地图建立方法。介绍了一种建立在势场法和栅格地图上的室外多机器人路径规划方法，分析了在已知地图中应用势场法进行路径规划时的路径死点和规划失败问题，并给出了解决方法。以势场栅格法为基础探讨了多机器人协作围捕动态目标的策略。在围捕算法中，根据室外机器人工作环境的特点，提出了“虚拟范围”的概念，以减少动态规划次数，提高围捕速度。介绍了机器人以“虚拟范围”为基准，在各种状态之间的转换机制。利用基于无线局域网的室外多机器人系统进行了试验，试验表明引入“虚拟范围”之后能有效缩短围捕时间，并且存在最短时“虚拟范围”。
     

存在物理约束的时变转动惯量航天器姿态控制

对存在角速度和控制输入有界的快速机动航天器姿态控制问题，设计了一种自适应双环姿态跟踪控制器。将虚拟有界角速度作为运动学方程的虚拟控制输入，使姿态控制问题降阶为角速度跟踪问题；构建递归自适应算法估计时变转动惯量及其微分，并基于障碍李亚普诺夫函数和线性回归算子，设计了角速度跟踪误差有界的变增益自适应姿态控制器。结果表明：该控制策略能使抓捕非合作目标航天器的姿态呈指数收敛到期望轨迹，且收敛轨迹不受外部干扰和抓捕瞬间的强干扰影响；在整个控制过程中，航天器的角速度小于0.4 rad/s，控制力矩小于10 N·m，满足了航天器对角速度和控制输入有界的物理限制。     

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

卫星姿态跟踪系统的鲁棒控制器设计

研究了具有参数不确定性和外部干扰的卫星姿态跟踪控制问题。针对这一类多输入／多输出不确定非线性系统，提出了一个基于不确定项上界的鲁棒输出跟踪控制器设计方法。应用输入／输出反馈线性化法和李亚普诺夫方法，设计了一个控制律，它可确保系统输出按指数规律跟踪期望输出。该控制器计算简单，易于实现。仿真结果表明：即使系统存在不确定性，仍可在闭环系统中实现精确的姿态控制。     

深度确定性策略梯度算法用于无人飞行器控制

对深度确定性策略梯度算法训练智能体学习小型无人飞行器的飞行控制策略进行了探索研究。以多数据帧的速度、位置和姿态角等信息作为智能体的观察状态,舵摆角和发动机推力指令作为智能体的输出动作,飞行器的非线性模型和飞行环境作为智能体的学习环境。智能体在与环境交互过程中除了获得包含误差信息的密集惩罚外,也有达成一定目标的稀疏奖励,该设计有效提高了飞行数据的样本多样性,增强了智能体的学习效率。最后智能体实现了从位置、速度和姿态角等信息到控制量的端到端飞行控制,并进行了变航迹点、模型参数拉偏、注入扰动和故障条件下的飞行控制仿真,结果表明智能体除了能有效完成训练任务外,还能应对多种训练时未学习的飞行任务,具有优秀的泛化能力和鲁棒性,该方法具有一定的研究价值和工程参考价值。     

基于DE-MADDPG的多无人机协同追捕策略

针对多无人机协同对抗快速目标的追逃博弈问题,研究了多无人机的协同追捕策略。基于解耦多智能体深度确定性策略梯度算法DE-MADDPG研究了多无人机协同对抗快速目标的追捕策略,设计了多无人机协同追捕的全局奖励和局部奖励两种奖励函数,训练后的多无人机能够有效地执行协同追捕任务。通过设置快速目标的多种逃逸控制策略,仿真验证了所设计的方法能够利用追捕无人机的数量优势,通过协作完成对快速目标的协同围捕,并且通过比较,验证本文所提出的算法相比MADDPG算法更快地取得了收敛效果。     

基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

基于相对方位信息和单间距测量的多智能体编队协同控制

由多个载体组成的多智能体系统对复杂环境具有更高的适应性,能够完成传统单个载体无法完成的任务。针对多智能体编队集结与队形移动跟踪问题,提出了一种改进的多智能体编队协同控制新算法。首先,以拒止环境下跟随智能体仅能通过光学传感器测量相对方位信息为任务背景,针对"领导者——第一跟随者"结构的多智能体编队,提出了基于相对方位信息与单间距测量的控制器,使得第一跟随者智能体可以追随移动的领导者智能体,并且可以通过改变与领导者智能体的间距对编队整体队形进行缩放控制。其次,提出一种了改进的分布式控制律,使得其他跟随者智能体可以仅通过两个相对方位信息完成编队飞行。然后,根据Lyapunov第二方法,构建了系统的能量函数,验证了所提出算法的稳定性。最后,通过数值仿真实验对所提算法进行了验证。仿真结果表明,基于该控制律多智能体系统能够完成编队集结、队形缩放和编队飞行的任务。     

“天行者”小型无人直升机自主飞行控制系统设计

介绍了上海交通大学"天行者"小型无人直升机自主飞行控制系统的设计及实现技术。首先引入了德国柏林工业大学基于牛顿力学建立的小型无人直升机动力学模型,然后基于此模型设计了直升机飞行姿态控制器。之后引入一种针对二次积分模型基于期望响应轨迹设计控制器的控制算法,文中简称为MTC,设计实现了直升机飞行位置的不超调控制和飞行速度控制。实际飞行控制试验结果验证了飞行控制算法的有效性。仿真试验表明,基于MTC算法所设计的飞行导引点方法,可用于实现多航点路径的不减速连续曲线轨迹的飞行控制。