基于多智能体深度强化学习的多星观测任务分配方法

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况下,仍具有一定的自主协同能力及独立实现多星观测任务的高效分配能力。     

基于多智能体强化学习的轨道追逃博弈方法

针对空间轨道博弈过程中的集群卫星和非合作目标追逃博弈情形下的动力学模型复杂、非合作目标机动信息未知,以及卫星间难以有效协调等问题,提出一种基于多智能体深度强化学习算法的集群卫星空间轨道追逃博弈方法.首先通过对博弈场景进行建模,在考虑最短时间、最优燃料以及碰撞规避的情形下进行奖励函数的塑造和改进,利用深度强化学习方法中的...     

多智能体机器人系统的合作编队行为研究

本文建立了多智能体机器人系统合作编队的数学模型，并分析了它的特点；引入“队形向量”控制多个智能机器人能够编队包围捕获“入侵者”；提出了一个通信协调模型以解决系统的冲突和掉队问题；给出了系统的仿真结果。     

应用多智能体链路认知的低轨卫星网络路由算法

针对低轨卫星链路不稳定和负载不平衡等因素给网络路由带来的严重影响,提出了一种应用多智能体链路认知的低轨卫星网络路由算法。卫星网络通过多智能体对卫星链路投递率和链路可用性等环境进行感知和推理,获得卫星网络中星际链路质量评价,评价结果用于路由的优化,可达到提高网络吞吐率和使负载均衡的目的。以类似"铱"的卫星系统为仿真对象,对比文章算法和传统的自适应最短路径路由算法在吞吐量、丢包率和端到端时延方面的性能。仿真结果表明:文章提出的算法较自适应最短路径路由算法能增大吞吐量,降低丢包率,缩短高负载时的端到端时延,可有效提高低轨卫星通信网络的路由性能。     

信息非完备下多航天器轨道博弈强化学习方法

针对信息非完备约束下航天器轨道博弈难以自主决策的问题,基于多智能体强化学习提出一种多航天器轨道博弈决策方法。首先建立轨道博弈动力学和信息非完备约束。其次建立用于训练和决策的神经网络模型,依据分布式系统架构对网络的输入输出结构进行设计,并引入具有记忆功能的长短期记忆网络(LSTM),根据航天器轨道运动在时间、空间连续的属性,补偿位置、速度测量信息的非完备性。然后采用近端策略优化(PPO)算法开展红蓝左右互搏式学习训练。最后通过三组对比训练实验,验证了所提出的方法在信息非完备约束下能够有效增强学习训练过程的稳定性,并提升任务完成率和降低燃料消耗。     

基于MADDPG的多无人机协同任务决策

针对多无人机任务决策方法研究中传统优化算法难以在短时间内得到期望结果的问题,基于深度强化学习提出一种无人机多智能体深度确定性策略梯度(MADDPG)算法,通过允许无人机在学习时使用全局信息,在应用决策的时候只使用局部信息的方法,从网络结构、状态空间、动作空间和奖励函数设计了 MADDPG算法的模型结构.最后通过仿真实验...     

基于深度学习的通信信号调制识别算法

随着通信技术的发展,信号体制、调制方式日趋复杂,例如CPM、OFDM等,这给调制识别技术带来了巨大挑战。近年来,深度学习技术由于其强大的特征提取能力和分类能力,被广泛应用到模式识别领域中。为了实现复杂调制方式的识别,文章将深度学习技术引入到调制识别领域,并提出一种基于改进的CLDNN模型的调制识别算法。CLDNN模型已被成功应用到语音识别领域,其表现出了强大的特征提取和分类能力。该方法在原有CLDNN模型的基础上,针对调制识别问题的特点,对CLDNN进行了改进。而且该方法不依赖于载波同步、码元同步等预处理。实验结果表明,该方法可同时识别12种信号调制方式和信号体制,信噪比在3dB以上时,整体识别准确率达到90%以上,并且可以较好地识别复杂调制方式和信号体制。     

航天器轨道追逃博弈多阶段强化学习训练方法

针对航天器轨道追逃博弈问题,提出一种多阶段学习训练赋能方法,使得追踪星在终端时刻抵近逃逸星的特定区域,而逃逸星需要通过轨道机动规避追踪星。首先,构建两星的训练策略集,基于逻辑规则设计追踪星和逃逸星的机动策略,通过实时预测对方的终端位置,设计己方的期望位置和脉冲策略,显式给出追逃策略的解析表达式,用于训练赋能;其次,为提升航天器的训练赋能效率及应对未知环境的博弈能力,提出一种基于强化学习技术多模式、分阶段的学习训练方法,先使追踪星和逃逸星分别应对上述逻辑规则引导下的逃逸星和追踪星,完成预训练;再次,开展二次训练,两星都采用邻近策略优化(PPO)策略进行追逃博弈,在博弈中不断调整网络权值,提升决策能力;最后,在仿真环境中验证提出的训练方法的有效性,经过二次训练后,追踪星和逃逸星可有效应对不同策略驱动下的对手,提升追逃成功率。     

基于多智能体系统的多航天器编队分布式姿态协同控制

多航天器编队飞行在深空探测及协同对地观测等领域有着重要应用,而多航天器的姿态跟踪及协同控制技术作为其关键技术之一也引起了极大的关注。近年来,随着分布式人工智能技术的发展,多智能体系统(MASs)受到了航天器控制领域学者的关注并将其应用到多航天器编队控制中。本文回顾了多智能体系统协同控制及其在多航天器编队姿态协同控制中应用的研究进展。首先,从多航天器编队不同控制需求出发,分别从一致性跟踪控制、有限时间控制、事件驱动控制方面,回顾了多智能体系统协同控制问题的进展;其次,回顾了多航天器姿态协同控制在上述需求方面的研究进展,并基于多智能体系统的协同控制理论,提出了相应的分布式姿态协同控制策略。     

基于校园网模具学习系统的研究

主要介绍基于校园网模具学习系统的web数据库系统的设计与实现。该系统将网络教学平台、网络考试系统、BBS、信息管理系统集于一身,其中智能体模块在系统中的应用使各功能模块联结成一个有机整体,服务于模具专业教学的各个方面。     

卫星多体回收技术综述

文章介绍了多体回收技术在长期在轨运行的侦察卫星中的作用 ,以及国际上对这项技术的研究和应用情况 ,说明了这项技术在目前中国实施卫星照相详查任务中的现实意义。最后还对应该采取的研制方案作了简单叙述。     

基于多柔体动力学的飞行器多目标优化设计

研究了柔性航天器总体设计中基于结构与姿态控制的多目标优化问题。利用拉格朗日 方程建立了刚柔耦合系统动力学模型,提出以附件质量和微分矩阵最大实特征值为目标函数 的多目标优化问题;采用非支配排序进化求解算法（NSGA-II）,对某柔性航天器进行了多目 标优化分析设计;最优决策为具有一定规律性的空间曲线,该优化结果对柔性卫星的总体分 析设计具有一定的指导意义。
     

多智能体系统旋转一致控制

研究了多智能体系统的旋转一致控制问题。在存在时滞条件下提出了一个新的控制协议,利用Lyapunov 理论,分析了闭环系统的稳定性,给出了通信拓扑结构不断切换条件下,系统实现旋转一致的条件。最后,通过仿真验证了所得的理论结果。
     

多智能体编队仿真控制研究

多智能体编队控制是当今控制领域的一个重点问题,其研究的核心问题是实现多智能体的避障控制及在此基础上搜索最优解。本文基于人工势场算法,对多智能体的编队避障控制进行了仿真研究,实现了多智能体的编队和避障。     

目标跟踪多智能体一致控制

研究了二阶多智能体系统跟踪一致问题。针对相对速度信息未知的网络,分析了有时滞和无时滞情况下网络的稳定性,给出了系统能够实现跟踪一致的条件。最后,通过仿真表明所提协议比现有协议性能更好。     

基于强化学习的在轨目标逼近

从强化学习的角度,对在轨目标逼近问题进行研究,设计了一种整合制导与控制的端到端的算法.首先对在轨目标逼近问题进行数学建模;然后对强化学习算法原理进行简介,根据问题特点分析不同强化学习框架的优劣,确定以DDPG作为算法框架,并设计了基于强化学习的在轨目标逼近算法;最后通过仿真验证,分析了基于强化学习逼近算法的优劣性.     

多智能体动态目标协同搜索策略研究

针对目前多智能体集群搜索采用的分区域巡逻策略在搜索具备躲避能力的动态目标时,在分区边界地带搜索效果不佳、巡逻规律易被掌握、无法应对单体故障导致的其管辖区域成为盲区等问题,提出了一种运用强化学习框架的协同搜索策略.该方法通过对作为搜索者的多智能体和随机生成并具有躲避策略的目标进行对抗训练,最终训练出能指导智能体行为的协同...     

无人机集群路径规划算法研究综述

无人机集群路径规划算法是无人机集群控制的重要研究方向之一.多无人机路径规划相较于单无人机路径规划,会考虑空间协同和时间协同约束、飞行安全等问题.首先对无人机集群路径规划算法进行分类,分为传统路径规划算法、智能优化算法和深度强化学习算法.其次对各类算法进行简要分析和总结,针对缺陷,给出相应的改进思路及例子.再着重对深度强...     

一种基于深度强化学习的机动博弈制导律设计方法

针对高速机动飞行器常用的程序化机动突防方式适应性不强、突防效果不稳定的问题,提出了一种基于深度强化学习算法的机动博弈制导方法。该方法以增大交会摆脱量为任务目标,采用深度神经网络拟合飞行器的制导律,应用强化学习方法训练网络参数,得到一种以突防拦截双方的位置和速度为输入、以飞行器的需用过载为输出的智能机动博弈制导律。数学仿真验证结果表明,在连续的状态空间和动作空间中,飞行器能根据当前态势自主选择合适的制导指令。相比传统突防方式,该制导律显著提升了交会摆脱量,且突防效果更稳定。     

基于车辆定位的北京公交智能调度指挥系统

介绍了先进的北京市公共交通智能调度指挥系统 ,包括其各个子系统。着重描述其中的公交车辆定位系统 ,该系统采用高精度的差分 GPS、无线数据传输和话音调度 ,利用已有的模拟集群通信系统 ,终端显示为先进的地理信息系统。整个系统将给调度员提供方便、直观、含位置及状态的全方位车辆信息 ,提高公共交通运营的效率