基于多智能体深度强化学习的多星观测任务分配方法

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况下,仍具有一定的自主协同能力及独立实现多星观测任务的高效分配能力。     

一种基于启发式搜索的智能轨道规划

针对二体轨道模型,设计了一种时间固定点对点多冲量轨道机动的智能规划算法。算法基于非线性规划理论和启发式智能搜索技术,采用随机A*扩展树法保证优化的全局性,并利用逐步二次规划法(SQP)来保证结果的局部数值精确性。整个算法具有较好的智能自主性。最后通过数值仿真验证了算法的可行性。     

基于Adaptive Sigma-Point滤波的智能导弹对目标协同定位方法研究

在对智能导弹协同作战过程详细描述的基础上,提出了一种利用多枚智能导弹协同对目标定位的方法。考虑目标运动模型为静止模型和运动模型两种情况,将Sigma-Point滤波方法与过程噪声的自适应估计方法相结合,融合目标运动状态和目标到达角信息,克服了常规Sigma-Point滤波性能依赖于目标运动模型的先验统计信息的缺点。通过比较目标可能存在区域面积的大小,确定了参与协同定位的智能导弹数目和编队构型。仿真研究表明,多枚智能导弹协同对目标定位可以显著提高定位精度和速度。     

地面搜索模型

汶川大地震使震区地面交通和通讯系统严重瘫痪.救灾指挥部派出多支小分队到准确位置救助.论文针对给定的搜索区域,建立三个地面搜索模型.将整个搜索区域分成正方形的小块区域,按之字形、一笔画进行搜索前进.模型简单易懂,在实践中易于操作.     

基于多智能体系统的多航天器编队分布式姿态协同控制

多航天器编队飞行在深空探测及协同对地观测等领域有着重要应用,而多航天器的姿态跟踪及协同控制技术作为其关键技术之一也引起了极大的关注。近年来,随着分布式人工智能技术的发展,多智能体系统(MASs)受到了航天器控制领域学者的关注并将其应用到多航天器编队控制中。本文回顾了多智能体系统协同控制及其在多航天器编队姿态协同控制中应用的研究进展。首先,从多航天器编队不同控制需求出发,分别从一致性跟踪控制、有限时间控制、事件驱动控制方面,回顾了多智能体系统协同控制问题的进展;其次,回顾了多航天器姿态协同控制在上述需求方面的研究进展,并基于多智能体系统的协同控制理论,提出了相应的分布式姿态协同控制策略。     

一种面向空间非合作目标的强化学习多臂协同俘获策略研究

针对空间非合作目标清除任务中的目标适应性以及俘获动作规划复杂性等问题,提出了一种基于强化学习方法并结合“多臂分组协同”机制的包络俘获策略。首先构建了多臂俘获机构的物理模型和运动学模型,之后利用SAC(soft actor-critic)算法并引入前演训练（PT）设计了强化学习控制器,接着基于“多臂分组协同”奖励机制设计奖励函数以训练得到最优俘获动作。为了验证俘获策略对单目标作业的高效性和对多目标作业的高适应性,对各种目标分别进行仿真实验。仿真结果表明：所得的俘获策略可以对多种构型的目标实现高效、高适应地俘获。     

多智能体编队仿真控制研究

多智能体编队控制是当今控制领域的一个重点问题,其研究的核心问题是实现多智能体的避障控制及在此基础上搜索最优解。本文基于人工势场算法,对多智能体的编队避障控制进行了仿真研究,实现了多智能体的编队和避障。     

低轨星座跟踪传感器搜索调度方法

针对静态区域搜索调度和无调度的顺序搜索难以适应低轨星座跟踪传 感器所关注的高速运动目标和复杂空间环境引起的不确定观测问题,基于搜索区域动态更新 ,提出全局信息增益准则下动态区域搜索调度方法;并引入非二元观测模型,提出观测数据 不确定条件下搜索调度方法。仿真实验表明,所提方法对目标高速运动和观测数据不确定情 况的目标捕获性能更优,尤其是传感器单帧检测概率较低情况。
     

基于Sarsa(λ)强化学习的空间机械臂路径规划研究

针对目标特性未知的在轨操作环境,研究了典型空间操作机械臂的路径规划策略。采用Sarsa(λ)强化学习方法实现目标跟踪及避障的自主路径规划与智能决策,该方法将机械臂系统的每节臂视为一个决策智能体,通过感知由目标偏差和障碍距离程度组成的二维状态,设计符合人工经验的拟合奖赏函数,进行各臂转动动作的强化训练,最终形成各智能体的状态-动作值函数表,即可作为机械臂在线路径规划的决策依据。将本方法应用于多自由度空间机械臂路径规划任务,仿真结果表明新算法能在有限训练次数内实现对移动目标的稳定跟踪与避障,同时各智能体通过学习所得的状态-动作值函数表,具备较强的后期在线自主调整能力,从而验证了算法较强的鲁棒性和智能性。     

基于改进拍卖算法的空空导弹制导权移交技术研究

针对多机协同空战中的空空导弹制导权移交问题,构建了协同制导平台对目标及空空导弹的制导优势模型,建立一种空空导弹制导权移交问题的数学模型.基于多智能体协同理论,提出了一种基于拍卖算法的空空导弹制导权移交方法,解决了协同制导中的资源分配和冲突消解等协作问题,具计算量小、通信量低和动态性高等优点.算法同时考虑制导优势和付出代价,协同制导平台选择方案较合理.仿真结果验证了方法的合理性和有效性.     

多尺度搜索补偿的临近空间高超声速目标相参积累算法

针对临近空间高超声速目标回波信号相参积累时存在的跨距离门和多普勒扩展问题,提出一种基于多尺度搜索补偿的相参积累算法。算法在距离走动补偿的基础上,根据目标加速度和加加速度的变化区间,同时对目标加速度和加加速度估计值进行搜索,并利用多尺度搜索的方法,解决搜索尺度和搜索计算量之间的矛盾,完成相参积累。仿真结果表明,算法能够有效解决目标长时间积累过程中存在的跨距离门和多普勒扩展问题,抑制噪声并提高增益,积累效果明显优于传统积累方法。     

预定时间多导弹三维协同制导律

针对多枚导弹在三维空间中协同打击机动目标问题,提出了一种具有攻击时间约束和视线角约束的预定时间协同制导律。提出的预定时间协同制导律由两部分组成。首先,设计了新的预定时间多智能体一致性协议,在此基础上设计了视线方向的预定时间协同制导律,保证各导弹同时命中目标。此外,设计了新的预定时间非奇异快速终端滑模面,在此基础上设计了视线法向的预定时间协同制导律,使得各导弹可以在预定时间内收敛到期望的视线角。最后,通过对以上协同制导律进行三维数值仿真,验证了设计的预定时间协同制导律的有效性。     

基于模拟的反导预警雷达目标交接搜索景幅设置研究

为解决远程预警相控阵雷达(EWR)和多功能地基相控阵雷达(GBR)进行目标交接时,GBR应在多大范围内,采取何种信号形式搜索捕获目标的现实问题,建立GBR目标交接搜索景幅优化模型,运用蒙特卡洛方法对该模型进行模拟求解,并从目标交接距离、目标飞行方向、目标指示精度等3个方面分析其对GBR搜索景幅的影响。首次将蒙特卡洛方法用于反导预警雷达目标交接,有效提高了反导作战任务规划效率和雷达搜索效能。计算结果表明:GBR搜索景幅大小与目标交接距离成正比,与指示精度和目标飞行方向有无先验信息成反比。     

导航星座星间链路信号捕获搜索策略研究

针对导航星座星间链路信号动态范围大、捕获性能要求高之间的矛盾,利用星历信息辅助信号捕获。在此基础上,分析了信号捕获串行搜索、码并行搜索和频率并行搜索的计算代价,给出了不同信号体制和星历误差下各搜索策略对应的运算量表达式,并结合典型的应用场景进行了算例分析。分析结果表明星间信号捕获在星历误差较小时采用串行搜索策略具有最少的计算量,在星历误差较大时采用码并行搜索策略计算量最少。     

相控阵导引头空域搜索策略研究

为提高相控阵导引头在中末制导交班时搜索效率,对空域搜索策略进行了研究。分析了中末制导交班的误差源,根据目标指示误差设计了圆形7波位、矩形9波位和矩形25波位三种空域搜索策略。考虑回波遮挡和目标雷达反射截面(RCS)起伏效应,采用复合制导系统模型,通过仿真对三种空域搜索策略进行了全弹道性能评估和对比分析。结果发现:在三种搜索策略中,少波位搜索策略的覆盖范围小于多波位搜索策略,但搜索时间长度小,因中末制导交班的空域搜索时间有限,综合考虑认为少波位搜索策略的搜索效率较多波位更高;圆形7波位策略较矩形9波位能在相同时间内搜索内更多的圈数,故其性能最佳。     

机载相控阵雷达射频隐身时最优搜索性能研究

为提高机载相控阵雷达的生存能力,首次提出了一种基于射频隐身的雷达搜索方法。分析了影响雷达搜索性能的各个参数,将波束宽度、驻留时间和发射平均功率作为优化参数,将最小化能量消耗函数、最小化估计检测概率与期望检测概率的2范数作为目标,利用带精英策略的非支配排序遗传算法对雷达搜索模型进行优化。从最后Pareto解集中选取使两个目标函数乘积最小的解作为最优解。仿真结果表明,本文的算法与基于最大检测概率、最大起始跟踪距离的搜索方法相比,在具有较好检测性能的前提下,消耗较少的能量,具有较好的射频隐身能力。     

多目标作战的攻击策略与关键问题分析

针对复杂战场环境下多目标空袭体系作战的新问题,研究面向多目标作战的多弹协同系统的特点,提出一种面向多目标作战的新型多弹协同体系架构及作战过程,接着阐述面向多目标作战的多弹协同关键问题设计理念,主要包括了多弹协同总体集成、协同策略、数据通信、编队飞行控制、试验验证与评估等技术,最后展望该技术良好的工程应用前景。     

基于空间目标特性的无缝搜索技术研究

为了解决常规雷达搜索屏拦截空间目标概率不高的问题,利用空间目标过境具有周期性的特征,提出一种高拦截率的无缝搜索方法。当搜索屏经度覆盖范围大于等于目标重访经度差时,目标过境将至少被搜索屏拦截1次。利用这个特征,通过优化相控阵雷达法线仰角和搜索波位的驻留时间改变搜索屏的空间和能量分布,使各个轨道高度处的搜索经度覆盖范围等于目标的重访经度差,从而在最小时间资源开销的条件下实现了空间目标高概率拦截搜索。仿真结果表明,在时间资源开销相同的条件下,提出的无缝搜索方法与常规搜索方法相比,可将空间目标平均拦截率由90.93%提升至99.94%。研究对于提升空间目标监视雷达搜索效率具有较高的应用价值。     

从月球逃逸探测小行星的发射机会搜索

从月球逃逸探测小行星的发射机会搜索因需考虑日、地、月引力的影响而使问题变得复杂。针对该多体系统的发射机会搜索问题,提出了一种分层渐近的搜索方法。该方法首先通过分析地月系质心与小行星的几何关系,搜索从地月系质心到小行星的发射机会,进而以地月运动为研究对象,推导出了从月球轨道切向逃逸机会的判别条件,并基于此判别条件及等高线图法对逃逸机会进行了搜索。同时,为提高所得发射机会在多体模型下的轨道修正收敛性,给出了基于月心逃逸轨道参数为终端约束的日-地与日-地-月动力学模型的轨道渐近修正方法。最后,以近地小行星(3908)Nyx和(190491)2000 FJ20为例,搜索其从月球逃逸的发射机会,仿真计算表明了该方法的有效性。     

一种深度强化学习制导控制一体化算法

研究了一种基于深度强化学习理论的制导控制一体化算法。不同于传统的制导控制一体化算法和制导控制回路分开设计的方法,基于深度强化学习理论的制导控制一体化算法利用深度学习强化算法生成一个智能体,智能体根据导弹的观测量生成舵偏角控制指令准确拦截目标。首先将制导控制问题转化为一个马尔可夫决策过程,然后提出了一个权衡制导精度、能量损耗和飞行时间的奖励函数,将制导控制问题转化到强化学习问题的框架中。最后采用深度确定性策略梯度算法,求解提出的强化学习问题,训练得到制导控制智能体,智能体根据导弹观测量生成舵偏角指令。通过进行大量的数值模拟,验证了提出的制导控制一体化算法的有效性和鲁棒性。