基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于模仿强化学习的固定翼飞机姿态控制器

研究了基于模仿强化学习的飞机姿态控制器。首先,建立专家经验数据集,并利用行为克隆对控制网络参数初始化;而后,控制网络利用强化学习和监督学习混合模式训练,通过奖励函数塑形和经验数据集监督学习引导强化学习算法快速收敛,使姿态控制器姿态响应优化的同时符合专家经验。控制网络输入为飞机姿态角误差、角速度等状态变量,输出控制增稳系统指令。实验表明,模仿强化学习控制器能够实现不同初始条件下飞机姿态角快速响应并与经验数据相符。     

基于粒子群优化算法的永磁电机热网络参数识别

监测永磁电机的永磁体温度对于保证电机的使用寿命至关重要,因为过高的温度会产生永磁体不可逆失磁现象。提出了一种基于粒子群优化算法的永磁电机热网络参数识别方法,实现用热网络监测永磁体的温度。该方法首先建立永磁电机的热网络模型,利用粒子群优化算法结合电机温升试验所得温度数据对热网络模型的主要热力参数进行识别；然后利用该热网络模型进行在线温度识别,识别过程能够快速收敛,具备良好的辨识精度；最后,通过对比仿真识别温度和电机温升试验数据,验证了该方法的准确性。     

多跑道飞机降落排序快速优化方法

针对多跑道飞机降落排序这一典型的组合优化问题,建立了以延误代价最小为目标的优化模型,并提出了一种基于贪心策略的动态规划算法。在生成子节点时引入贪心策略,通过简化搜索过程的复杂度,提高算法运行效率,以解决问题规模增大导致计算效率低下的难题。仿真结果表明,该方法能够有效简化搜索过程,在优化效果与动态规划算法相当的情况下,有效降低了运算时间,证明了方法的有效性。     

拦截机动目标的信赖域策略优化制导算法

针对临近空间高超声速飞行器的高速性、机动性等特性，为提高制导算法针对不同初始状态、不同机动性目标的准确性、鲁棒性及智能性，提出一种基于信赖域策略优化（TRPO）算法的深度强化学习制导算法。基于TRPO算法的制导算法由2个策略（动作）网络、1个评价网络共同组成，将临近空间目标与拦截弹相对运动系统状态以端对端的方式直接映射为制导指令。在算法训练过程中合理选取连续动作空间、状态空间、并通过权衡能量消耗、相对距离等因素构建奖励函数加快其收敛速度，最终依据训练的智能体模型针对不同任务场景进行拦截测试。仿真结果表明：与传统比例导引律（PN）及改进比例导引律（IPN）相比，本文算法针对学习场景及未知场景均具有更小的脱靶量、更稳定的拦截效果、鲁棒性，并能够在多种配置计算机上广泛应用。     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

航路容量受限的多机场终端区放行策略研究

航路容量制约了民航的发展,考虑影响航路容量的基本因素,建立仿真模型确定航路容量。根据机场终端区分布、航线网络等因素,利用模糊评价排序算法确定多机场终端区的放行策略,解决基于航班时刻优化的多机场地面等待问题,有效地提高机场运营效率和安全性。     

非确定-确定混合分群算法及其实现

在最小群变化(LeastClusterChanged,LCC)分群算法的基础上提出一种非确定-确定混合(Uncer tainy CertainyMixed,UC CM)分群算法。该算法利用非确定性分群的竞争特性,提高了网络的初始收敛速度,并保持了LCC算法的稳定性,同时利用优先级参数,提高了组网的灵活性。设计了UC CM算法的有限状态机模型,并基于模型对算法进行了模拟仿真,验证了算法的有效性。     

高超声速飞行器再入轨迹多目标优化

针对飞行器再入轨迹多目标优化问题,提出了一种基于粒子群算法与层次分析法的综合求解策略。首先,根据飞行器的动力学模型以及再入约束条件,建立了飞行器多目标优化模型;然后,考虑到粒子群算法只能求解无约束单目标问题,采用罚函数处理飞行过程中的约束条件和优化目标;最后,针对不同约束及目标的权重对再入轨迹的影响,利用层次分析法建立包含主观评估信息的优化模型,采用粒子群算法优化求解满足相应约束条件的再入轨迹问题。仿真结果表明,该方法所生成的优化轨迹具有较高的精度和计算效率,并对设计者的主观需求有良好的体现。     

改进型蚁群算法的全局路径规划仿真研究

针对传统蚁群算法收敛较慢的问题,提出了一种在复杂环境下全局路径规划的改进型蚁群算法。利用链接图法建立了路径规划的空间模型;借鉴狼群分配原则对信息素进行更新;在缩小搜索区域,提高搜索效率的过程中,引入了启发式概率公式和启发函数;通过参数自适应调整策略,进一步对最优解进行了优化。将基于Dijkstra算法的初始路径规划和改进后蚁群算法的规划结果进行了仿真对比,结果表明,改进后蚁群算法的全局优化性能较好,具有一定的有效性和可行性。     

A policy iteration method for improving robot assembly trajectory efficiency

Bolt assembly by robots is a vital and difficult task for replacing astronauts in extra-vehicular activities (EVA), but the trajectory efficiency still needs to be improved during the wrench insertion into hex hole of bolt. In this paper, a policy iteration method based on reinforcement learning (RL) is proposed, by which the problem of trajectory efficiency improvement is constructed as an issue of RL-based objective optimization. Firstly, the projection relation between raw data and state-action space is established, and then a policy iteration initialization method is designed based on the projection to provide the initialization policy for iteration. Policy iteration based on the protective policy is applied to continuously evaluating and optimizing the action-value function of all state-action pairs till the convergence is obtained. To verify the feasibility and effectiveness of the proposed method, a noncontact demonstration experiment with human supervision is performed. Experimental results show that the initialization policy and the generated policy can be obtained by the policy iteration method in a limited number of demonstrations. A comparison between the experiments with two different assembly tolerances shows that the convergent generated policy possesses higher trajectory efficiency than the conservative one. In addition, this method can ensure safety during the training process and improve utilization efficiency of demonstration data.     

基于RBFNN自适应混合学习算法的航天测控系统任务可靠性分配

为解决执行航天测控任务的各设备存在复杂的时空关联、可视与信息关联等动态约束关系,使得航天测控系统任务可靠性分配建模和分析极其困难,同时模型求解效率低的问题,提出了自适应混合学习算法的径向基神经网络建模方法.算法通过训练样本相关性矩阵的主成分分析确定网络隐含层初始节点数;在此基础上,利用梯度信息衰减因子改进了迭代过程中网络参数的梯度信息计算方式,避免了学习过程早熟的不足,且加快了迭代收敛速度.最后,通过采集航天测控系统输入-输出数据,将自适应混合学习算法应用于参数训练,并给出了具体实现步骤.通过算例仿真,表明算法在解决航天测控系统任务可靠性分配问题时具有较高泛化能力和分配结果稳定等优点.      

基于深度神经网络的空中目标作战意图识别

传统基于空中目标特征状态推理作战意图的方法,需要大量的领域专家知识对特征状态的权重、先验概率等进行量化,明确特征状态与意图之间的对应关系,而神经网络可以在领域专家知识不足条件下,通过自身训练得到特征状态与意图之间的规则。针对反向传播（BP）算法在更新网络节点权值时收敛速度慢、容易陷入局部最优的问题,通过引入ReLU（Rectified Linear Unit）激活函数和自适应矩估计（Adam）优化算法,设计了基于深度神经网络的作战意图识别模型,提高了模型收敛速度,有效地防止陷入局部最优。仿真结果表明,所提方法能够有效识别空中目标作战意图,获得更高的识别率。     

基于混合算法的涡轴发动机稳态性能仿真模型

以自由涡轮式涡轴发动机为研究对象,建立了涡轴发动机的稳态性能仿真模型,提出了基于天牛须算法和N+1点残量法的求解发动机模型的混合算法(BAS-N+1混合算法),利用发动机台架试车数据对仿真计算结果进行了验证。结果表明,该稳态性能仿真模型各参数的求解误差在3%以内。与PSO-N+1混合算法相比,BASN+1混合算法求解精度更高,收敛更快。BAS-N+1混合算法既保留了智能算法对初猜值误差的包容性,也拥有接近经典迭代算法的收敛速度和精度,能够实现涡轴发动机稳态仿真模型的高精度大范围快速收敛。     

基于预处理共轭梯度法的多用户检测方法

针对准同步CDMA（码分多址）系统中解相关检测运算复杂度高以及常规CG（共轭梯度）法收敛速度慢的问题,提出了SSOR-PCG（对称超松弛预处理共轭梯度）模型求解方法。通过SSOR预处理降低了扩频码矩阵的条件数,从而提高收敛速度,减少了迭代次数。实验结果表明,本文提出的方法相对于解相关检测,运算复杂度大大降低,而误码率与解相关检测器相当;相对于共轭梯度法,收敛速度更快,有效减少了迭代次数。     

基于多机协作的认知无人机网络能效联合优化

针对无人机（UAV）通信网络中频谱资源紧缺的问题,构建基于认知无线电的多无人机通信网络,通过多机协作频谱感知有效探索授权频谱。提出一种基于Bisection算法的迭代算法,通过联合优化感知时间和判决门限对构建的复杂非凸问题求解,显著提高了无人机次级认知网络的能量效率（EE）。分析了无人机飞行过程中能效的变化情况,仿真结果表明,存在最优感知时间使能效获得最大值,且判决门限的选择会影响该能效最优值;提出的高能效迭代算法具有较好收敛性,有效提高了认知无人机网络的能量利用率。     

Loopy belief propagation based data association for extended target tracking

The data association problem of multiple extended target tracking is very challenging because each target may generate multiple measurements. Recently, the belief propagation based multiple target tracking algorithms with high efficiency have been a research focus. Different from the belief propagation based Extended Target tracking based on Belief Propagation (ET-BP) algorithm proposed in our previous work, a new graphical model formulation of data association for multiple extended target tracking is proposed in this paper. The proposed formulation can be solved by the Loopy Belief Propagation (LBP) algorithm. Furthermore, the simplified measurement set in the ET-BP algorithm is modified to improve tracking accuracy. Finally, experiment results show that the proposed algorithm has better performance than the ET-BP and joint probabilistic data association based on the simplified measurement set algorithms in terms of accuracy and efficiency. Additionally, the convergence of the proposed algorithm is verified in the simulations.     

基于AEKF的永磁同步电机转速估计算法研究

针对在转速估算研究中采用常数矩阵不能准确描述永磁同步电机(PMSM)在不同运行条件下系统噪声的问题,提出了一种基于新息序列和状态残差的自适应扩展卡尔曼滤波算法(AEKF)。同时,对AEKF的稳定性进行理论上的探究。经仿真验证,与传统扩展卡尔曼滤波算法相比,AEKF在收敛速度和收敛精度上更优,参数鲁棒性更好。     

基于约简遗传规划的线参数模型及在航空发动机起动建模中的应用

提出了一种新的约简遗传规划(PGP)算法和一种新的基于约简遗传规划的航空发动机起动动态线参数模型.这种模型采用遗传规划产生航空发动机起动模型的输入输出非线性模型集,并以二叉树结构表征函数项,运用正交最小二乘算法(OLS)估计二叉树分支(基本函数项)对于模型精度的贡献并去除复杂、冗余的函数项,从而加快遗传规划的收敛速度,最后通过GP进化可获得简单、可靠、准确的线参数非线性模型.发动机起动过程试车数据建模和与支持向量机的比较证明,这种方法可以产生适用性好、解析性强的线参数非线性模型,产生的模型可获得与支持向量机相当甚至更优的结果.     

熵判别粒子群优化算法在发动机模型修正中的应用

因生产、安装工艺差别导致单台发动机部件特性的差异,使得模型计算结果与单台发动机的性能差异较大,提出了一种基于熵判别粒子群优化算法.通过判别粒子群的熵值,调整种群的多样性,对适应度差的粒子进行迁移,克服了易陷入局部极小点的缺陷.从仿真结果可知:基于熵判别粒子群优化算法的修正效果显然优于影响系数矩阵的修正方法.经验证,模型修正后的低压涡轮出口温度等8个目标性能参数的误差在1%以内,达到较好的修正效果,使单台发动机模型能够与真实发动机进行匹配.