一种通过积累教训来实现学习的随机自动机

本文提出了一种新颖的学习自动机模型。其内部结构直接由它过去所受惩罚的积累信息来确定。研究结果表明，该算法是权宜的，且具有优于ＬＩＰ、相当于ＬＲＰ的学习性能。     

标准化学习管理系统的研究

针对现阶段低水平的学习管理系统重复开发、不同系统之间不能互操作,提出了可互操作的标准化学习管理系统的模型,并对各种不同类型数据信息进行XML绑定,实现不同系统之间的互操作。     

一种改进的适应性超媒体学习单元模型

在netUniversité这一平台上,结合IMS LD标准建立学习单元模型,并以此标准根据新的教学需求对已有模型进行改进.将HBDI 全脑模型结合入学习内容管理工具,利用设计时工具Reload Editor和运行时工具CopperCore Player构造学习单元模型.     

针对超临界翼型气动修型策略的强化学习

强化学习是一类用于学习策略的机器学习方法,通过模拟人的学习过程,与所处环境不断交互来学习动作策略,用以获得最大累积回报。以设计师在翼型气动设计中的增量修型过程为例,给出强化学习在气动优化设计中的要素定义和具体算法的实现。研究了预训练中选择不同示例对预训练和强化学习结果的影响,并将强化学习得到的策略模型在其他环境中进行了迁移测试验证。结果表明,合理的预训练能够有效提高强化学习的效率和最终策略的鲁棒性,且所形成的策略模型具有较好的迁移能力。     

一种新的混合高斯模型的学习算法

混合高斯模型是背景对消中一种非常有效的方法.本文提出了一种有效的混合高斯模型的学习算法.与以前的方法不同在于:a.根据最大似然准则,在线的更新模型的参数;b.定义了遗忘因子和学习率因子,并根据它们实际的物理含义,得到了更一般的形式.运用这种算法对模拟视频数据和真实视频处理,结果表明,本文提出的学习算法无论在收敛速率,还是在准确性方面,都要优于以前的方法.     

基于深度学习的图像匹配方法综述

图像匹配是飞行器视觉导航中的一项关键技术。基于深度学习的图像匹配方法在近几年快速发展,其特征提取网络比传统方法具有明显优势与广阔的应用前景。基于深度学习的图像匹配方法可以按照网络结构的不同分为单环节网络模型匹配方法和端到端网络模型匹配方法。首先对单环节网络模型中的特征检测模型、描述符学习模型、相似度度量模型和误差剔除模型逐一进行了深度调研及分析,然后对端到端匹配网络模型中的单网络结构方法和多网络结构组合方法进行了针对性的综述,并对经典的端到端匹配网络模型算法进行了介绍和分析。最后,结合目前基于深度学习的图像匹配方法存在的问题,指出未来可能的发展趋势和方向,为后续研究者在深度学习图像匹配的研究提供一定参考。     

国产深度学习推理框架嵌入式适用性研究

随着端侧AI应用的不断丰富及深度学习技术的不断渗入,端侧深度学习模型部署需求日益增长。各机构研发出不同的AI推理框架来实现深度学习模型部署的高性能全景统一目标,通过接入多训练框架利用多硬件资源的方式来进行推理性能的加速。选择四个典型的国产深度学习推理框架,分别从设计原理、落地实现和特殊优化方式三个维度进行介绍与对比,并通过实验验证性能、支持精度、硬件支持这三个衡量指标对比探究四个框架是否适用于航空领域任务需求。     

基于模型迁移学习的滚动轴承智能故障诊断方法

针对滚动轴承故障诊断中可用的故障数据较少,同时基于数据驱动的故障诊断模型在训练过程中需要耗费大量的时间和计算资源的问题,提出一种基于EfficientNet模型迁移学习的滚动轴承智能故障诊断方法。首先,利用信号转化图像的方法,将不同健康类别滚动轴承振动信号生成相应的训练集和测试集;然后,将经过预训练的EfficientNet模型,通过参数共享迁移到训练集上进行训练并微调,以达到模型最佳参数;最后,通过测试集验证模型的故障诊断能力。在双转子高速滚动轴承故障数据集上,对提出的故障诊断方法进行了验证。结果表明：在不同工况下,所提出故障诊断方法的准确率最高能达到99.48%,优于传统的数据驱动故障诊断方法,具有较好的应用前景。     

基于深度学习的超分辨率重构方法在CAARC标模绕流流场重构中的应用

基于深度学习的超分辨率重构方法是近年来发展的一种有效的流场精细化方法。本文超分辨率重构模型以卷积神经网络为基础，结合了混合下采样跳跃连接多尺度模型，并应用于CAARC标准建筑模型表面风压场和建筑绕流速度场的重构。通过对比分析对不同欠分辨率流场的高分辨重构能力，结果表明该深度学习模型重构高分辨率流场具有良好的精度，重构效果优于原始的卷积神经网络模型和传统的双三次插值方法。该方法具有一定的普适性，可推广应用到具有复杂湍流流动的任意建筑结构风场的超分辨率重构。     

一种自信学习自动机

提出一种二次不动—惩罚变结构随机自动机模型（Q(IP)）。较之于其线性形式（L(IP)），新模型的学习带有一定的自信（当然，有时也可能是自负）。特别，跟传统自动机不同的是，新算法的极限行为同时兼具吸收壁和遍历性。     

Aerospace launch vehicle control: an intelligent adaptive approach

A theoretical analysis of on-line autonomous intelligent adaptive tracking controller based on emotional learning model in mammalians brain (BELBIC) for aerospace launch vehicle is presented. The control algorithm is provided with some sensory inputs and reward signal, subsequently it autonomously seeks the proper control signal to be executed by actuators, thus eliminating tracking error without pre-knowledge of the plant dynamics. The algorithm is very robust and fast in adaptation with dynamical change in the plant, due to its on-line learning ability. Development and application of this algorithm for an aerospace launch vehicle during atmospheric flight in an experimental setting is presented to illustrate the performance of the control algorithm.     

基于信任域策略优化的末制导控制量学习算法CSCD

近年来,深度强化学习在解决序列决策问题上取得了很大进展,无模型强化学习算法在与环境不断交互的过程中学习策略,不需要提前对环境建模,使其适用于许多问题。针对以往使用强化学习进行末制导策略学习的训练不稳定问题,使用信任域策略优化算法直接学习末制导控制量,同时设计了一种新颖的奖励函数,可以提高训练稳定性和算法性能。在二维环境下进行了实验,结果表明,该算法具有良好的训练稳定性,并可以达到很好的命中效果。     

基于深度Q网络的多智能体逃逸算法设计CSCD

当前多智能体追逃博弈问题通常在二维平面下展开研究,且逃逸方智能体运动不受约束,同时传统方法在缺乏准确模型时存在设计控制策略困难的问题。针对三维空间中逃逸方智能体运动受约束的情况,提出了一种基于深度Q网络(DQN)的多智能体逃逸算法。该算法采用分布式学习的方法,逃逸方智能体通过对环境的探索学习得到满足期望的逃逸策略。为提高学习效率,根据任务的难易程度将智能体策略学习划分为两个阶段,并设计了相应的奖励函数引导智能体探索满足期望的逃逸策略。仿真结果表明,该算法所得逃逸策略效果稳定,并且具有泛化能力,在改变一定的初始位置条件后,逃逸方智能体也可成功逃逸。     

Q-learning强化学习协同拦截制导律CSCD

为实现多枚导弹协同拦截机动目标,提升拦截效能,提出了一种Q-learning强化学习协同拦截制导律。首先,基于逃逸域覆盖理论,建立了非线性多弹协同拦截模型。其次,以视线角速率为状态,依据脱靶量构造奖励函数,通过离线训练生成强化学习智能体,并结合传统比例制导控制方法,构建基于强化学习的变导引系数制导律,实时生成实现协同拦截的制导指令。最终,通过数值仿真验证了所提算法的有效性和优越性。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

基于启发强化学习的大规模ADR任务优化方法

随着航天事业的蓬勃发展,空间碎片尤其是低轨碎片已成为航天任务不可忽视的威胁。考虑到碎片清除的紧迫性和成本,低轨多碎片主动清除（ADR）技术成为缓解现状的必要手段。针对大规模多碎片主动清除任务规划问题,首先,基于任务规划的最大收益模型,提出一种强化学习（RL）优化方法,并依照强化学习框架定义了该问题的状态、动作以及收益函数;其次,基于高效启发因子,提出一种专用的改进蒙特卡罗树搜索（MCTS）算法,该算法使用MCTS算法作为内核,加入高效启发算子以及强化学习迭代过程;最后,在铱星33碎片云的全数据集中检验了所提算法有效性。与相关MCTS变体方法以及贪婪启发算法对比,所提方法能在测试数据集上更高效地获得较优规划结果,较好地平衡了探索与利用。     

Improving multi-target cooperative tracking guidance for UAV swarms using multi-agent reinforcement learning

Multi-Target Tracking Guidance(MTTG) in unknown environments has great potential values in applications for Unmanned Aerial Vehicle(UAV) swarms. Although Multi-Agent Deep Reinforcement Learning(MADRL) is a promising technique for learning cooperation, most of the existing methods cannot scale well to decentralized UAV swarms due to their computational complexity or global information requirement. This paper proposes a decentralized MADRL method using the maximum reciprocal reward to learn cooper...     

动态模糊RBF神经网络焊接接头力学性能预测建模

建立动态模糊径向基神经网络RBF( Radial Basis Function,RBF)焊接接头力学性能预测模型,克服静态RBF和模糊神经网络( Fuzzy Neural Network,FNN)在结构辨识、动态样本训练及学习算法的不足。该模型的结构参数不再提前预设,在训练过程中动态自适应调整,适用动态样本数据学习,学习算法引入分级学习和模糊规则修剪策略,加速训练并使模型结构更加紧凑。利用三种厚度、不同工艺TC4钛合金TIG焊接试验数据对该模型进行仿真。结果表明：模型具有较高的预测精度,适用于预测焊接接头力学性能,为焊接过程在线控制开辟了新的途径。