一种通过积累教训来实现学习的随机自动机

本文提出了一种新颖的学习自动机模型。其内部结构直接由它过去所受惩罚的积累信息来确定。研究结果表明，该算法是权宜的，且具有优于ＬＩＰ、相当于ＬＲＰ的学习性能。     

一种自信学习自动机

提出一种二次不动—惩罚变结构随机自动机模型（Q(IP)）。较之于其线性形式（L(IP)），新模型的学习带有一定的自信（当然，有时也可能是自负）。特别，跟传统自动机不同的是，新算法的极限行为同时兼具吸收壁和遍历性。     

基于深度学习的超分辨率重构方法在CAARC标模绕流流场重构中的应用

基于深度学习的超分辨率重构方法是近年来发展的一种有效的流场精细化方法。本文超分辨率重构模型以卷积神经网络为基础，结合了混合下采样跳跃连接多尺度模型，并应用于CAARC标准建筑模型表面风压场和建筑绕流速度场的重构。通过对比分析对不同欠分辨率流场的高分辨重构能力，结果表明该深度学习模型重构高分辨率流场具有良好的精度，重构效果优于原始的卷积神经网络模型和传统的双三次插值方法。该方法具有一定的普适性，可推广应用到具有复杂湍流流动的任意建筑结构风场的超分辨率重构。     

面向目标分类识别的多任务学习算法综述

多任务学习(MTL)可以在训练中联合利用多个任务的监督信号，并通过共享多个相关任务之间的有用信息来提升模型性能。本文从目标分类识别应用角度，全面梳理和分析了多任务学习的机制及其主流方法。首先，对多任务学习的定义、原理和方法进行阐述。其次，以应用较为广泛、具有代表性且具有共性特点的细粒度分类和目标重识别为例，重点介绍多任务学习机制在目标分类和识别任务应用的2类方法：基于任务层的多任务学习和基于特征层的多任务学习，并针对每种类型进一步分类分析不同的多任务学习算法的设计思想和优缺点。接着，对本文综述的各种多任务学习算法在通用数据集上开展性能对比。最后，对面向目标分类和识别任务的多任务学习方法的未来趋势进行展望。     

标准化学习管理系统的研究

针对现阶段低水平的学习管理系统重复开发、不同系统之间不能互操作,提出了可互操作的标准化学习管理系统的模型,并对各种不同类型数据信息进行XML绑定,实现不同系统之间的互操作。     

基于非线性预测的逆传播神经网络算法优化策略研究

逆传播神经网络算法是人工神经网络用于非线性预测的主要学习算法。它具有思路清晰，结构严谨，操作性强等特点，但同时也存在预测精度低，收敛速度慢等问题，本文从神经网络模型的结构出发，对学习算法提出了一系列改进和优化措施，以加快网络的学习速度，并增加模型的稳定性。     

一种改进的适应性超媒体学习单元模型

在netUniversité这一平台上,结合IMS LD标准建立学习单元模型,并以此标准根据新的教学需求对已有模型进行改进.将HBDI 全脑模型结合入学习内容管理工具,利用设计时工具Reload Editor和运行时工具CopperCore Player构造学习单元模型.     

基于时标分解的弹性高超声速飞行器智能控制

考虑弹性高超声速飞行器纵向动力学模型，提出了一种基于时标分解的智能控制方法。考虑刚体状态和弹性模态具有不同的时标特性，采用奇异摄动理论进行快慢时标分解，将模型转换为刚体慢变子系统和弹性快变子系统。针对刚体子系统考虑动力学不确定，基于平行估计模型构造表征不确定逼近效果的预测误差，结合跟踪误差给出复合学习控制策略。针对弹性子系统设计自适应滑模控制稳定弹性模态。通过李雅普诺夫稳定性分析可证系统状态一致终值有界。仿真表明所提出的控制方法能够实现刚弹模态的稳定收敛，且具有更高的跟踪精度、更好的学习性能和更快的收敛速度。     

基于卷积神经网络的图像识别综述

随着工业化进程的迅猛发展，产生了大量的图像信息，传统的图像识别技术难以处理如此庞大的图像数据以及满足速度和精度上的要求，大数据及深度学习技术应运而生，基于卷积神经网络的图像识别方法成为目前图像识别的主流算法。文中首先介绍了传统图像识别技术及存在的问题，引入了卷积神经网络的深度学习方法，重点说明了卷积网络中间层的结构和特点，然后介绍图像识别中经典的卷积神经网络模型及相互间的区别，最后简要综述卷积神经网络在图像识别中的应用，指出了有监督的卷积网络学习缺点及无监督学习的研究方向。     

针对超临界翼型气动修型策略的强化学习

强化学习是一类用于学习策略的机器学习方法,通过模拟人的学习过程,与所处环境不断交互来学习动作策略,用以获得最大累积回报。以设计师在翼型气动设计中的增量修型过程为例,给出强化学习在气动优化设计中的要素定义和具体算法的实现。研究了预训练中选择不同示例对预训练和强化学习结果的影响,并将强化学习得到的策略模型在其他环境中进行了迁移测试验证。结果表明,合理的预训练能够有效提高强化学习的效率和最终策略的鲁棒性,且所形成的策略模型具有较好的迁移能力。     

Aerospace launch vehicle control: an intelligent adaptive approach

A theoretical analysis of on-line autonomous intelligent adaptive tracking controller based on emotional learning model in mammalians brain (BELBIC) for aerospace launch vehicle is presented. The control algorithm is provided with some sensory inputs and reward signal, subsequently it autonomously seeks the proper control signal to be executed by actuators, thus eliminating tracking error without pre-knowledge of the plant dynamics. The algorithm is very robust and fast in adaptation with dynamical change in the plant, due to its on-line learning ability. Development and application of this algorithm for an aerospace launch vehicle during atmospheric flight in an experimental setting is presented to illustrate the performance of the control algorithm.     

基于信任域策略优化的末制导控制量学习算法CSCD

近年来,深度强化学习在解决序列决策问题上取得了很大进展,无模型强化学习算法在与环境不断交互的过程中学习策略,不需要提前对环境建模,使其适用于许多问题。针对以往使用强化学习进行末制导策略学习的训练不稳定问题,使用信任域策略优化算法直接学习末制导控制量,同时设计了一种新颖的奖励函数,可以提高训练稳定性和算法性能。在二维环境下进行了实验,结果表明,该算法具有良好的训练稳定性,并可以达到很好的命中效果。     

基于深度Q网络的多智能体逃逸算法设计CSCD

当前多智能体追逃博弈问题通常在二维平面下展开研究,且逃逸方智能体运动不受约束,同时传统方法在缺乏准确模型时存在设计控制策略困难的问题。针对三维空间中逃逸方智能体运动受约束的情况,提出了一种基于深度Q网络(DQN)的多智能体逃逸算法。该算法采用分布式学习的方法,逃逸方智能体通过对环境的探索学习得到满足期望的逃逸策略。为提高学习效率,根据任务的难易程度将智能体策略学习划分为两个阶段,并设计了相应的奖励函数引导智能体探索满足期望的逃逸策略。仿真结果表明,该算法所得逃逸策略效果稳定,并且具有泛化能力,在改变一定的初始位置条件后,逃逸方智能体也可成功逃逸。     

Q-learning强化学习协同拦截制导律CSCD

为实现多枚导弹协同拦截机动目标,提升拦截效能,提出了一种Q-learning强化学习协同拦截制导律。首先,基于逃逸域覆盖理论,建立了非线性多弹协同拦截模型。其次,以视线角速率为状态,依据脱靶量构造奖励函数,通过离线训练生成强化学习智能体,并结合传统比例制导控制方法,构建基于强化学习的变导引系数制导律,实时生成实现协同拦截的制导指令。最终,通过数值仿真验证了所提算法的有效性和优越性。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

基于启发强化学习的大规模ADR任务优化方法

随着航天事业的蓬勃发展,空间碎片尤其是低轨碎片已成为航天任务不可忽视的威胁。考虑到碎片清除的紧迫性和成本,低轨多碎片主动清除（ADR）技术成为缓解现状的必要手段。针对大规模多碎片主动清除任务规划问题,首先,基于任务规划的最大收益模型,提出一种强化学习（RL）优化方法,并依照强化学习框架定义了该问题的状态、动作以及收益函数;其次,基于高效启发因子,提出一种专用的改进蒙特卡罗树搜索（MCTS）算法,该算法使用MCTS算法作为内核,加入高效启发算子以及强化学习迭代过程;最后,在铱星33碎片云的全数据集中检验了所提算法有效性。与相关MCTS变体方法以及贪婪启发算法对比,所提方法能在测试数据集上更高效地获得较优规划结果,较好地平衡了探索与利用。     

Improving multi-target cooperative tracking guidance for UAV swarms using multi-agent reinforcement learning

Multi-Target Tracking Guidance(MTTG) in unknown environments has great potential values in applications for Unmanned Aerial Vehicle(UAV) swarms. Although Multi-Agent Deep Reinforcement Learning(MADRL) is a promising technique for learning cooperation, most of the existing methods cannot scale well to decentralized UAV swarms due to their computational complexity or global information requirement. This paper proposes a decentralized MADRL method using the maximum reciprocal reward to learn cooper...     

动态模糊RBF神经网络焊接接头力学性能预测建模

建立动态模糊径向基神经网络RBF( Radial Basis Function,RBF)焊接接头力学性能预测模型,克服静态RBF和模糊神经网络( Fuzzy Neural Network,FNN)在结构辨识、动态样本训练及学习算法的不足。该模型的结构参数不再提前预设,在训练过程中动态自适应调整,适用动态样本数据学习,学习算法引入分级学习和模糊规则修剪策略,加速训练并使模型结构更加紧凑。利用三种厚度、不同工艺TC4钛合金TIG焊接试验数据对该模型进行仿真。结果表明：模型具有较高的预测精度,适用于预测焊接接头力学性能,为焊接过程在线控制开辟了新的途径。