基于改进Q学习的IMA系统重构蓝图生成方法

重构蓝图定义了故障状态下系统软硬件资源的重新配置方案,是实现综合模块化航空电子系统重构容错的关键。提出了一种基于改进Q学习的重构蓝图生成方法,综合考虑负载均衡、重构影响、重构时间、重构降级等多优化目标,并应用模拟退火框架改进探索策略,提高了传统Q学习算法的收敛性能。实验结果表明,与模拟退火算法、差分进化算法、传统Q学习算法相比,本文提出的改进Q学习算法效率更高,所生成重构蓝图质量更高。     

机器学习在流动控制领域的应用及发展趋势

流动控制作为流体力学中的重要跨学科领域,一直是科学研究和工程应用关注的焦点之一。由于流动系统具有强非线性等复杂特征,对流动的控制尤其是闭环控制,一直颇富挑战性。近年来机器学习的迅速发展为许多学科带来了新的方法、新的视角和新的观点,对于流动控制领域亦是如此。通过回顾现阶段三类基于机器学习的流动控制方法,为主动流动控制领域的研究者展示机器学习在流动控制中应用的整体概况,进而勾勒出本领域的发展趋势。     

复合材料层合板的开口补强研究进展

复合材料在航空结构中的应用越来越广,在复合材料层合板上开口对其结构力学性能的影响需引起研究人员的重视。针对国内外近十年来的研究工作,系统地回顾了复合材料层合板的开口力学性能及补强设计方法的研究进展,从开口区域应力集中、开口层板稳定性研究、失效模式及补强方法等方面做了阐述;并对未来含有开口的复合材料结构设计的研究提出了一些建议。     

基于DDPG的单目无人机避障算法

提出了一种基于单目相机的小型多旋翼无人机的连续避障策略。所提出的方法包括深度估计和导航决策两个模块。其中,在深度估计模块采用条件对抗网络对无人机采集得到的RGB图片进行训练预处理,在导航决策模块采用深度确定性策略梯度(DDPG)算法实现无人机的连续避障。在此基础上,对DDPG中的Actor网络进行改进,通过使用多模态网络代替原有策略网络,从而抑制无人机飞行震动,提高避障能力。最后,在Airsim仿真环境中进行测试,实验表明所提算法模型经过训练能够使无人机成功躲避障碍物并到达指定目标点,与原有算法相比避障轨迹得到明显改善。     

基于DDPG-PID的机器人动态目标跟踪与避障控制研究

针对机器人在动态复杂环境下的操作问题,研究机械臂跟踪运动目标及避障的运动控制方法。采用传统PID控制方法与DDPG强化学习算法相结合的方式,利用PID控制使得机械臂的工作平面快速接近目标物并与之重合,再使用DDPG算法让机械臂在平面内自主学习追踪目标物投影同时避开障碍物投影,最终在三维空间中实现跟踪与避障。该方法将机械臂作为一个智能体,智能体通过感知目标物和障碍物的距离偏差来自主学习避障跟踪策略。将本方法用于多自由度机械臂路径规划与避障任务中,对比单纯使用DDPG算法将机械臂作为智能体在空间中进行决策控制,仿真结果显示本文所提出的方法收敛效果和控制性能更好,机械臂能在训练后实现目标物的稳定跟踪和障碍物的躲避。     

一种深度强化学习制导控制一体化算法

研究了一种基于深度强化学习理论的制导控制一体化算法。不同于传统的制导控制一体化算法和制导控制回路分开设计的方法,基于深度强化学习理论的制导控制一体化算法利用深度学习强化算法生成一个智能体,智能体根据导弹的观测量生成舵偏角控制指令准确拦截目标。首先将制导控制问题转化为一个马尔可夫决策过程,然后提出了一个权衡制导精度、能量损耗和飞行时间的奖励函数,将制导控制问题转化到强化学习问题的框架中。最后采用深度确定性策略梯度算法,求解提出的强化学习问题,训练得到制导控制智能体,智能体根据导弹观测量生成舵偏角指令。通过进行大量的数值模拟,验证了提出的制导控制一体化算法的有效性和鲁棒性。     

适用于连续数值标签的兴趣漂移增量学习方法

针对现有兴趣漂移增量学习方法大多针对包含二值数据标签的用户反馈进行学习的不足,提出了一种适用于连续数值标签反馈的兴趣漂移增量学习方法,以或然概念集的形式描述用户兴趣,将用户反馈中包含的数据标签视为用户对该实例的喜好概率,并采用基于指数近度加权平均的方法对兴趣模型进行增量学习.在不同学习任务下的实验结果表明,该方法能够在反馈数据标签为连续数值的条件下达到比现有方法更好的学习效果.     

纤维缠绕厚壁柱形压力容器的应力和变形

研究了各向同性材料内胆对称缠绕纤维的厚壁圆柱形容器在内外压力作用下的变形和应力.采用正交各向异性本构关系和轴对称厚壁筒理论,利用解析方法获得了纤维层和内胆的变形和应力,以及纤维方向的应力;对壁厚较厚和不同缠绕角,更准确地揭示纤维向应力和内胆应力.比较了分别用玻璃纤维环氧和炭纤维环氧缠绕铝内胆和钢内胆的容器在内压作用下,不同缠绕角方案中内胆和纤维向应力分布.研究表明,壁厚对不同缠绕角容器的应力和变形影响不同,总体影响较小;从降低内胆的等效应力和充分发挥纤维纵向强度角度看,炭纤维缠绕铝筒最好;横向强度和剪切强度是缠绕复合材料容器的主要控制参数,缠绕工艺需要提高这些指标以充分发挥纤维纵向强度.     

元强化学习综述

元强化学习是指自动从一组相关任务中学习强化学习所需归纳偏置的相关理论和方法,对于提高强化学习算法在困难场景下的样本效率和泛化能力具有重要用途。本文提出一种新的元强化学习框架,指出设计和分析一个元强化学习算法需要同时考虑学习经验（相关任务）、归纳偏置及学习目标3个独立因素及这3个因素之间的依赖关系。在此基础上对该领域的研究现状进行了分析和总结,特别对近年来元强化学习若干文献进行了分析和归类,并详细阐述了几种代表性算法的原理及各自特点。本文还对元强化学习常用的实验环境和性能评价方法进行了介绍,对该领域的不足和未来的发展方向进行了讨论和分析。     

非抗震钢筋混凝土受弯构件最小配筋率分析

钢筋混凝土梁的配筋率是影响承载力的主要因素，配筋率的变化会使粱的承载力和受力性能都发生变化。本文通过对新旧混凝土结构设计规范中受弯构件最小配筋率的对比，对新旧规范的取值调整进行了理论分析，为广大工程设计人员加深对新规范的理解提供理论参考。