基于深度强化学习的机器人推拨优化装箱问题研究

三维装箱问题是指在满足容积限制、稳定性限制等条件下,将一定数量的物体放入较大容量的箱子中并使空间利用率最大的组合优化问题.三维装箱问题是典型的NP完全问题,通常采用启发式算法规划物体放置的位姿.在使用机器人完成装箱任务时,还要额外考虑机器人操作限制,如机械臂或末端执行器与物体或箱子之间的碰撞、机械臂运动轨迹的规划等,使得部分最优位姿不可行,只能将物体从更高处落下或者将物体放在最优位姿的附近.机器人在抓取、识别和放置时的不确定性也会导致最终放置位置与规划产生偏差.因此,本文提出基于深度强化学习的机器人三维装箱推拨优化方法,以最小化包装箱中物体放置位置的启发式算法分数为目标,通过推拨动作对于已放置的物体位置进行调整、归集,将物体朝角落中压缩,以腾出更多空间,提高装箱空间利用率,减小由于机器人操作不确定性对装箱结果的影响.     

基于近端策略优化算法的四足机器人步态控制研究

足式机器人步态控制是机器人研究领域的难点问题,应用强化学习让机器人自主学习策略提供了一种很好的解决思路.基于ROS机器人操作系统搭建了四足机器人仿真平台,将近端策略优化算法用于四足机器人步态控制,并与其他深度强化学习算法进行了对比分析.仿真实验结果表明,近端策略优化算法在实际应用中具有更好的训练效果.     

基于深度强化学习的软件定义卫星姿态控制算法

深度强化学习（DRL）作为一种新型的基于机器学习的控制算法,在机器人和无人机等智能控制领域展现出了优异的性能,而卫星姿态控制领域仍然在广泛使用传统的PID控制算法。随着卫星的小型化、智能化以至软件定义卫星的出现,传统控制算法越来越难以满足姿态控制系统对适应性、自主性、鲁棒性的需求。因此对基于深度强化学习的姿态控制算法进行了研究,该算法使用基于模型的算法,比非基于模型的算法拥有更快的收敛速度。与传统控制策略相比,该算法无需对卫星的物理参数和轨道参数等先验知识,具有较强的适应能力和自主控制能力,可以满足软件定义卫星适应不同硬件环境,进行快速研发和部署的需求。此外,该算法通过引入目标网络和并行化启发式搜索算法之后,在网络精度和计算速度方面进行了优化,并且通过仿真实验进行了验证。      

基于深度强化学习的平流层浮空器高度控制

为研究基于深度强化学习的平流层浮空器高度控制问题。建立平流层浮空器动力学模型,提出一种基于深度Q网络（DQN）算法的平流层浮空器高度控制方法,以平流层浮空器当前速度、位置、高度差作为智能体的观察状态,副气囊鼓风机开合时间作为智能体的输出动作,平流层浮空器非线性动力学模型与扰动风场作为智能体的学习环境。所提方法将平流层浮空器的高度控制问题转换为未知转移概率下连续状态、连续动作的强化学习过程,兼顾随机风场扰动与速度变化约束,实现稳定的变高度控制。仿真结果表明：考虑风场环境对浮空器影响下,DQN算法控制器可以很好的实现变高度的跟踪控制,最大稳态误差约为10 m,与传统比例积分微分（PID）控制器对比,其控制效果和鲁棒性更优。     

基于深度强化学习的航天器多约束规避动作快速规划

航天器规避机动过程中面临多种复杂约束条件,传统基于数值优化的动作规划方法在处理相应模型和约束条件时存在初值敏感、计算时间较长等问题,难以对近距离轨道威胁做出及时反应.针对该问题,本文提出一种基于深度强化学习的航天器多约束规避动作规划方法.建立航天器六自由度非线性动力学模型以及相应姿轨机动约束条件;建立基于双延迟深度确定性策略梯度(TD3)的动作规划方法,通过TD3训练得到的神经网络在线生成满足多种约束条件的规避机动动作;构造与规划方法相适配的深度强化学习规范化训练环境,确保学习训练过程中智能体和环境的有效交互.仿真结果表明,所提方法能在预期交会时间仅数十秒的情况下快速实时生成规避动作,规划周期小于9 ms,远低于作为对比项的高斯伪谱法.     

基于深度强化学习的高超声速飞行器动态面控制方法

针对高超声速飞行器控制问题,通过将深度强化学习与动态面控制方法相结合,设计了智能姿态控制算法。首先,基于模型先验知识,采用传统的动态面控制方法设计控制器结构。然后,考虑跟踪误差和控制量幅值约束的情况下,采用深度学习算法完成对控制器参数的智能寻优,代替传统设计中的人工调参试错过程。为提升训练效果,在奖励函数中引入了控制量变化率。最后,通过数值仿真验证了所设计控制方法的有效性与鲁棒性。     

基于学习的空间机器人在轨服务操作技术

发展具备全自主操作能力的在轨服务航天器是未来航天领域的重要方向,而赋予航天器自主学习能力是实现自主化操作的重要手段.本文首先对近年来国外在轨服务操作的重要研究计划和关键技术进行了分析,并系统论述了基于学习的机器人操作技术的主要理论和方法.然后,结合未来在轨服务的需求,对我们在此领域的初步研究成果“基于学习的在轨燃料补加控制系统”进行了介绍.最后,结合航天领域的特点,分析了基于学习的空间机器人在轨服务技术所面临的挑战和未来的发展方向.     

基于深度学习的视觉检测及抓取方法

针对现有机器人抓取系统对硬件设备要求高、难以适应不同物体及抓取过程产生较大有害扭矩等问题,提出一种基于深度学习的视觉检测及抓取方法。采用通道注意力机制对YOLO-V3进行改进,增强网络对图像特征提取的能力,提升复杂环境中目标检测的效果,平均识别率较改进前增加0.32%。针对目前姿态估计角度存在离散性的问题,提出一种基于视觉几何组-16(VGG-16)主干网络嵌入最小面积外接矩形(MABR)算法,进行抓取位姿估计和角度优化。改进后的抓取角度与目标实际角度平均误差小于2.47°,大大降低两指机械手在抓取过程中对物体所额外施加的有害扭矩。利用UR5机械臂、气动两指机械手、Realsense D435相机及ATI-Mini45六维力传感器等设备搭建了一套视觉抓取系统,实验表明：所提方法可以有效地对不同物体进行抓取分类操作、对硬件的要求较低、并且将有害扭矩降低约75%,从而减小对物体的损害,具有很好的应用前景。     

基于深度学习的电力数据分析研究

针对传统电力数据分析方法存在适用范围有限、模型复杂等导致电器分类准确率较差的问题,提出了一种基于多层堆叠长短期记忆(Long short-term memory,LSTM)网络的电力数据分析模型。首先,根据电力数据的频谱图、Mel频率倒谱系数(Mel-Frequency Cepstral Coefficient,MFCC)和Mel频谱图提取电力数据的特征,然后将其应用于深度学习模型并提高分类任务的性能,从而改善过拟合问题。其次,建立了一个多层堆叠LSTM模型,从而有效提高模型的分类和回归能力。最后,提出了一种改进的软独热编码和多尺度训练方法,从而防止峰值概率分布,提高模型的泛化能力。实验阶段,以家庭电力数据集为例,对所提模型进行验证。仿真结果表明,所提模型软独热编码及多尺度训练对加快训练效果具有一定效果,最终分类准确率到达89.85%。     

基于粒子群算法的阻抗控制在机械臂柔顺控制中的应用

阻抗控制策略是实现机械臂的末端力柔顺控制的一种重要方法.然而,针对阻抗控制参数的确定,目前尚缺乏通用算法.粒子群算法具有概念简单、易行、鲁棒性好等特点,适用于阻抗控制参数的确定与优化.通过分析基于力反馈的笛卡尔空间阻抗控制结构,采用粒子群算法整定阻抗控制参数.结合阻抗控制自身特点对粒子群算法做了相应改进,并通过仿真验证了优化后的阻抗控制算法可实现对七自由度机械臂的柔顺控制且具有较好的鲁棒性.     

基于粒子群算法的多脉冲转移轨迹优化

通过引入Lambert算法处理终端约束条件,建立基于可行解迭代的多脉冲转移轨迹优化模型,采用粒子群算法优化最省燃料转移轨道,并对分别采用变轨点真近点角和变轨时刻作为设计变量的优化结果进行了对比分析.对相同的两脉冲、三脉冲轨道转移问题,优化结果验证了提出的优化模型和优化算法的正确高效性.仿真表明,使用变轨点真近点角为设计变量时优化效率和结果更好.     

基于混合优化算法的RLV覆盖区求解

针对可重复使用运载器覆盖区求解的参数优化问题,文章提出了基于混合优化算法的求解方案,结合全局和局部优化算法的优点,设计了遗传算法与模式搜索法相结合的优化算法.根据再入动力学建立覆盖区求解模型,基于极大值原理推导最优滚转角控制律,并对滚转角约束进行了讨论;对待优化参数的响应面进行分析,利用遗传算法初步获得初始猜测值,然后用模式搜索法进行快速精确搜索.仿真结果表明,所提出的优化算法可以快速搜索出最优参数,在满足过程约束和控制约束下获得准确的再入覆盖区.     

基于粒子群算法优化双脉冲绕飞问题

以Hill方程为基础对圆轨道近距离双脉冲绕飞优化问题进行研究.首先给出双脉冲绕飞的优化模型并推导分析得出待优化的变量,同时构造了燃耗和时间加权的性能指标函数并考虑安全约束,然后设计了粒子群优化算法对绕飞过程进行优化,最后通过对-V-bar到＋V-bar、＋ R-bar、＋H-bar的绕飞进行仿真获得燃耗和时间加权最优的安全绕飞轨迹,与遍历寻优结果一致,由此验证了粒子群优化算法的有效性.     

基于飞行角度优化的蚁群改进算法

针对无人飞行器路径规划问题,实现了排序蚁群算法,并在此基础上,引入了针对无人飞行器飞行特征的飞行角度优化策略,并建立了转移概率的更新原则。模拟飞行环境建立栅格化地图,进行仿真验证,输出无人飞行器的最优路径,验证最优解的质量和算法的收敛速度,结果表明,该方法能有效消除飞行过程中的尖角和折返现象,更加符合无人飞行器的飞行特征。与传统的方法相比,算法的收敛速度和最优解的质量均得到了提升。     

基于人工免疫算法的地球-火星小推力转移轨道优化

利用人工免疫算法研究了地球-火星小推力转移轨道优化问题。首先针对地球-火星转移轨道的特点建立系统模型并进行归一化处理;然后通过参数化和罚函数将小推力轨道优化问题转化为非线性规划问题;最后提出一种引导型人工免疫算法(Guiding Artificial Immune Algorithm,GAIA)并对该优化问题进行寻优。仿真算例表明,该算法收敛速度快,寻优精度高,且避免了初值敏感、病态梯度和局部收敛等问题;同时验证了GAIA用于小推力轨道优化的有效性。     

基于代理模型的QPSO算法及结构优化应用

针对复杂结构的工程优化通常涉及到高度非线性的问题,采用基于迭代的传统优化算法可能无法获得全局最优解。在此研究背景下,文章引入量子粒子群优化算法(Quantum Particle Swarm Optimization, QPSO),提出了基于克里金（Kriging）代理模型的QPSO算法,通过构建环形桁架可展天线动力学性能的代理模型,对环形桁架可展天线结构参数进行了优化设计的应用研究。研究结果表明,基于Kriging代理模型的QPSO算法计算效率较高,环形桁架可展天线的基频及最大冲击响应面非线性特征显著,并通过将计算所得到的最优解与有限元解进行对比,验证了此方法的计算精度。由此可见,此方法的研究可为复杂结构的优化设计、研制提供一定的参考。     

应用改进果蝇优化算法的月面巡视器路径规划

文章针对果蝇优化算法易陷入局部最优的问题,对果蝇算法中的味道浓度判定值进行改进,并将其用于月球探测巡视器的动态路径规划。为验证算法的有效性,将改进果蝇优化算法与粒子群优化算法的路径规划寻优特性进行了仿真对比分析,结果表明改进果蝇优化算法具有良好的实时性,并有效解决了算法易陷入局部最优的问题。考虑到月球探测巡视器在沿规划路径进行月面巡视的过程中,有可能遇到未知障碍物的情况,提出了动态环境下月球巡视器遇到未知静态障碍物的避障策略。     

基于LM优化算法的神经网络在航空发动机转子故障诊断中的应用

针对传统BP算法存在的收敛速度慢以及容易陷入局部最小点等问题,给出了两种改进BP算法:LM(Levenberg-Marquardt)优化算法和SCG(Scaled Conjugate Gradient)算法,应用这两种算法对航空发动机转子故障进行诊断研究,比较它们之间的研究结果,仿真和实验表明LM优化算法比SCG算法具有更高的准确度和较快的收敛速度,可行性更强。