基于DDPG-PID的机器人动态目标跟踪与避障控制研究

针对机器人在动态复杂环境下的操作问题,研究机械臂跟踪运动目标及避障的运动控制方法。采用传统PID控制方法与DDPG强化学习算法相结合的方式,利用PID控制使得机械臂的工作平面快速接近目标物并与之重合,再使用DDPG算法让机械臂在平面内自主学习追踪目标物投影同时避开障碍物投影,最终在三维空间中实现跟踪与避障。该方法将机械臂作为一个智能体,智能体通过感知目标物和障碍物的距离偏差来自主学习避障跟踪策略。将本方法用于多自由度机械臂路径规划与避障任务中,对比单纯使用DDPG算法将机械臂作为智能体在空间中进行决策控制,仿真结果显示本文所提出的方法收敛效果和控制性能更好,机械臂能在训练后实现目标物的稳定跟踪和障碍物的躲避。     

元强化学习综述

元强化学习是指自动从一组相关任务中学习强化学习所需归纳偏置的相关理论和方法,对于提高强化学习算法在困难场景下的样本效率和泛化能力具有重要用途。本文提出一种新的元强化学习框架,指出设计和分析一个元强化学习算法需要同时考虑学习经验（相关任务）、归纳偏置及学习目标3个独立因素及这3个因素之间的依赖关系。在此基础上对该领域的研究现状进行了分析和总结,特别对近年来元强化学习若干文献进行了分析和归类,并详细阐述了几种代表性算法的原理及各自特点。本文还对元强化学习常用的实验环境和性能评价方法进行了介绍,对该领域的不足和未来的发展方向进行了讨论和分析。     

基于改进Q学习的IMA系统重构蓝图生成方法

重构蓝图定义了故障状态下系统软硬件资源的重新配置方案,是实现综合模块化航空电子系统重构容错的关键。提出了一种基于改进Q学习的重构蓝图生成方法,综合考虑负载均衡、重构影响、重构时间、重构降级等多优化目标,并应用模拟退火框架改进探索策略,提高了传统Q学习算法的收敛性能。实验结果表明,与模拟退火算法、差分进化算法、传统Q学习算法相比,本文提出的改进Q学习算法效率更高,所生成重构蓝图质量更高。     

An efficient hyper-elastic model for the preforming simulation of Carbon-Kevlar hybrid woven reinforcement

An efficient hyper-elastic model that can reflect the primary mechanical behaviors of Carbon-Kevlar hybrid woven reinforcement was developed and implemented with VUMAT constitutive code for preforming simulation. The model parameters were accurately determined through the uniaxial and bias-extension tests. To calibrate the simulation code, preforming experiments of hybrid woven reinforcement over the hemisphere mold and tetrahedron mold were respectively conducted to validate the proposed hyper-...     

卷帘行存储下的一种并行Cholesky分解及其在PAR95上的实现

Ｃｈｏｌｅｓｋｙ 分解在科学与工程计算中占有重要的地位,串行的 Ｃｈｏｌｅｓｋｙ 分解已有成熟的方法,但并行的 Ｃｈｏｌｅｓｋｙ 分解方法要充分考虑机器体系的结构,在拥有共享内存的 Ｍ Ｉ Ｍ Ｄ 型多处理机、 Ｓ Ｉ Ｍ Ｄ 型向量机系统上前人已有较好的工作,本文给出适用于 Ｍ Ｐ Ｐ 大规模并行计算机的卷帘行存储行格式的并行 Ｃｈｏｌｅｓｋｙ 分解算法,该算法使用了优先计算优先发送的策略,减少了结点机之间相互等待的时间,建立了结点机之间用于通讯的通讯数组,避免了使用撒播这一通讯模式,减少了通讯时间,通过在 Ｐ Ａ Ｒ９５ 上的数值试验表明,随着问题规模的扩大,并行效率越来越高,并且该法容易推广到多行卷帘存储的形式。     

基于分层式强化学习的移动机器人导航控制

针对未知环境下的移动机器人导航问题,本文提出了一种基于分层式强化学习的混合式控制方法。利用栅格-拓扑相结合的环境表示及地图学习方法,通过分层式强化学习在不同控制层次的扩展设计移动机器人的反应式和慎思式导航控制,实现了全局导航和局部导航控制的协调优化。实验及测试结果证明,该控制方法能实现导航任务的全局优化,避免陷入局部极小,并对未知动态环境具有较强的适应性。     

求解大型矩阵特征值问题的并行块Davidson方法

针对拥有共享内存的并行计算环境和微机网络并行计算环境,给出了求解大型稀疏对称矩阵部分极端特征对的并行块Davidson方法。该方法将矩阵A按行块分配到各处理器上,各处理器利用矩阵A的行块和投影子空间的正交基所组成矩阵V的行块进行运算,减少了处理机之间的通讯次数,实现了算法的并行计算。在微机网络并行计算环境和拥有共享内存并行计算环境IBMP650上的数值试验表明,该算法非常有效。     

基于非圆对称特性的阵列扩展算法

根据入射信号的非圆对称性,提出了一种基于均匀线阵的阵列扩展算法。该方法以ESPRIT算法实现DOA估计,计算量较传统的MUSIC算法小,同时虚拟阵列有效地增加了阵列孔径,提高了算法的分辨力,并且能对更多的信号进行DOA估计。计算机仿真验证了该方法的可靠性和有效性。     

域k上三次一般方程式的解的计算

我们已经研究了域k上的n（n≥5）次一般方程在特征标为0的情形下关于幂根是不可解的,而对于n≤4是可解的。本文利用n次循环域的拉格朗日分解式及循环群σ∈G（K/k）的结构,推出域k上的三次一般方程在特征标为0的情形下一般解的计算公式。     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。