基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

熔融沉积成型连续碳纤维增强尼龙蜂窝芯材的压缩特性

采用熔融沉积成型方法成形了连续碳纤维增强尼龙复合材料蜂窝芯材,并对不同测试方向的静态单轴压缩特性进行了表征分析,着重关注不同测试方向熔融沉积成形蜂窝芯材平面静态压缩破碎行为和能量吸收行为,并与纯聚合物基体进行对比。结果表明:X_1方向的压缩平台区域的力-位移曲线更加平滑稳定,且载荷值稍高于X_2方向,因此X_1方向更适用于能量吸收应用;此外,连续纤维的增强作用可使蜂窝芯材的平台载荷值得到明显提升。研究结果为连续纤维增强聚合物复合材料的空间增材制造提供理论基础。     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

Coactive design of explainable agent-based task planning and deep reinforcement learning for human-UAVs teamwork

Unmanned Aerial Vehicles (UAVs) are useful in dangerous and dynamic tasks such as search-and-rescue, forest surveillance, and anti-terrorist operations. These tasks can be solved better through the collaboration of multiple UAVs under human supervision. However, it is still difficult for human to monitor, understand, predict and control the behaviors of the UAVs due to the task complexity as well as the black-box machine learning and planning algorithms being used. In this paper, the coactive design method is adopted to analyze the cognitive capabilities required for the tasks and design the interdependencies among the heterogeneous teammates of UAVs or human for coherent collaboration. Then, an agent-based task planner is proposed to automatically decompose a complex task into a sequence of explainable subtasks under constrains of resources, execution time, social rules and costs. Besides, a deep reinforcement learning approach is designed for the UAVs to learn optimal policies of a flocking behavior and a path planner that are easy for the human operator to understand and control. Finally, a mixed-initiative action selection mechanism is used to evaluate the learned policies as well as the human’s decisions. Experimental results demonstrate the effectiveness of the proposed methods.     

再入飞行器自适应最优姿态控制

针对再入飞行器姿态控制问题，应用自适应动态规划（ADP）理论设计了姿态控制器。将再入飞行器的姿态控制建模为非线性系统的最优控制问题，提出单网络积分型强化学习（SNIRL）算法进行求解，该算法简化了积分型强化学习（IRL）算法在迭代计算中的执行-评价双网络结构，只需要采用评价网络估计值函数就可以求得最优控制律，其收敛性得到了理论证明。基于SNIRL算法设计了自适应最优控制器，并证明了闭环系统的稳定性。通过数值仿真校验了SNIRL算法比IRL算法计算效率更高，收敛速度更快，并校验了自适应最优姿态控制器的有效性 。     

基于DDPG-PID的机器人动态目标跟踪与避障控制研究

针对机器人在动态复杂环境下的操作问题,研究机械臂跟踪运动目标及避障的运动控制方法。采用传统PID控制方法与DDPG强化学习算法相结合的方式,利用PID控制使得机械臂的工作平面快速接近目标物并与之重合,再使用DDPG算法让机械臂在平面内自主学习追踪目标物投影同时避开障碍物投影,最终在三维空间中实现跟踪与避障。该方法将机械臂作为一个智能体,智能体通过感知目标物和障碍物的距离偏差来自主学习避障跟踪策略。将本方法用于多自由度机械臂路径规划与避障任务中,对比单纯使用DDPG算法将机械臂作为智能体在空间中进行决策控制,仿真结果显示本文所提出的方法收敛效果和控制性能更好,机械臂能在训练后实现目标物的稳定跟踪和障碍物的躲避。     

基于切削热-力耦合效应的表面强化技术及其工艺试验研究

经过对超高强度钢工件高速切削加工表面质量的系统研究,发现在某种特定的切削条件下,工件表面质量将会发生显著改变.该变化不仅表现为表面特征的大幅改善,如表面粗糙度可以控制在0.4μm以下,无宏观裂纹发生等,还表现为表层及次表层显微硬度的明显提高、最大残余压应力深度的大幅增加(达到0.35 mm)以及表面耐磨性能的显著增强等.研究结果表明,合理的切削工艺将极有可能成为一种能够在获得工件结构形状与精度指标的同时,对加工表面表层、次表层的组织特性与工件使用性能产生积极影响的表面强化手段.     

基于分层式强化学习的移动机器人导航控制

针对未知环境下的移动机器人导航问题,本文提出了一种基于分层式强化学习的混合式控制方法。利用栅格-拓扑相结合的环境表示及地图学习方法,通过分层式强化学习在不同控制层次的扩展设计移动机器人的反应式和慎思式导航控制,实现了全局导航和局部导航控制的协调优化。实验及测试结果证明,该控制方法能实现导航任务的全局优化,避免陷入局部极小,并对未知动态环境具有较强的适应性。     

元强化学习综述

元强化学习是指自动从一组相关任务中学习强化学习所需归纳偏置的相关理论和方法,对于提高强化学习算法在困难场景下的样本效率和泛化能力具有重要用途。本文提出一种新的元强化学习框架,指出设计和分析一个元强化学习算法需要同时考虑学习经验（相关任务）、归纳偏置及学习目标3个独立因素及这3个因素之间的依赖关系。在此基础上对该领域的研究现状进行了分析和总结,特别对近年来元强化学习若干文献进行了分析和归类,并详细阐述了几种代表性算法的原理及各自特点。本文还对元强化学习常用的实验环境和性能评价方法进行了介绍,对该领域的不足和未来的发展方向进行了讨论和分析。     

高性能纤维增强树脂基复合材料3D打印及其应用探索

纤维增强树脂基复合材料具有优异的力学性能,能够实现轻质、高性能结构的制造,但传统的成型工艺过程复杂、成本高,难以实现纤维回收利用,限制了纤维增强树脂基复合材料的广泛应用.3D打印技术是一种新兴的零件成形工艺,将3D打印技术应用于纤维增强树脂基复合材料的制造,为实现复合材料低成本、绿色制造提供了可能性.综述了纤维增强树脂基复合材料3D打印技术研究的发展现状,提出了一种高性能连续纤维增强热塑性复合材料3D打印工艺及其回收再制造策略.