信息非完备下多航天器轨道博弈强化学习方法

针对信息非完备约束下航天器轨道博弈难以自主决策的问题，基于多智能体强化学习提出一种多航天器轨道博弈决策方法。首先建立轨道博弈动力学和信息非完备约束。其次建立用于训练和决策的神经网络模型，依据分布式系统架构对网络的输入输出结构进行设计，并引入具有记忆功能的长短期记忆网络(LSTM),根据航天器轨道运动在时间、空间连续的属性，补偿位置、速度测量信息的非完备性。然后采用近端策略优化(PPO)算法开展红蓝左右互搏式学习训练。最后通过三组对比训练实验，验证了所提出的方法在信息非完备约束下能够有效增强学习训练过程的稳定性，并提升任务完成率和降低燃料消耗。     

基于A2C算法的低轨星座动态波束资源调度研究

巨型低轨星座为载人飞船、空间站、遥感卫星等用户航天器提供低时延、大容量的通信通道存在波束资源分配优化的难题。针对采用离散时间的深度强化学习A2C(advanced actor-critic)的智能优化框架进行了研究，结合遗传算法中个体和基因概念、形成了可有效满足多用户、动态、并发接入需求的波束资源调度算法。基于仿真分析，提出的算法可在多种典型场景下具有适用性，支持在20 s内完成超过3 000个任务的有效规划，任务成功率不低于91%。通过算法优化实现复杂度的降低，相对传统遗传算法可节约时间45%以上。同时对传统A2C算法框架中的收敛问题进行了优化，解决了传统全连接A2C算法无法收敛的难题，同时相比DQN(deep q-network)算法框架收敛速度提升38%以上。     

基于强化学习的火星无人机状态约束控制

针对火星无人机在恶劣条件下难以实现稳定的飞行和位置控制的问题，提出了一种基于状态约束的连续时间自适应神经网络控制方法，为了达到不分析虚拟控制器可行性条件的效果，引入了可以在没有虚拟控制器可行性条件情况下进行控制的坐标变换。该神经网络采用基于强化学习的自适应跟踪控制，以最小化长期性能值进行估计。虚拟控制器的验证不需要离线计算，使设计参数具有更大的自由度和更大的初始条件。通过对火星无人机的仿真，验证了该控制策略的性能。     

TC4钛合金激光冲击强化数值模拟

采用连续显式动态冲击策略对航空用TC4钛合金进行激光冲击强化数值模拟研究.根据冲击波能量变化曲线确定单次冲击求解时间为3000ns,并分析了应力波传播过程.在此基础上开展多点冲击模拟,分析了功率密度、冲击次数和光斑搭接率对残余应力、应变场的影响.得出增加功率密度对增大表面残余压应力的效果更好;增加冲击次数对增大残余压应...     

集群多机器人系统建模研究的发展与展望

凭借高效、鲁棒、应用广泛的特性,集群多机器人系统已经成为当今研究的热点课题之一,具有重要的实用价值.首先简述了自顶而下和自底而上两种多机器人系统研究思路的当前研究概况.然后从拟生物集群系统模型引入,进而引出一致性系统模型,针对低阶、高阶、异质、时延等一致性模型进行分析总结,单独阐述了多智能体强化学习系统模型的研究情况,...     

矩形涡发生器在翅片管换热器中强化换热研究

翅片管换热器在工业领域广泛应用，对带有矩形涡发生器的翅片管换热器流动与换热特性进行数值模拟研究。对比分析矩形翼涡发生器迎流夹角分别为50°、60°、70°和80°时换热器的传热和流动特性，夹角为60°、70°时的换热性能较高。综合考虑换热能力与压力损失，夹角为60°时换热器的综合性能最好。在迎流夹角为60°前提下，研究涡发生器无量纲结构尺寸为2.25、2、1.75和1.5时换热器的流动和换热性能，涡发生器无量纲尺寸为2时综合性能最佳。     

基于深度强化学习的复杂地形适应机器人设计与实验

针对行星表面轻量化自主探测任务，基于仿生思想设计了一种仿海胆结构的十二足球形机器人，其具备自主改变构型以贴合复杂地形的能力，可实现无倾覆、高容错的全向运动；基于数据驱动方法，对该机器人设计了一种数据高效的无模型强化学习运动策略，可实现无先验知识的从0到1步态训练以及步态的实物样机快速部署。通过在平面地形和非结构化地形中对其进行仿真实验，验证了经过训练的机器人具备自主运动、适应非结构地形等能力；通过与常用基准策略进行对比，证实了本文提出的运动策略具有训练高效、鲁棒性好的优势；最后通过开发原理样机，开展实物实验验证了仿真环境中所生成的步态在真实物理环境中的动力学可行性。     

基于ADDPG策略的超立方体卫星编队控制

针对大规模卫星高精度编队控制问题，提出了一种基于吸引法则的深度确定性策略梯度控制方法(attraction-based deep deterministic policy gradient, ADDPG)。首先阐述了超立方体拓扑编队拓扑构型特性，建立了卫星编队动力学模型，设计了超立方体卫星编队虚拟中心用于衡量编队整体飞行状态。为解决无模型深度强化学习的探索和扩展平衡问题，设计了ε-imitation动作选择策略方法，最终提出了基于ADDPG的卫星编队控制策略。算法不依赖于环境模型，通过充分利用已有信息，可以降低学习模型初期探索过程中的盲目试错。仿真结果表明ADDPG策略以较少的能量消耗达到更高的精度，相比知名算法在加快编队收敛速度的同时，误差减少5%以上，能量消耗减少7%以上，验证了算法的有效性。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

基于DRL的巨型星座星地测控链路规划算法

针对巨型星座的星地测控链路规划问题，提出了一种基于深度强化学习的智能规划调度算法。该方法考虑了卫星对于测控站的资源竞争关系和连接关系，设计了环境状态，决策智能体通过感知卫星状态，结合动作选择策略，生成卫星对于测控站的分配方案，并根据反馈的奖励值进行策略的迭代优化。将本算法应用于巨型星座系统的星地测控链路规划任务，仿真结果表明所提出的智能算法可以将测控站天线利用率提升到98%以上，同时有效地降低了天线的切换次数。另外，训练好的模型可以根据未来时刻的星地可视窗口，在30s内快速生成星地测控链路规划方案。