基于A2C算法的低轨星座动态波束资源调度研究

巨型低轨星座为载人飞船、空间站、遥感卫星等用户航天器提供低时延、大容量的通信通道存在波束资源分配优化的难题。针对采用离散时间的深度强化学习A2C(advanced actor-critic)的智能优化框架进行了研究，结合遗传算法中个体和基因概念、形成了可有效满足多用户、动态、并发接入需求的波束资源调度算法。基于仿真分析，提出的算法可在多种典型场景下具有适用性，支持在20 s内完成超过3 000个任务的有效规划，任务成功率不低于91%。通过算法优化实现复杂度的降低，相对传统遗传算法可节约时间45%以上。同时对传统A2C算法框架中的收敛问题进行了优化，解决了传统全连接A2C算法无法收敛的难题，同时相比DQN(deep q-network)算法框架收敛速度提升38%以上。     

基于强化学习的火星无人机状态约束控制

针对火星无人机在恶劣条件下难以实现稳定的飞行和位置控制的问题，提出了一种基于状态约束的连续时间自适应神经网络控制方法，为了达到不分析虚拟控制器可行性条件的效果，引入了可以在没有虚拟控制器可行性条件情况下进行控制的坐标变换。该神经网络采用基于强化学习的自适应跟踪控制，以最小化长期性能值进行估计。虚拟控制器的验证不需要离线计算，使设计参数具有更大的自由度和更大的初始条件。通过对火星无人机的仿真，验证了该控制策略的性能。     

集群多机器人系统建模研究的发展与展望

凭借高效、鲁棒、应用广泛的特性,集群多机器人系统已经成为当今研究的热点课题之一,具有重要的实用价值。首先简述了自顶而下和自底而上两种多机器人系统研究思路的当前研究概况。然后从拟生物集群系统模型引入,进而引出一致性系统模型,针对低阶、高阶、异质、时延等一致性模型进行分析总结,单独阐述了多智能体强化学习系统模型的研究情况,并分别讨论了三种集群多机器人系统自组织建模方法的研究现状与各自存在的问题,总结与分析了集群多机器人系统运动的发生机理。最后,分析了现有集群多机器人系统模型尚待解决的关键问题和面临的挑战,并对其未来发展进行了展望。     

TC4钛合金激光冲击强化数值模拟

采用连续显式动态冲击策略对航空用TC4钛合金进行激光冲击强化数值模拟研究.根据冲击波能量变化曲线确定单次冲击求解时间为3000ns,并分析了应力波传播过程.在此基础上开展多点冲击模拟,分析了功率密度、冲击次数和光斑搭接率对残余应力、应变场的影响.得出增加功率密度对增大表面残余压应力的效果更好;增加冲击次数对增大残余压应...     

矩形涡发生器在翅片管换热器中强化换热研究

翅片管换热器在工业领域广泛应用，对带有矩形涡发生器的翅片管换热器流动与换热特性进行数值模拟研究。对比分析矩形翼涡发生器迎流夹角分别为50°、60°、70°和80°时换热器的传热和流动特性，夹角为60°、70°时的换热性能较高。综合考虑换热能力与压力损失，夹角为60°时换热器的综合性能最好。在迎流夹角为60°前提下，研究涡发生器无量纲结构尺寸为2.25、2、1.75和1.5时换热器的流动和换热性能，涡发生器无量纲尺寸为2时综合性能最佳。     

基于深度强化学习的复杂地形适应机器人设计与实验

针对行星表面轻量化自主探测任务，基于仿生思想设计了一种仿海胆结构的十二足球形机器人，其具备自主改变构型以贴合复杂地形的能力，可实现无倾覆、高容错的全向运动；基于数据驱动方法，对该机器人设计了一种数据高效的无模型强化学习运动策略，可实现无先验知识的从0到1步态训练以及步态的实物样机快速部署。通过在平面地形和非结构化地形中对其进行仿真实验，验证了经过训练的机器人具备自主运动、适应非结构地形等能力；通过与常用基准策略进行对比，证实了本文提出的运动策略具有训练高效、鲁棒性好的优势；最后通过开发原理样机，开展实物实验验证了仿真环境中所生成的步态在真实物理环境中的动力学可行性。     

一种高速可变形飞行器智能变形决策方法

针对一类高速可变形飞行器(HMFV)的变形决策问题，提出一种基于深度确定性策略算法(DDPG)下考虑综合性能指标最优的智能变形决策方法。首先，以一类后掠角可连续变化的高速飞行器为研究对象，给出变形飞行器动力学模型，分析模型特性及变形量与关键气动参数之间的定性关系。其次，基于关键气动数据特征分析，考虑包含气动性能、控制误差在内的综合性能指标，设计一种基于DDPG算法的智能变形决策方案。再者，针对带有标称控制器的HMFV进行变形决策训练，实时获得滑翔过程中不同飞行状态下的最优构型。最后，仿真结果表明所设计的智能变形决策算法收敛效果好，且具备较好的泛化性能。相比于固定外形，可通过变形使得在不同状态下的升阻比保持最优，且与考虑单一决策指标相比，考虑综合指标最优的变形决策可进一步缩小姿态动态跟踪误差。     

基于二维独立均匀分布对抗自编码的模式识别研究

标准对抗自编码模型能够以自监督方式自适应提取输入样本的特征,并通过对抗机制对提取的特征施加特定的先验分布,从该先验分布进行采样输入解码器,则可生成与输入样本近似的样本。但在实际应用中,有时需要生成指定类别的样本;对于模式识别任务,通常还需要对多类别样本的特征进行提取,并强化特征间差异,从而进行聚类分析。针对上述需求,本文提出基于二维独立均匀分布对抗自编码的分析模型。在该模型中,根据类别信息构建二维均匀分布,便于对不同类别的可视化特征进行专属约束,从而强化不同类别特征间的差异;此外,通过自监督与对抗训练,使得对应特定类别信息的均匀分布样本能够生成指定类别的样本。方法经网络公开数据MNIST数据集进行了验证,研究表明,该方法能够利用与类别信息相关的二维独立均匀分布对隐变量进行约束,提高了特征聚类性能,并能够生成指定类别的样本。     

基于ADDPG策略的超立方体卫星编队控制

针对大规模卫星高精度编队控制问题，提出了一种基于吸引法则的深度确定性策略梯度控制方法(attraction-based deep deterministic policy gradient, ADDPG)。首先阐述了超立方体拓扑编队拓扑构型特性，建立了卫星编队动力学模型，设计了超立方体卫星编队虚拟中心用于衡量编队整体飞行状态。为解决无模型深度强化学习的探索和扩展平衡问题，设计了ε-imitation动作选择策略方法，最终提出了基于ADDPG的卫星编队控制策略。算法不依赖于环境模型，通过充分利用已有信息，可以降低学习模型初期探索过程中的盲目试错。仿真结果表明ADDPG策略以较少的能量消耗达到更高的精度，相比知名算法在加快编队收敛速度的同时，误差减少5%以上，能量消耗减少7%以上，验证了算法的有效性。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。