基于ADDPG策略的超立方体卫星编队控制

针对大规模卫星高精度编队控制问题，提出了一种基于吸引法则的深度确定性策略梯度控制方法(attraction-based deep deterministic policy gradient, ADDPG)。首先阐述了超立方体拓扑编队拓扑构型特性，建立了卫星编队动力学模型，设计了超立方体卫星编队虚拟中心用于衡量编队整体飞行状态。为解决无模型深度强化学习的探索和扩展平衡问题，设计了ε-imitation动作选择策略方法，最终提出了基于ADDPG的卫星编队控制策略。算法不依赖于环境模型，通过充分利用已有信息，可以降低学习模型初期探索过程中的盲目试错。仿真结果表明ADDPG策略以较少的能量消耗达到更高的精度，相比知名算法在加快编队收敛速度的同时，误差减少5%以上，能量消耗减少7%以上，验证了算法的有效性。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

基于DRL的巨型星座星地测控链路规划算法

针对巨型星座的星地测控链路规划问题，提出了一种基于深度强化学习的智能规划调度算法。该方法考虑了卫星对于测控站的资源竞争关系和连接关系，设计了环境状态，决策智能体通过感知卫星状态，结合动作选择策略，生成卫星对于测控站的分配方案，并根据反馈的奖励值进行策略的迭代优化。将本算法应用于巨型星座系统的星地测控链路规划任务，仿真结果表明所提出的智能算法可以将测控站天线利用率提升到98%以上，同时有效地降低了天线的切换次数。另外，训练好的模型可以根据未来时刻的星地可视窗口，在30s内快速生成星地测控链路规划方案。