基于副气囊的平流层浮空器高度控制

浮空器悬停或飞行控制设计时,通常将风作为干扰项或阻力,螺旋桨需要消耗大量的能源克服风的阻力,而浮空器携带的能源有限,因此浮空器设计时存在欠能源问题。根据平流层风场的特点,采用副气囊控制浮空器的高度,实现平流层不同高度的风场利用,可以减小浮空器的能源消耗。建立浮空器高度控制模型,采用反步法设计浮空器高度控制器,利用状态观测器对浮空器的模型误差和输入误差进行估计,并进行了仿真分析,证明所设计的控制器能有效控制浮空器的高度。建立浮空器高度控制时其囊体内外压差变化模型,仿真分析表明, 浮空器高度变化后,其囊体最终内外压差与初始压差相同。      

基于平流层风场预测的浮空器轨迹控制

平流层风场环境对浮空器设计和轨迹控制具有重要影响。针对平流层风场建模,以长沙地区2005—2010年的风场数据为例,首先采用本征正交分解（POD）方法对风场数据进行降阶处理;然后分别采用Fourier级数与BP神经网络算法对平流层风场进行预测,并对2种模型的预测精度进行比较分析;最后通过建立临近空间浮空器的动力学模型和高度调控模型,分析2种风场预测模型对浮空器轨迹控制的影响。研究结果表明,相对于Fourier预测模型,基于BP神经网络预测模型的预测精度更高,可信度更强,能够更好地为浮空器飞行轨迹控制提供参考价值。      

基于改进优先经验回放的SAC算法路径规划

为解决智能体在复杂环境下的路径规划问题,提出一种基于改进优先经验回放方法的在线异策略深度强化学习算法模型.该模型采用柔性动作评价算法,通过设计智能体的状态空间、动作空间及奖励函数等实现智能体无碰撞路径规划;利用样本状态优先度与TD误差构建的样本混合优先度的离散度计算样本采样概率,进一步提出基于改进优先经验回放方法的柔性动作评价算法,提高模型学习效率.仿真实验结果验证了提出的改进柔性动作评价算法在各个参数配合下的有效性及改进优先经验回放方法在连续控制任务中模型学习效率的优越性.     

基于D3QN的无人机编队控制技术

针对无人机编队中控制器设计需要基于模型信息，以及无人机智能化程度低等问题，采用深度强化学习解决编队控制问题。针对编队控制问题设计对应强化学习要素，并设计基于深度强化学习对偶双重深度Q网络（D3QN）算法的编队控制器，同时提出一种优先选择策略与多层动作库结合的方法，加快算法收敛速度并使僚机最终能够保持到期望距离。通过仿真将设计的控制器与PID控制器、Backstepping控制器对比，验证D3QN控制器的有效性。仿真结果表明：该控制器可应用于无人机编队，提高僚机智能化程度，自主学习保持到期望距离，且控制器设计无需模型精确信息，为无人机编队智能化控制提供了依据与参考。     

基于ADDPG策略的超立方体卫星编队控制

针对大规模卫星高精度编队控制问题，提出了一种基于吸引法则的深度确定性策略梯度控制方法(attraction-based deep deterministic policy gradient, ADDPG)。首先阐述了超立方体拓扑编队拓扑构型特性，建立了卫星编队动力学模型，设计了超立方体卫星编队虚拟中心用于衡量编队整体飞行状态。为解决无模型深度强化学习的探索和扩展平衡问题，设计了ε-imitation动作选择策略方法，最终提出了基于ADDPG的卫星编队控制策略。算法不依赖于环境模型，通过充分利用已有信息，可以降低学习模型初期探索过程中的盲目试错。仿真结果表明ADDPG策略以较少的能量消耗达到更高的精度，相比知名算法在加快编队收敛速度的同时，误差减少5%以上，能量消耗减少7%以上，验证了算法的有效性。     

基于褶皱的平流层浮空器升空结构形变模拟

平流层浮空器囊体材料具有非线性、黏弹性、各向异性和不能抗压等特点,起皱现象是在升空膨胀过程中必然会出现的形变状态,褶皱的扩展会影响整个囊体结构的受力状态,改变囊体变形和应力分布.同时,褶皱的存在还会影响囊体结构的动力学行为和空间环境下的热力学分布.通过主应力-主应变相结合准则对褶皱区域进行判别,采用修正褶皱单元的本构矩阵方程的方法对褶皱区域进行处理,地面充氦气试验证明了新方法的模拟结果更加接近测试值.从而为平流层浮空器设计提供了一种有效的分析方法.     

基于深度增强学习的卫星姿态控制方法

针对卫星在执行丢弃载荷或捕获目标等复杂任务时遭遇的姿态突然发生变化的问题,采用深度增强学习方法对卫星姿态进行控制,使卫星恢复稳定状态。具体来说,首先搭建飞行器的姿态动力学环境,并将连续的控制力矩输出离散化,然后采用Deep Q Network算法进行卫星自主姿态控制训练,以姿态角速度趋于稳定作为奖励获得离散行为的最优智能输出。仿真试验表明,面向空间卫星姿态控制的深度增强学习算法能够在卫星受到突发随机扰动后稳定卫星姿态,并能有效解决传统PD控制器依赖被控对象质量参数的难题。所提出的方法采用自主学习的方式对卫星姿态进行控制,具有很强的智能性和一定的普适性,在未来卫星执行复杂空间任务中的智能控制方面有着很好的应用潜力。     

临近空间浮空器区域驻留控制策略研究

为了实现临近空间浮空器区域驻留飞行,基于对热环境的分析,建立了带有副气囊高空气球的空气动力学与热力学耦合动力学模型。基于准零风层特殊风场,设计了临近空间浮空器区域驻留飞行控制策略,通过副气囊调节飞行高度,利用准零风层上下纬向风方向相反的特点实现东西方向控制,用螺旋桨控制实现南北方向控制,并利用ECMWF风场数据进行了数值仿真。仿真结果表明,临近空间浮空器可以在纬度41°(N)~43°(N),经度86.5°(E)~87.1°(E)之间的区域范围内飞行7天,证明了利用准零风层风场实现临近空间浮空器区域驻留飞行的可行性。     

基于深度强化学习的航天器多约束规避动作快速规划

航天器规避机动过程中面临多种复杂约束条件,传统基于数值优化的动作规划方法在处理相应模型和约束条件时存在初值敏感、计算时间较长等问题,难以对近距离轨道威胁做出及时反应.针对该问题,本文提出一种基于深度强化学习的航天器多约束规避动作规划方法.建立航天器六自由度非线性动力学模型以及相应姿轨机动约束条件;建立基于双延迟深度确定性策略梯度(TD3)的动作规划方法,通过TD3训练得到的神经网络在线生成满足多种约束条件的规避机动动作;构造与规划方法相适配的深度强化学习规范化训练环境,确保学习训练过程中智能体和环境的有效交互.仿真结果表明,所提方法能在预期交会时间仅数十秒的情况下快速实时生成规避动作,规划周期小于9 ms,远低于作为对比项的高斯伪谱法.     

基于深度强化学习的高超声速飞行器动态面控制方法

针对高超声速飞行器控制问题,通过将深度强化学习与动态面控制方法相结合,设计了智能姿态控制算法。首先,基于模型先验知识,采用传统的动态面控制方法设计控制器结构。然后,考虑跟踪误差和控制量幅值约束的情况下,采用深度学习算法完成对控制器参数的智能寻优,代替传统设计中的人工调参试错过程。为提升训练效果,在奖励函数中引入了控制量变化率。最后,通过数值仿真验证了所设计控制方法的有效性与鲁棒性。     

蒙皮热辐射特性对平流层浮空器氦气温度影响

分析了平流层球形超压浮空器在运行高度所受的各种环境辐射,研究浮空器处于热平衡状态时辐射传热、对流换热的作用规律,建立了浮空器的热平衡模型,分析太阳辐射、地面反照、地面辐射等环境辐照因素对浮空器全天各个时刻蒙皮材料和内部氦气平均温度影响,对比了吸收率、发射率和吸收发射比等辐射参数对浮空器热性能的影响.分析结果表明:具有低吸收发射比的蒙皮材料具有较好的热控效果;对于吸收发射比相同的蒙皮材料,具备低吸收率特性的蒙皮材料热控效果更为明显,更适用于长航时平流层超压浮空器.分析结果对浮空器蒙皮材料选择和总体设计具有指导意义.     

基于PPO的移动平台自主导航

为解决强化学习算法在自主导航任务中动作输出不连续、训练收敛困难等问题,提出了一种基于近似策略优化(PPO)算法的移动平台自主导航方法。在PPO算法的基础上设计了基于正态分布的动作策略函数,解决了移动平台整车线速度和横摆角速度的输出动作连续性问题。设计了一种改进的人工势场算法作为自身位置评价,有效提高强化学习模型在自主导航场景中的收敛速度。针对导航场景设计了模型的网络框架和奖励函数,并在Gazebo仿真环境中进行模型训练,结果表明,引入自身位置评价的模型收敛速度明显提高。将收敛模型移植入真实环境中,验证了所提方法的有效性。     

基于DRL的巨型星座星地测控链路规划算法

针对巨型星座的星地测控链路规划问题，提出了一种基于深度强化学习的智能规划调度算法。该方法考虑了卫星对于测控站的资源竞争关系和连接关系，设计了环境状态，决策智能体通过感知卫星状态，结合动作选择策略，生成卫星对于测控站的分配方案，并根据反馈的奖励值进行策略的迭代优化。将本算法应用于巨型星座系统的星地测控链路规划任务，仿真结果表明所提出的智能算法可以将测控站天线利用率提升到98%以上，同时有效地降低了天线的切换次数。另外，训练好的模型可以根据未来时刻的星地可视窗口，在30s内快速生成星地测控链路规划方案。     

考虑风场条件的一类平流层飞艇返回过程建模与航迹规划研究

对一类气囊内外压差恒定的平流层软式飞艇,在考虑大气密度、温度变化以及大气风场的基础上,建立了飞艇三维空间运动的动力学模型;并针对能量消耗最少和航行时间最短两个指标函数,利用高斯伪谱法设计了飞艇从平流层返回地面的航迹,并对飞艇飞行高度、速度以及推力等状态变化进行分析研究.     

一种基于地转风模型的平流层风场插值方法

平流层风场水平分量的数据精度和密度对高空气球实验的轨迹预测精度和飞行控制精度有着直接的影响。面向平流层风场，提出一种基于地转风模型的插值方法。该方法通过改进科里奥利频率公式，并用二维卷积计算地转风模型，提升了地转风模型的计算效率和低纬度地区风场精度，再用迭代二元线性回归和改进的自适应观测场偏差权重矩阵减小了观测误差对插值结果的影响。实验结果表明:所提插值方法能有效提升平流层风场插值计算速度，并对平流层风场水平分量的插值精度有显著提升。      

基于深度强化学习与扩展卡尔曼滤波相结合的交通信号灯配时方法

深度Q学习网络(DQN)因具有强大的感知能力和决策能力而成为解决交通信号灯配时问题的有效方法，然而外部环境扰动和内部参数波动等原因导致的参数不确定性问题限制了其在交通信号灯配时系统领域的进一步发展。基于此，提出了一种DQN与扩展卡尔曼滤波(EKF)相结合(DQN-EKF)的交通信号灯配时方法。以估计网络的不确定性参数值作为状态变量，包含不确定性参数的目标网络值作为观测变量，结合过程噪声、包含不确定性参数的估计网络值和系统观测噪声构造EKF系统方程，通过EKF的迭代更新求解，得到DQN模型中的最优真实参数估计值，解决DQN模型中的参数不确定性问题。实验结果表明:DQN-EKF配时方法适用于不同的交通环境，并能够有效提高车辆的通行效率。      

基于多智能体强化学习的无人艇集群集结方法

为解决数量不定的同构水面无人艇(USV)集群以期望队形协同集结的问题，提出一种基于多智能体强化学习（MARL）的分布式集群集结控制方法。针对USV通信感知能力约束，建立集群的动态交互图，通过引入二维网格状态特征编码的方法，构建维度不变的智能体观测空间；采用集中式训练和分布式执行的多智能体近端策略优化(MAPPO)强化学习架构，分别设计策略网络和价值网络的状态空间和动作空间，定义收益函数；构建编队集结仿真环境，经过训练，所提方法能有效收敛。仿真结果表明：所提方法在不同期望队形、不同集群数量和部分智能体失效等场景中，均能成功实现快速集结，其灵活性和鲁棒性得到验证。     

基于LADRC的无人机高精度定高控制

针对复杂气流扰动对无人机（UAV）航迹高度控制的影响,对存在复杂气流扰动下的定高控制策略、控制结构和控制器参数优化展开研究,实现高精度高度控制。基于线性自抗扰控制（LADRC）确定总体控制架构,设计扩张状态观测器（ESO）观测估计纵向高度通道和速度通道中存在的总扰动,在控制中引入扰动补偿,减小扰动对系统输出造成的影响。对UAV在飞行过程中存在的大气紊流扰动或离散突风等风干扰分析其功率谱密度,构造考虑风扰动对高度影响、时域响应特性和稳定裕度的综合目标函数,通过粒子群优化算法得到具有高精度、高抗干扰性能的控制器参数,优化中考虑风干扰的功率谱密度分布,减小了控制器参数设计的保守性。通过与常规比例-积分-微分（PID）控制器控制效果进行对比,说明基于线性自抗扰控制器的纵向高度控制的优异性能。      

基于重复自抗扰控制的索网天线振动抑制

为解决索网天线在轨运行过程中的振动抑制问题,提出一种基于重复自抗扰复合控制器的主动振动控制方法。首先,使用有限元法建立天线型面的振动动力学模型,基于模态截断的方法对动力学模型进行降阶并转化为状态空间方程的形式。然后,基于能量最小化准则,使用遗传算法对传感器/作动器的位置进行优化。最后,设计了基于线性自抗扰控制的天线型面振动主动抑制算法,并在此基础上设计前馈重复控制算法,通过对反馈控制周期性误差的学习,提高控制器抑制周期性扰动的能力。仿真结果表明,相比无控状态时,所提出的控制方法可将型面扰动降低97.0%,振动抑制效果优于PID控制器。所设计的控制方法为天线型面的振动控制提供了一种新的技术手段。