四足机器人研究综述

凭借对恶劣地形的强适应性，四足机器人已经成为当今移动机器人研究的热点，其研究深具社会意义和实用价值。阐述了四足机器人的发展及研究现状,以具有代表性的四足机器人为据，从结构设计、控制方法和环境感知技术三个方面综合介绍了四足机器人系统,总结了四足机器人的关键技术及主要问题，最后给出了具有前瞻性的结论。     

飞机表面爬行机器人轨迹跟踪控制方法研究

针对飞机蒙皮铆钉缺陷无损检测移动机器人进行了运动学和动力学建模,并且基于该移动机器人的模型,设计了双闭环轨迹线性化控制器(trajectory linearization control,TLC)。同时设计了逻辑控制算法保证机器人运动轴在达到完整约束临界点时进行状态切换。该方法解决了在飞机特殊表面环境下,对基于X-Y平台的新型爬行机器人如何完成轨迹跟踪控制的问题。实验结果表明,该控制器具有较好的动态性能,能够在满足系统实时性要求的前提下实现爬行机器人距离精确性和速度稳定性控制。     

强化学习方法在翼型拍动实验中的应用

将深度强化学习方法应用于水洞实验，实现了实验室内的自动闭环优化框架，并用该框架优化了雷诺数Re=1.3×104下纯俯仰运动的NACA0012翼型模型的推进效率。现有的相关研究往往将运动模式限制为某种周期性函数，具有局限性。借助于强化学习方法，实现了在更广的非周期动作空间中的动作搜索。在实验中，模型自动地与水洞环境进行交互，最终学习到了高效推进的非周期运动策略。另外，通过修改奖励函数，实现了在给定推力阈值以上的效率优化。研究结果显示，强化学习模型可以在实验过程中通过不断调整拍动动作的幅度和频率来实现推进效率的持续提升，并且最终通过强化学习方法获得的最优拍动动作均与正弦拍动动作接近，得到的最优推进效率基本位于同等幅度正弦动作效率的上边界。研究展示了强化学习方法用于复杂流动控制问题的可行性。     

航空发动机神经网络反步控制方法

针对航空发动机非线性和不确定性的特点,提出了一种基于神经网络的反步控制方法.采用径向基神经网络估计未知系统方程,并用一种平滑切换法有效避免了控制器奇异问题.反步法的设计基于Lya-punov稳定性原理,保证了闭环系统一致渐近有界.最后针对某型涡扇发动机非线性模型设计了高压转速控制器,仿真结果验证了该方法的有效性.      

基于深度强化学习算法的空间站任务重规划方法

针对空间站短期任务重规划问题规划周期短、实时性约束多、约束传播复杂的特点,结合深度强化学习在智能学习和决策上的优势,提出了适用于深度强化学习的空间站任务状态空间编码方式,实现了基于深度确定性策略梯度算法的空间站任务重规划方法。该方法可以通过学习,自主化解约束冲突,摆脱人为预先设定约束冲突化解策略的限制。仿真分析表明:该方法可以通过算法本身不断地学习进化,找到空间站任务重规划问题的近似最优解,相比于传统解决方法,具有很强的智能性和适应性,为解决空间站任务规划问题提供了新思路。     

单自由度有限循环行走机构运动控制及参数识别

针对机器人物理参数的辨识会对目标状态控制产生影响的问题,设计了一种基于模型的反馈控制器,以克服物理参数辨识误差从而实现目标速度的有限循环行走。首先,设计一种组合式无框轮,通过动态规划运动方程进行反馈控制。其次,当假定物理参数未知并改为使用预测参数时,进行数值模拟以分析目标的行走速度和其他属性。控制器具有一定的预测误差适应性,所实现的运动速度与目标速度的误差可以控制在0.001%,通过提出的神经网络模型预测物理参数,预测参数的平均误差为1.1%。     

基于ADAMS平台的四足机器人越障仿真与测试

针对四足机器人在静步态行走过程中面对非平坦路面上障碍物的情况,提出一套完整的四足机器人翻越障碍物的步态理论分析方法,同时使用ADAMS虚拟样机软件对该步态进行运动仿真与测试。文中详细叙述了机器人膝关节与髋关节的运动轨迹规划,将规划的轨迹离散化后导入ADAMS和利用ADAMS/PostProcessor得到仿真测试结果。该研究通过虚拟样机平台弥补了前期客观条件限制下的测试局限,测试结果验证了四足机器人翻越障碍物的理论分析。四足机器人翻越障碍物的步态理论对未来四足机器人实物样机的设计和制造工作有着指导意义。     

基于深度强化学习的无人机栖落机动控制策略设计

无人机栖落机动飞行是一种无需跑道的降落方法，能够提升无人机在复杂环境下执行任务的适应能力。针对具有高非线性、多约束特性的无人机栖落机动过程，提出了一种基于模仿深度强化学习的控制策略设计方法。首先，建立了固定翼无人机栖落机动的纵向非线性动力学模型，并设计了无人机栖落机动的强化学习环境。其次，针对栖落机动状态动作空间大的特点，为了提高探索效率，通过模仿专家经验的方法对系统进行预训练。然后，以模仿学习得到的权重为基础，采用近端策略优化方法学习构建无人机栖落机动的神经网络控制器。最后，通过仿真验证了上述控制策略设计方法的有效性。     

一种多旋翼多功能空中机器人及其腿式壁面行走运动规划

 提出了一种既可实现飞行功能又可实现壁面运动的多旋翼多功能空中机器人。设计了机器人的结构,分析了其工作原理,研究了机器人腿式壁面行走模式下腿/足与壁面接触时的机体动力学。结合多旋翼推进的机理对机器人在壁面运动模式下的步态进行了规划,基于非线性轨迹线性化控制(TLC)法设计了空中机器人在步态过程中的姿态稳定控制器。在MATLAB环境下对机器人的腿式壁面运动进行了仿真分析研究,仿真结果表明了所设计的步态及其稳定控制方法的可行性。     

电液力伺服系统的神经网络并行自适应预测 PI 控制

考虑电液伺服系统的复杂非线性和不确定性特性,提出一类基于神经网络的并行自适应预测PI控制结构,该结构使控制参数的调整和系统的实时控制操作可并行进行,不仅做到了神经模型和控制器的在线辨识和设计,而且避免了神经网络方法通常存在的实时控制的困难,使复杂系统的在线学习控制成为可能。仿真结果表明该控制器具有良好的适应性和鲁棒性。      

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

Kinematics-based four-state trajectory tracking control of a spherical mobile robot driven by a 2-DOF pendulum

Spherical mobile robot has compact structure, remarkable stability, and flexible motion,which make it have many advantages over traditional mobile robots when applied in those unmanned environments, such as outer planets. However, spherical mobile robot is a special highly under-actuated nonholonomic system, which cannot be transformed to the classic chained form. At present, there has not been a kinematics-based trajectory tracking controller which could track both the position states and the attitude states of a spherical mobile robot. In this paper, the four-state(two position states and two attitude states) trajectory tracking control of a type of spherical mobile robot driven by a 2-DOF pendulum was studied. A controller based on the shunting model of neurodynamics and the kinematic model was deduced, and its stability was demonstrated with Lyapunov's direct method. The control priorities of the four states were allocated according to the magnification of each state tracking error in order to firstly ensure the correct tracking of the position states. The outputs(motor speeds) of the controller were regulated according to the maximum speeds and the maximum accelerations of the actuation motors in order to solve the speed jump problem caused by initial state errors, and continuous and bounded outputs were obtained. The effectiveness including the anti-interference ability of the proposed trajectory tracking controller was verified through MATLAB simulations.     

空间机器人深度学习识别捕获部位的应用探讨

针对空间机器人对捕获部位识别方法的普适性、实时性和准确性等要求，提出了采用深度学习方法对空间机器人捕获目标的特征部位进行识别。通过比较分析方法、数据驱动方法等传统识别方法和深度学习方法的优缺点，发现深度学习方法对于解决空间机器人捕获部位识别问题具有显著优势。进一步分析了应用深度学习方法解决捕获部位识别问题的几个关键技术问题，为后续空间机器人在轨捕获目标的研究与实践提供了新的思路。     

机器人在轨装配无标定视觉伺服对准方法

针对在轨装配过程中机器人"手眼"关系无法进行有效标定及机器人系统和被操作物惯性参数不定的情况,在传统的无标定视觉伺服基础上设计了深度估计器,基于机器人和图像运动的测量数据在线估计目标特征的深度值,并在机器人关节控制环中设计滑模控制器实时控制机器人关节运动,根据反馈图像信息纠正系统误差完成对准跟踪,通过仿真验证了方法的有效性。所提的无标定视觉伺服对准方法使机器人在装配过程中免去了复杂的"手眼"关系的标定程序,克服了机器人系统及被操作物惯性参数不确定性给装配精度造成的影响,提高了"手眼协调"的鲁棒性,保证机器人能够在复杂的太空环境下完成在轨装配任务。     

基于分支深度强化学习的非合作目标追逃博弈策略求解

为解决航天器与非合作目标的空间交会问题,缓解深度强化学习在连续空间的应用限制,提出了一种基于分支深度强化学习的追逃博弈算法,以获得与非合作目标的空间交会策略。对于非合作目标的空间交会最优控制,运用微分对策描述为连续推力作用下的追逃博弈问题;为避免传统深度强化学习应对连续空间存在维数灾难问题,通过构建模糊推理模型来表征连续空间,提出了一种具有多组并行神经网络和共享决策模块的分支深度强化学习架构。实现了最优控制与博弈论的结合,有效解决了微分对策模型高度非线性且难于利用经典最优控制理论进行求解的难题,进一步提升了深度强化学习对离散行为的学习能力,并通过算例仿真检验了该算法的有效性。     

基于DQN的反舰导弹火力分配方法研究

反舰导弹作为海上作战的主战武器，由于其精度高、射程远、威力大等特性长期以来一直被当作舰艇编队的主要防御对象。针对反舰导弹打击舰艇编队的火力分配问题，我们提出了一种基于深度Q值网络求解反舰导弹火力分配策略的算法。不同于现有的基于领域知识的方法，深度Q值网络无需依赖任何先验信息，就能够通过与模拟器的交互自动求解最佳的攻击策略。该算法使用深度神经网络拟合Q值函数，解决了传统强化学习中的状态空间过大无法遍历的问题。实验结果表明，在各种不同的舰队防御配置下，深度Q值网络求解得到的攻击策略均获得了最佳的毁伤效果。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。