基于深度强化学习的机器人推拨优化装箱问题研究

三维装箱问题是指在满足容积限制、稳定性限制等条件下,将一定数量的物体放入较大容量的箱子中并使空间利用率最大的组合优化问题.三维装箱问题是典型的NP完全问题,通常采用启发式算法规划物体放置的位姿.在使用机器人完成装箱任务时,还要额外考虑机器人操作限制,如机械臂或末端执行器与物体或箱子之间的碰撞、机械臂运动轨迹的规划等,使得部分最优位姿不可行,只能将物体从更高处落下或者将物体放在最优位姿的附近.机器人在抓取、识别和放置时的不确定性也会导致最终放置位置与规划产生偏差.因此,本文提出基于深度强化学习的机器人三维装箱推拨优化方法,以最小化包装箱中物体放置位置的启发式算法分数为目标,通过推拨动作对于已放置的物体位置进行调整、归集,将物体朝角落中压缩,以腾出更多空间,提高装箱空间利用率,减小由于机器人操作不确定性对装箱结果的影响.     

基于深度强化学习的机器人推拨优化装箱问题研究

三维装箱问题是指在满足容积限制、稳定性限制等条件下,将一定数量的物体放入较大容量的箱子中并使空间利用率最大的组合优化问题.三维装箱问题是典型的NP完全问题,通常采用启发式算法规划物体放置的位姿.在使用机器人完成装箱任务时,还要额外考虑机器人操作限制,如机械臂或末端执行器与物体或箱子之间的碰撞、机械臂运动轨迹的规划等,使得部分最优位姿不可行,只能将物体从更高处落下或者将物体放在最优位姿的附近.机器人在抓取、识别和放置时的不确定性也会导致最终放置位置与规划产生偏差.因此,本文提出基于深度强化学习的机器人三维装箱推拨优化方法,以最小化包装箱中物体放置位置的启发式算法分数为目标,通过推拨动作对于已放置的物体位置进行调整、归集,将物体朝角落中压缩,以腾出更多空间,提高装箱空间利用率,减小由于机器人操作不确定性对装箱结果的影响.     

灵巧手滚动操作的运动规划1)

主要研究灵巧手和物体滚动接触时运动规划.首先，介绍了空间物体曲面的表示，在此基础上建立了两刚体点接触时的运动学方程，并由点接触的运动学方程和滚动接触的约束条件得到了两刚体的滚动接触运动方程；然后，由手掌坐标、手指末端坐标、接触坐标和物体坐标之间的位置关系，推导了关节速度和物体速度之间的关系，建立了灵巧手滚动操作的运动方程，并分析了滚动操作中的物理约束、位置约束、速度约束和方向约束及其表示；最后，根据所建立的方程和约束条件对平面滚动操作进行了仿真.     

基于贪心策略的直角坐标机器人动态分拣规划

针对直角坐标机器人在动态分拣过程中顺序规划算法效率低下的问题,提出了一种适用于机器人连续分拣作业的改进贪心策略规划算法。建立直角坐标机器人的运动学模型,确保物体被准确拾取。设计时间窗口,对传送带上的连续运动物体进行区域划分,并应用贪心策略对同一时间窗口内的物体规划分拣顺序。考虑物体存在分拣遗漏的风险,设计评价函数对贪心策略进行改进,增强了所提算法的实用性。设计模拟程序对所提算法进行仿真,并利用搭建的机器人平台开展分拣实验,验证了算法的可行性和有效性。实验表明:所提算法可在机器人实际分拣作业中规划出有效的分拣路径,平均分拣距离和分拣时间均小于顺序规划算法,提高了机器人对平面随机分布的连续运动物体的分拣效率,实时性好,实用性强,对机器人动态分拣场景下的分拣路径优化研究具有一定的指导意义。      

卫星发射对空间碎片环境影响分析

未来航天发射情况直接影响空间碎片环境，必须对其进行合理规划，以维护外空长期可持续发展.利用中国自主建立的空间碎片长期演化模型（SOLEM），结合蒙特卡洛方法，量化分析了空间物体发射数量、发射质量、发射面积等因子对未来空间碎片环境的影响，进一步研究了大型星座造成的未来空间物体碰撞次数和碎片数量的增加.仿真结果可为合理规划未来的航天发射规模提供理论依据.      

基于近似动态规划的目标追踪控制算法

在目标跟踪问题中,针对飞行器控制算法难以适应目标大机动飞行甚至与我方博弈等难度较大任务的问题,提出了基于近似动态规划的目标追踪控制算法。该算法通过使用博弈策略对我方无人机进行训练形成经验,将双方位置等状态作为已知量,滚转方向作为控制量,利用两物体的相对位置得出其特征,并形成近似值函数;最终利用rollout算法进行最优跟踪决策求解,实现对跟踪目标甚至是博弈目标的灵活有效精确跟踪。仿真结果验证了近似动态规划用于控制算法的有效性。      

基于经验的抓取姿态构造及数据手套校正

针对数据手套校正过程中真实人手姿态获取困难、校正模型简单的问题,提出一种基于真实抓取经验的校正数据库构造方法.该算法根据人手生理结构和手套传感器布局建立具有更高运动逼真度的虚拟手运动学模型,实现更为灵活的拇指运动和软手掌效果;在不需要任何外部硬件设备的情况下,将真实抓取经验与最优化理论结合,寻找针对给定三维物体及操作任务的最优抓取姿态,从而构造真实人手姿态数据库;利用最小二乘拟合和闭环迭代算法获得精确的数据手套传感器输出模型.实验结果表明:所提出的姿态构造方法能有效提高数据手套校正效率,且操作过程简单,易于实现自动化校正,适合实际工程应用.     

灵巧手滚动操作的运动规划

主要研究灵巧手和物体滚动接触时运动规划,首先,介绍了空间物体曲面的表示,在此基础上建立了两刚体点接触时的运动学方程,并由点接触的运动学方程和滚动接触的约束条件得到了两刚体的滚动接触运动方程,然后,由于掌坐标,手指末端坐标,接触坐标和物体坐标之间的位置关系,推导了关节速度和物体速度之间的关系,建立了灵巧手滚动操作的运动方程,并分析了滚动操作中的物理约束,位置约束,速度的约束和方向约束及其表示,最后,     

基于改进优先经验回放的SAC算法路径规划

为解决智能体在复杂环境下的路径规划问题,提出一种基于改进优先经验回放方法的在线异策略深度强化学习算法模型.该模型采用柔性动作评价算法,通过设计智能体的状态空间、动作空间及奖励函数等实现智能体无碰撞路径规划;利用样本状态优先度与TD误差构建的样本混合优先度的离散度计算样本采样概率,进一步提出基于改进优先经验回放方法的柔性动作评价算法,提高模型学习效率.仿真实验结果验证了提出的改进柔性动作评价算法在各个参数配合下的有效性及改进优先经验回放方法在连续控制任务中模型学习效率的优越性.     

基于CHC算法的无人机航迹规划方法

利用改进的遗传算法——跨世代异物种重组大变异(CHC, Cross generation Heterogeneous recombination Cataclysmic mutation)算法提出了一种无人机的航迹规划方法.初始种群即初始航线集利用具有启发式信息的搜索算法产生;适应度函数为距离指标与威胁指标的组合形式;选择操作群体为当前群体与上世代群体的群体总和,由于大个体群操作,可以更好地保持遗传多样性;交叉操作采用单点交叉方法,交叉点取为2条航线中距离最近的2个点;变异操作的步骤是:首先在航线中搜索出2个点,然后算出这2个点之间的直线距离与实际航线距离的比值,如果这个比值小于某一阈值则以这2个点为端点重新规划一条航线.由于考虑到了无人机约束条件的限制,从而避免了盲目性且加快了收敛速度.仿真结果表明该方法比基本遗传算法要快而且满足最优条件.      

Design and fabrication of robotic gripper for grasping in minimizing contact force

This paper presents a new method to improve the kinematics of robot gripper for grasping in unstructured environments, such as space operations. The robot gripper is inspired from the human hand and kept the hand design close to the structure of human fingers to provide successful grasping capabilities. The main goal is to improve kinematic structure of gripper to increase the grasping capability of large objects, decrease the contact forces and makes a successful grasp of various objects in unstructured environments. This research will describe the development of a self-adaptive and reconfigurable robotic hand for space operations through mechanical compliance which is versatile, robust and easy to control. Our model contains two fingers, two-link and three-link, with combining a kinematic model of thumb index. Moreover, some experimental tests are performed to examine the effectiveness of the hand-made in real, unstructured tasks. The results represent that the successful grasp range is improved about 30% and the contact forces is reduced approximately 10% for a wide range of target object size. According to the obtained results, the proposed approach provides an accommodative kinematic model which makes the better grasping capability by fingers geometries for a robot gripper.     

基于高斯过程的机器人自适应抓取策略

在机器人抓取作业时,目标物体的位姿经常发生变化。为了使机器人在运动过程中能够适应物体的位姿变化,提出了一种基于高斯过程的机器人自适应抓取策略。该方法建立了从观测空间到关节空间的映射,使机器人从样本中学习,省去了机器人视觉系统的标定和逆运动学求解。首先,拖动机器人抓取物体,记录物体的观测变量和机器人的关节角度;然后,利用记录的样本训练高斯过程模型,实现观测变量和关节角度的关联;最后,当得到新的观测变量时,通过训练的高斯过程模型得到机器人的关节角度。经过训练后,UR3机器人成功抓取了物体。     

一种快速全天星图识别算法

对星敏感器全天识别算法进行了研究,综合考虑三角形匹配识别法和四面体识别法的优缺点,提出一种改进的快速全天星图识别算法.该算法通过优化导航星对角距筛选方法,节省存储空间;同时引入K矢量法用于加快星图识别中角距匹配的速度;在三角形识别不唯一时,引入第四颗观测星进行四面体识别,提高识别成功率;并在三角形识别结束后增加投影验证功能以避免误识别.仿真结果表明,该算法合理有效,可节省存储空间,减小星图识别时间,提高识别正确率,具有很好的实用价值.     

椭圆轨道非合作目标交会接近策略与控制

文章研究了追踪航天器与失控旋转非合作目标航天器在椭圆轨道中的交会接近策略与控制。在接近策略方面,首先,根据目标航天器大致结构设定一个安全的停泊点,使追踪航天器交会至停泊点;其次,通过在停泊点对旋转目标航天器姿态的观测,分析和预测其运动并确定合适的抓捕点位置,设计安全的接近轨迹,使追踪航天器沿着该轨迹接近至理想的抓捕实施点位置。在控制方面,考虑实际系统中的不确定性,只利用两航天器之间相对位置的测量信息,设计基于特征模型的自适应控制方法实现交会接近。最后通过数学仿真模拟整个交会接近过程,验证了文中所提出的接近策略和控制方法。     

动态构造网管中被管对象的可视化扩展

随着互联网规模的不断扩大和网络应用的日益丰富,传统网管已经难以适应对大型、异构、动态变化的网络和种类繁多的网络应用的管理需要.动态构造的网络管理是一种新型的网络管理模式,被管对象的扩展是动态构造网管中的重要组成部分.提出了被管对象的可视化扩展方法.通过在管理人机交互界面上构造一棵MOS(被管对象集)树,并提供一系列的编辑工具,供设备厂商和应用开发商可视化定义其设备和应用所实现的MOS模块.这些模块以具有正确语法格式的MOS文件的形式提交给网管系统,由动态MOS编译将其加载到系统中,系统通过对其的访问实现被管对象和管理功能的关联及扩展.     

Procedure and methodologies for managing the risk of space object reentry

This paper proposes a procedure for managing the risk of reentering space objects and risk assessment methodologies used for the process. The proposed procedure comprises three phases encompassing the whole reentry stages of space objects. Mathematical models for assessing the impact risk of the reentering space objects by utilizing the information available during different risk management phases and the recommended risk analysis results for public communication are presented. The concept of the conditional casualty expectation is proposed as the metric representing the reentry risk and the method to compute its profile is introduced. A case study on the risk management procedure with the dataset on an actual reentry event is conducted to demonstrate the efficacy of the proposed procedure.     

基于ViBE与面向对象分类的视频卫星运动车辆检测

为了提高视频卫星对运动车辆的检测质量，在经典视觉背景提取器(ViBE)算法的基础上，结合遥感的面向对象分类技术，从提升正确检测运动目标数量和抑制虚假运动目标检测数量两个方面着手，提出了一种新的运动车辆检测方法（VOMVD）。首先通过优化ViBE模型参数，尽可能多地获取真实运动目标，但这在一定程度引入了许多的虚假目标。研究继而依据影像上地面小尺度运动目标和道路的依存关系，采用面向对象的分类方法，基于光谱、纹理、空间属性，构建了均值、标准差、卷积核内平均灰度值、卷积核内平均信息熵、面积、长度、紧密度、延伸度等8个特征，用于提取道路信息，以此掩膜ViBE提取的虚假运动目标和伪运动目标。结果表明，基于本研究提出的视频卫星运动目标检测方法较之三帧差分法、ViBE检测方法等，其精度有明显提升。在本研究中，三帧差分法、ViBE和VOMVD对运动目标的检测精度P分别为70.91%，61.49%和85.71%，召回率R分别为84.78%，98.91%和97.83%，F值分别为77.23%，75.83%和91.37%，有效提升了方法对运动目标的检测效果。     

面向低视角场面监视的移动目标速度测量

为构建有效的机场场面视觉监视系统,提出了一种基于特征点持续跟踪与分析的移动目标速度测量方法。首先,利用场面几何特征对摄像机进行标定;然后,基于光流场对图像运动区域的特征点进行持续跟踪,在此基础上通过特征点轨迹聚类区分不同移动目标;最后,根据特征点高度与运动距离完成速度测量。所提方法能够利用机场场面摄像机获取的低视角单目视频图像,对移动目标的运动速度进行准确测量。基于广州白云国际机场的场面运行视频进行了仿真分析,验证了所提方法在低视角速度测量方面的可行性与优势。