一种基于FPGA的深度神经网络硬件加速器系统

深度神经网络目标检测算法计算复杂度高、模型复杂,对硬件平台的算力有很高需求,针对以上问题,设计了一种基于现场可编程门阵列(field programmable gate array, FPGA)芯片的硬件专用加速器.通过软硬件协同方法,设计具有高并行度及深度流水的片上架构,并使用模型量化、结构优化等方法对神经网络模型进行优化.在所设计的加速器系统中进行神经网络目标检测算法的部署,实现了高数据吞吐率、低功率消耗的FPGA神经网络计算,且模型精度损失低于1.2%,为在低能耗嵌入式平台上部署深度神经网络目标检测算法提供了有效解决方案,可广泛应用于机载、星载智能计算设备.     

基于3D-Winograd的快速卷积算法设计及FPGA实现

近年来,卷积神经网络（CNN）已被计算机视觉任务广泛采用。由于FPGA的高性能、能效和可重新配置性,已被认为是最有前途的CNN硬件加速器,但是受FPGA计算能力、存储资源的限制,基于传统Winograd算法计算三维卷积的FPGA解决方案性能还有提升的空间。首先,研究了适用于三维运算的Winograd算法一维展开过程;然后,通过增加一次性输入特征图和卷积块的维度大小、低比特量化权重和输入数据等方法改善CNN在FPGA上的运行性能。优化思路包括使用移位代替部分除法的方法、分tile方案、二维到三维扩展及低比特量化等4个部分。相对传统的二维Winograd算法,优化算法每个卷积层的时钟周期数减少了7倍左右,相较传统滑窗卷积算法平均每个卷积层减少7倍左右。通过研究,证明了基于一维展开的3D-Winograd算法可以大大减少运算复杂度,并改善在FPGA运行CNN的性能。      

专用指令集在基于FPGA的神经网络加速器中的应用#br#

近年来，表现出极其优越性能的神经网络算法对硬件算力的要求逐渐提高.在一些低功耗场景如星载系统中，拥有可编程重构、高并行等特性的FPGA是神经网络算法较为合适的硬件加速平台.为了解决传统神经网络硬件加速器设计中片内资源消耗大、各功能模块耦合性高等问题，设计实现了一套专用AI指令集并应用在了基于FPGA的神经网络加速器的设计中.文章首先介绍了该指令集的设计方案.整个指令集由指令寄存器、指令解释器、指令转发模块、内存管理单元和多个模块构成.通过该指令集可实现对不同模块的复用，降低模块之间的耦合性.并以YOLOV3 Tiny网络模型为例，对比了平铺式和指令控制式两种加速方案的逻辑资源的消耗.验证了应用专用指令集可以减少约50%的FPGA逻辑资源的使用.     

基于GCF-SB视觉注意模型的红外目标检测算法

针对复杂背景、低对比度条件下的红外目标检测,提出了一种基于灰度对比度特征 相似性贝叶斯(GCF SB)模型的红外显著性目标检测算法.建立了一种灰度对比度特征(GCF)模型,该模型利用两个通道分别提取红外图像的灰度特征和对比度特征,然后通过特征融合获得初级显著图;建立了一种基于相似性的贝叶斯(SB)模型,该模型根据初级特征图分别计算目标和背景的先验概率和似然函数,然后利用贝叶斯公式获得最终显著图,进而实现红外图像的显著性目标检测.实验结果表明,所提出算法能够有效抑制复杂背景、低对比度红外图像的噪声,增强对比度,具有较高的检测精度和鲁棒性.     

面向天基监视的红外弱小飞行目标识别算法

针对当前红外弱小飞行目标特征不明显、背景干扰大等问题,提出了一种基于深度学习的红外弱小目标识别算法。检测框架以YOLOv4模型为基础,通过使用K-means++算法对训练集的候选框进行聚类处理,在初始大小的选取上放弃随机生成初始点的方式,在样本集里选取某一个样本作为初始中心使锚框（anchor）大小的选取更加合理。在模型结构中引入卷积注意力模块,使算法模型计算资源分配更合理,对红外弱小飞行目标的特征信息更加敏感。改进空间金字塔池化模块,使用平均池化可以更多保留图像的原始信息,降低天基成像中的噪点与坏点的影响。仿真实验表明采用K-means++计算Anchor大小时准确率可以达到80.13%,在加入了SPP和CBAM模块后之后在测试集上算法识别准确率达到了83.3%,经过对模型的修改有效提升了对红外弱小飞行目标识别的准确率。     

基于混合深度特征的红外目标抗干扰识别算法

复杂干扰条件下的红外空中目标识别技术是空战对抗领域的热点研究课题,复杂人工干扰严重遮蔽目标,导致目标特征的连续性与显著性遭到破坏,无法全面描述识别对象的特性,造成空中目标识别准确率下降。针对此问题,提出一种基于图像混合深度特征的空中目标抗干扰识别算法。首先,基于卷积神经网络进行图像深度特征的提取,将深度特征与梯度直方图(Histogram of Gradient, HOG)特征进行有效融合,构建混合深度特征。针对作战场景中的目标与干扰的对抗态势多样性,将支持向量机的二分类模型改进为三分类模型,对目标、干扰以及目标干扰粘连三种状态进行精确分类。实验结果表明：在复杂干扰环境下,基于混合深度特征的空中目标抗干扰识别算法正确率为92.29%,该算法可以有效地解决目标被干扰遮蔽、形成目标干扰粘连状态时的抗干扰识别问题。     

基于嵌入式FPGA加速ORB算法的遥感影像配准方法

卫星上计算资源有限,星载嵌入式处理器处理遥感影像的配准时通常需要很长的时间。可编程逻辑门阵列（FPGA）利用其内部可编程器件可用于加速图像处理。提出了一种基于Xilinx公司的ZYNQ芯片加速ORB算法的遥感影像配准方法,可用于3000×3000像素尺寸的卫星图像配准,缩短了计算耗时,提升了ORB算法的计算能效比。利用FPGA能够实现真正的并行计算电路,实现ORB算法多支路单层流水线的并行计算结构。采用软硬件结合的方法实现架构,能够处理不同分辨率的图像,可灵活配置特征点的数量。基于设计的加速ORB配准方法,获得了较高准确率。与软件实现相比,OVS-1A遥感影像偏移精度损失低于0.05个像元;GF.4遥感影像偏移精度损失小于0.9个像元。将ORB配准算法流程应用在ZYNQ7020上,耗时减少了57.50%。     

CCSDS-RS(255,223)码高速译码器的硬件实现研究

研究了空间通信用高速Reed-Solomon(255,223)码硬判决译码器的FPGA实现方法,提出一种新的纠错算法实现结构以最大程度提高译码器性能。设计中采用RiBM算法求解关键方程,并通过应用高速比特并行乘法器以及流水线和并行处理方法提高译码通过率。综合和测试验证结果显示,该译码器译码通过速率为1.7Gbit/s,译码延迟为296个时钟周期,优于目前同类型的RS译码器性能指标。     

一种基于FPGA的图像自动增强算法与实现

图像灰度分布不均匀是影响画质的重要因素，集中表现在对空间场景成像时，图像中存在大量过亮或过暗的区域.同时，算法的实时性和嵌入式平台的可实现性是设计实现空间应用载荷需要着重考虑的问题.针对上述问题，提出一种适合于FPGA实现的图像自动增强算法.算法以分段线性变换方法为基础，采用K均值聚类对视频图像的灰度直方图进行动态的区间划分；构建分段函数系数与直方图之间的定量关系，自动计算线性变换系数；采用高效的并行流水线结构设计，实现了基于FPGA的硬件处理系统.仿真和成像试验结果表明，该FPGA硬件系统实时性好，适应性强，针对不同的场景均取得较好的处理效果，具有广阔的应用前景.      

基于深度学习的大型陨石坑识别方法研究

陨石坑是天体表面最为显著的地形特征,传统陨石坑识别方法主要是对小型陨石坑正负样本的二分类问题研究,且效率和精度均不高。以星体宏观视角下的大型陨石坑作为研究对象,结合图像处理和神经网络等方面的知识,创建了来自不同数据源的陨石坑样本数据库,研究了数据源对网络模型泛化能力的影响,提出了一种效率更高的陨石坑多分类识别方法。在非极大值抑制（NMS）算法基础上,提出了一种精度更高的陨石坑检测算法。经过参数优化和实验验证,构建的基于深度学习的多尺度多分类陨石坑自动识别网络框架取得了较高的准确率,在同源验证集上识别率可达0.985,在异源验证集上识别率可达0.863,并且有效改善了目标检测时检测框冗余及误检测的问题。      

基于视频帧间运动估计的无人机图像车辆检测

基于人工智能(AI)芯片搭建轻量化深度神经网络,可以在无人机(UAV)机载端实现视频中车辆目标的自动检测,具有重要的应用前景。为此,提出了一种针对无人机图像车辆目标的检测方法,并在AI芯片上进行部署与测试。方法具体包括:结合无人机图像中车辆目标的尺寸范围,对MobileNet-SSD网络进行裁剪,构建轻量化单帧图像检测器;为解决小目标特性在轻量网络框架下引发的检测性能下降问题,引入帧间运动矢量估计,根据相邻帧信息辅助预测当前帧丢失目标的位置范围,并利用检测结果进行修正,实现丢失目标的再召回。通过对多个数据集进行融合与自动补充标注,搭建了一个高质量的无人机图像车辆目标数据集;同时将方法在基于RK3399芯片计算的嵌入式开发平台上进行实验验证,结果表明:搭建的网络能够显著减少存储资源占用,具有轻量化的特点;同时相比于单帧检测法,引入视频帧间运动估计方法可以有效提高检测精度,并在AI芯片上实现125.3 ms/帧的检测速度。      

资源受限嵌入式机电控制系统功耗感知调度

针对嵌入式机电控制系统的能耗受限问题,提出了一种基于功耗感知和反馈调度的能耗管理方法.研究了嵌入式机电控制系统的静态功耗调度模型,提出了一种基于控制代价和系统能耗的联合优化指标,并给出了其优化解.针对在动态调度模型下运算开销大,难以在线实现的问题,采用智能计算方法逼近优化结果.对比了4种智能计算方法的逼近精度和调度开销,采用小波神经网络逼近优化结果.仿真的结果表明:该方法在保证了控制性能的同时,降低了调度开销和系统能耗.      

应用于智能芯片的可视化反馈系统研究

当前，市场上普遍使用的负责推理的终端人工智能（AI）芯片使用训练好的参数对数据进行快速高效运算。但在通常训练过程中使用的数据集和真实数据的分布不一致，由此获得的参数会导致终端AI芯片识别准确度降低。为此，提出了一种基于终端AI芯片的可视化反馈系统架构方法。使用反卷积特征可视化方法，在具有高效计算性能的终端AI芯片上，对卷积核参数进行迭代优化，达到可识别该图像目的。相比于CPU/GPU和FPGA，所提架构在卷积神经网络模型里，更具有高效处理能力和灵活可塑性。实验表明，该研究有效提高了终端AI芯片的普适性、识别准确度和处理效率。      

基于EfficientDet的无预训练SAR图像船舶检测器

针对多尺度、多场景的合成孔径雷达(SAR)图像船舶检测问题,提出了一种基于EfficientDet的无预训练目标检测器。现有的基于卷积神经网络的SAR图像船舶检测器并没有表现出其应有的出色性能。重要原因之一是依赖分类任务的预训练模型,没有有效的方法来解决SAR图像与自然场景图像之间存在的差异性;另一个重要原因是没有充分利用卷积神经网络各层的信息,特征融合能力不够强,难以处理包括海上和近海在内的多场景船舶检测,尤其是无法排除近海复杂背景的干扰。SED就这2个方面改进方法,在公开SAR船舶检测数据集上进行实验,检测精度指标平均准确率(AP)达到94.2%,与经典的深度学习检测器对比,超过最优的RetineNet模型1.3%,在模型大小、算力消耗和检测速度之间达到平衡,验证了所提模型在多场景条件下多尺度SAR图像船舶检测具有优异的性能。      

面向智能电网嵌入式设备的网络威胁动态评估方法

针对智能电网嵌入式设备由于计算、存储资源有限而造成的对网络攻击行为应对不足，安全评估手段薄弱等问题，提出了面向智能电网嵌入式设备的网络攻击行为动态评估方法。使用安全控制模块对实际嵌入式设备通信数据流进行解析与判别，利用组件动态可信度量分析方法在嵌入式系统模拟机中对攻击行为安全影响进行安全检测评估，通过对平台配置属性、平台运行属性及用户认证属性3个方面属性进行全过程动态综合度量，得出最终网络攻击行为安全评估结果。通过在配电自动化及用电信息采集系统真实环境下进行测试，针对嵌入式设备常见的攻击行为，检测方法的准确率能够达到90%以上，具备较好的安全评估精度，与此同时实现了自身安全性的有效提升。      

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

运动信息引导的目标检测算法

在室外监控视频的场景下,由于场景的复杂性及目标的多样性,监控视频中的目标存在难以检测的情况,如目标被遮挡、目标尺寸变化等,目标检测任务仍然存在挑战。基于此,提出了一种利用运动信息引导基于卷积神经网络的目标检测算法来提高目标检测的准确率。对运动目标检测算法进行一定的改进,使得到的运动前景图中能够保持静止目标前景的存在;利用运动前景图中的前景可以指示目标空间位置的特点,在特征层面将网络提取的特征图与获取的以运动前景图为主的运动信息相融合,提高特征图可能存在目标区域的响应值;在目标检测算法的检测器中,引入一个定位分支,利用视频帧的运动前景图,学习候选目标的定位置信度,并与目标的分类置信度加权求和,作为目标最终的置信度,再通过非极大值抑制方法得到检测结果。实验证明,在固定摄像机下采集的数据集中,所提算法能够提升目标检测的准确率。