面向在轨高效实时图像处理的二值权重沙漏网络加速器设计

为了实现在轨高速实时图像处理,提出了基于多级预测校准机制及查找表方法的二值权重沙漏网络加速器。首先,提出了一种计算架构来统一支持二值权重及多位宽权重卷积计算;其次,提出了多级预测模型来实现可变精度的高效卷积,基于这2种方法可以将网络的计算量降低77.4%,推理速度提升2.3倍。本文针对残差模块中跳转连接造成的存储访问问题,提出了基于模块计算的流水架构,使得片上存储需求及访存操作分别降低了60%和31%,最终在28 nm工艺下完成了硬件后端设计以及性能分析,该加速器的面积为0.7 mm2。在500 MHz工作频率下,功耗为117 mW,功耗效率达到10.15 TOPS/W,与当前主流二值加速器相比提升2个数量级以上。