国产深度学习推理框架嵌入式适用性研究

随着端侧AI应用的不断丰富及深度学习技术的不断渗入,端侧深度学习模型部署需求日益增长。各机构研发出不同的AI推理框架来实现深度学习模型部署的高性能全景统一目标,通过接入多训练框架利用多硬件资源的方式来进行推理性能的加速。选择四个典型的国产深度学习推理框架,分别从设计原理、落地实现和特殊优化方式三个维度进行介绍与对比,并通过实验验证性能、支持精度、硬件支持这三个衡量指标对比探究四个框架是否适用于航空领域任务需求。