目前,基于通用GPU的边缘计算处理器无法满足日益增长的人工智能处理需求。以搭载有图像识别和分析功能的边缘计算设备为例,其系统功耗和发热量与通用GPU相比有明显增加,不得不通过提升成本扩容设备等方式满足AI处理需求。
量化DNN引擎
为提高AI处理性能并减少系统功耗,Socionext开发了一款采用“量化DNN技术”的专有体系架构,它减少了深度学习所需的参数和激活位。该体系架构将1-bit (binary)、2-bit (ternary) 低比特率技术、传统8-bit技术及公司独创的参数压缩技术结合,以较少的计算资源执行大量计算处理,并减少数据量。
除此以外,Socionext还开发了一种新颖的片上存储技术,可提供高效的数据传输,从而减少深度学习通常所需的大容量片上或外部存储器。
通过结合上述新技术,Socionext将AI芯片及“DNN引擎”原型化,并确认了其功能和性能。 原型化芯片通过“YOLO v3”以不到5W的低功耗及30fps的速度实现了目标检测,其效率是通用GPU的10倍。 此外,该芯片还配备了高性能、低功耗的Arm Cortex-A系列CPU,无需外部处理器即可以单芯片执行整个AI处理。
深度学习软件开发环境
除硬件开发外,Socionext还构建了深度学习软件开发环境,通过结合TensorFlow作为基本框架,允许开发人员用原始低bit位进行量化感知训练(Quantization Aware Training)和训练后量化(Post Training Quantization)。
暂无评论...