而如何解决这一问题呢?
目前解决这一问题的方法有几种,较为常见的方法是加大存储带宽,采用高带宽的外部存储,以及从算法入手,设计低比特权重的神经网络。
除此之外,存算一体化也被看做是未来的发展方向,在实现上也分为不同的路径。
其一是SSD中植入计算芯片或者逻辑计算单元,可以被叫做存内处理或者近数据计算,这其实是深度学习的一种应用场景,并非是AI芯片架构的创新。
另一种就是存储和计算完全结合在一起,使用存储的器件单元直接完成计算,比较适合神经网络推理类应用。
而探境科技则另辟蹊径,提出了完全不同的解决方案。
鲁勇提到,并不认同目前存算一体的处理方式,主要原因是成本太高,并不符合市场需求。
“存算一体的处理方式,其实违反了芯片中的成本结构。芯片中,之所以设计和区分片上的缓存SRAM,及片外的DRAM,就是因为如果所有存储都放入芯片内部,成本就大幅上升,会上升几十倍到上百倍。”
因而,抛开将存储全部放入芯片内部的方式,探境科技自创了SFA(Storage First Architecture,简称SFA),即存储优先架构。
不同于常见的解决内存瓶颈的方法,SFA是“以存储调度为核心”的计算架构,数据在存储之间的搬移过程之中就完成了计算,计算对于数据来说只是一种演变。
“与通常计算的先有计算指令然后提供数据相反,SFA架构,存储是我们优先的出发点。考虑数据在搬移过程中做计算,也就是由数据带动计算而非由算子带动数据。”鲁勇进一步解释。