从一款全新的嵌入式AI系统看未来DRAM的设计趋势
2021-08-19 12:47:36 未知据了解,华邦电子正在扩建产能,其中位于台湾高雄的新厂投产后,未来每年产出将以15~20%的产能幅度满足客户需求。除了产能方面的布局之外,华邦电子在产品技术方面的布局谋篇,同样具有代表性。
在近日的采访中,华邦电子DRAM产品营销部经理曾一峻介绍说:“在未来一两年,边缘计算将更流行。通常大家都认为AI的模型很大。但其实,行业内正在致力于通过不断的架构优化,来将AI模式缩小,可以说是在准确度可以接受的范围情况下进行极致地压缩化处理。”
在物联网、人工智能、5G、大数据、云计算等新兴技术的驱动下,最近几年,人们的生活品质呈现出明显的快速迭代。尤其是2020年的新冠疫情,及之后的后疫情时代,迅速拓宽和激活了我们全新的生活方式。短视频的崛起,让数据更是呈现指数级增长。这些海量的数据,传统的做法是上传至云端,运用人工智能技术,对数据进行云管理、云托管、云挖掘。不过,随着数据的激增,运算量实在太大,已经面临无法负荷的挑战。解决的办法就是把运算直接转移到终端或是边缘计算。
确实,在终端应用及边缘运算应用的驱动下,AI模型会一直往最佳化,也就是所谓的压缩化方向发展。纵观行业市场产品,不难发现这一趋势变化。如谷歌现在最有名的TensorFlow Lite for Micro Controllers,它可以把AI的神经模型引擎的Weight size压到很低。市面上还有厂商在做优化升级optimize,比如说MobileNetV2-YOLOv3-Nano,它的Weight size已经可以压到3.0MB,甚至Yolo-Fastest可以到1.3MB,Yolo-Fastest-XL也顶多3.5MB。
外挂内存是未来的设计趋势。当前,主芯片厂商在设计内存控制器时推崇的是HyperBus™技术。该技术最早是由Cypress在2014年发表。相较于其他内存IC的传输控制接口, HyperBus™ 接口的特点之一是接脚数低,这使得电路板的布局更简洁, 布线面积也更小。华邦电子因此趋势,也陆续推出相关的HyperRAM™ 系列产品。
据了解,华邦电子自2019年正式推出HyperRAM新型存储产品以来,在内存容量上,现在已经可以提供HyperRAM1.0、HyperRAM2.0、HyperRAM2.0e的系列产品。其中HyperRAM1.0的容量是 32Mb;HyperRAM2.0的容量是64Mb。256Mb HyperRAM 2.0/2.0e分別可支持x8 和x16,在3.0V或1.8V的工作电压之下,HyperRAM 2.0效能皆可达最高工作频率 200MHz,相当于数据传输率 400Mbps。
低功耗、引脚数少和易于设计是华邦电子HyperRAM的主要卖点。对于低功耗,其实对于内存产品来说,这是市场上对该类产品的一个主要诉求。华邦HyperRAM最大的一个亮点就是超低功耗。HyperRAM 2.0e的B/W约为1GB/s,运行功耗低于50微瓦,常温时待机功耗低于70微瓦,如果是超低功耗模式,常温时待机功耗低于35微瓦。
那么如此低的功耗,HyperRAM是如何做到的呢?原来,华邦是在电路上做了一些特别设计。HyperRAM在进入超低功耗模式时,就会关掉所有功耗电源,只保留一些必要性的电路,当然数据会一直被存储。相比传统的待机模式,这种超低功耗模式的唤醒时间势必会更长一些。不过,曾一峻表示,其实目前很多IoT的装置并没有那么多需要急于唤醒的时候,华邦经过与客户沟通发现,目前HyperRAM 超低功耗模式的的唤醒时间没有问题。
至于封装尺寸,HyperRAM的面积相比LPDDR与SDRAM都大大减小,更加易于设计。还有引脚数的部分,HyperRAM的引脚(pin count)很少,目前有两种类型, 8 I/O与16 I/O,16 I/O大概是30 Ball。相对传统LPSDRAM或者SDRAM都是50或60Ball,HyperRAM基本上减少将近一半的引脚数,即小于30个。所以在客户使用方面,不管是PCB 板的面积或者是设计来看,都会更加简单,也可以得到低功耗,频宽上面也没有太多的衰减,符合目前的市场需求。
HyperRAM的应用范围非常广,不仅可以利用HyperRAM存储AI数据,甚至可用来存储视频流或音频流的数据。目前客户端采用HyperRAM的应用市场主要为4G功能手机、智能手表、LTE的物联网模块,以及人工智能物联网设备。如华邦的64Mb HyperRAM不只可以用来存储RTOS,还可以使用在一些很简单的轻智能上,不过不能做到实时图像识别。比如智能水表、智能电表,通常以一秒一张的速度进行图像识别,然后再经过NBIOT去传到中央控制台之后,就可以把数据传输出来。对于不需要进行即时图像解析的应用场景,HyperRAM非常合适。
此外 据介绍,其实现在有很多小型的eFPGA公司把HyperRAM用于Display Buffer,所需容量为32Mb-256Mb。还有WiFi IoT设备中采用HyperRAM,主要是为了提供Data buffer。其实WiFi IoT里面还有放一些ISP(Image Signal Processing,图像信号处理)的功能,以及一些MPU,需要做图像识别(Image Recognition),它对HyperRAM的容量需求比较高,且起跳幅度较大,大概是从64Mb-256Mb。
曾一峻表示,从今年年底到明年开始,可能陆续会有很多导入HyperRAM的设计。如智能音箱、家用摄像头、智能门铃、智能门锁等智能家居应用,以及工业用人机界面,甚至汽车仪表。据介绍,目前在欧洲,已经有将HyperRAM应用于电动自行车的主机上的产品。
不过,整体而言,HyperRAM在微控制器、芯片组制造商方面的被接受度会更高一些。曾一峻介绍说,HyperRAM在微控制器与AI结合的新型应用上会越来越普遍,这也是未来的发展趋势。据介绍,通过目前与华邦合作的客户来看,与HyperRAM相搭配的主要是Cortex-M7或者M55之类的微控制器,或是一些其他的MPU。而应用大概是KWS(Key Word Spotting)或者是简易的图像识别。
比如微控制器,可能需要搭载RTOS功能,或外挂一些WiFi/BT(Blue Tooth),或LTE,甚至还要添加设备端AI(On Device AI)的NPU功能。在添加AI功能的前提下,使用既有的SRAM存储RTOS之后,SRAM的空间就不够大了。而通常Microcontroller里面不会配置高容量的SRAM,因为成本太高。解决的办法就是采用外挂内存的处理方式。目前,虽然主流的智能设备如耳机、蓝牙(BlueTooth)、TWS等,基本采用的还全都是NOR Flash。不过随着衍生性应用需求的增多,为了实现更高阶的应用,就需要更大的内存来实现低延迟(low latency)、语音计算等功能。曾一峻介绍说:“外挂内存就是很好解决办法。这样的产品,可能明年开始就会出现在市场上。”
除了在微控制器领域,华邦还在积极跟MCU以及一些系统厂商进行合作,希望将HyperRAM的生态系统建立起来。因为MCU系统的电路板不会做的很大,需要的引脚数(pin-count)不用太多,所以HyperRAM就是一个很好的选择。曾一峻介绍,目前很多microcontroller或者工业控制部分都希望导入华邦HyperRAM。尤其因为在低频(low frequency)的情况下,microcontroller其实并不需要特殊的DRAM去做控制,一般的GPIO在低时钟频率,如100MHz以下,就可以模拟出HyperRAM控制功能。所以对于microcontroller来讲非常适合采用HyperRAM产品
曾一峻进一步分享说:“HyperRAM可作为工作内存使用,适合AIoT设备的嵌入式AI和图像处理应用。华邦仍在持续对HyperRAM这个产品线做一些研发和企划。2.0e之后是2.0 Plus,这款产品速度将会再次得到大幅度提升。接下来,华邦会将HyperRAM的容量延伸到128Mb甚至256Mb,届时将可以存储更多图像数据或者更多AI模型。并且根据华邦的预期,未来这两三年AIoT的应用会越来越广泛。我们希望在市场的回响越来越好之后,将推出HyperRAM3.0。”
因为目前AI大多将数据存放在终端进行运算,也会有一些AI模型需要存放在终端,通常都是存放在NOR Flash或者是NAND Flash上面。使用情境就是把AI模型快速的从闪存读取出,再传到DRAM/SDRAM 或者HyperRAM做一些运算。所以, “读取速度”成为了很重要的考量点。
如果AI的模型是比较小,容量比较小,NOR Flash其实在小容量读取上是非常快速的,是一个不错的选择。但是如果随着添加的功能越来越多,或者是需要识别的东西越来越复杂的时候,AI模型所占的容量就会比较大。此时,在大容量的情况下,NAND Flash的读取速度相比于NOR Flash更快。所以在这样的使用场景上,就要去可以选择不同容量的NOR搭配不同容量的NAND,同时满足小容量与大容量的快速读取。
华邦SpiStack将NOR芯片和NAND芯片堆叠到一个封装中,例如 64Mb Serial NOR和1Gb QspiNAND芯片堆叠,使设计人员可以灵活地将代码存储在 NOR 芯片中,并将数据存储在NAND芯片。此外,虽然是两个芯片 (NOR+NAND) 的堆栈,但单一封装的SpiStack,在使用上仅需6个信号引脚。
总结来看,华邦的SpiStack拥有三大优点,即硬件兼容、成本优势、质量优良。对于闪存产品,客户永远都会期待它拥有以下三个优点,PCB占地小、成本低、组合多样化。而华邦的SpiStack产品家族可以充分满足这些需求。
华邦电子闪存产品营销部经理黄信伟特别强调说,市面上也有将NOR芯片和NAND芯片放在一个封装里面的产品,但他们的方式都是用硬件的实体脚位去做切换,这样就无法保持8脚位数的标准封装了,必须采用另外的封装方法。华邦导入了一个全新方法,用软件指令做芯片切换。当需要控制某一颗芯片的时候,只要用一个软件的方式去切换,就会操作到特定的芯片。每一个芯片都会有自己的识别码,用软件去指向特定的识别码。此外,SpiStack(NOR+NAND)支持并发操作,当某颗芯片在执行写入/擦除时,另一颗芯片可以同时进行写入/擦除/读取。它们互不干扰,反之亦然。所以SpiStack也可以节省写入与擦除的时间。此外,SpiStack用到的NAND跟NOR,都是华邦已经通过车规级验证,且生产NAND与NOR采用的都是成熟制程,所以在质量上是毋庸置疑的。
7月初,华邦电子正式确认,华邦HyperRAM 和 SpiStack (NOR+NAND) 产品将与瑞萨基于Arm 内核的RZ/A2M 微处理器 (MPU) 搭配使用。瑞萨RZ/A2M属于RZ产品系列微处理器,基本适用于所有需要图像预处理的应用,尤其在非汽车的产品当中属于性能卓越的系列。
RZ/A2M的基础是ARM Cortex-A9 528MHz MPU。和其他的MPU一样,有一些共通的外设。但是比较特殊的是RZ/A2M同时设置有两个网口,两个USB,两个SDHI,还有一些security在里面。此外还有三个比较特别的与其他品牌MPU不同的地方,RZ/A2M配置了瑞萨独有的DRP硬件加速内核,主要用于图像预处理,速度非常快。
据了解,DRP是一个硬件加速,即搭载外置memory的图像预处理应用。它是瑞萨自研加速核,可以比一般的CPU快10倍左右。以二维码扫描仪为例, 单纯用一款528MHz的芯片,便能达到60帧输出,基本等同于其他客户用的FPGA级别。
面对这个问题,瑞萨电子中国企业基础设施事业部经理 Anson介绍说,音频/视频等MCU设备中的人工智能需求激增,是促使瑞萨等企业选用HyperRAM产品的主要原因。据了解,RZ/A2M内部配有一个4MB的SRAM,可用于比较简单的应用,如一些HMI(人机交互界面),或者是简单的控制应用。因为本身配备DRP的核,即使CPU运转不快, 仍然可以用于图像预处理。但是面对现在很多的嵌入式系统,数据量以及程序库依然远远大于普通的HMI。4MB的内存容量,面向现在嵌入式AI系统来讲,有些应用场合是不够的。所以很多时候瑞萨都会建议客户采用外挂内存。
瑞萨RZ/A2M采用华邦的HyperRAM和SpiStack (NOR+NAND)可以减少PCB上的内存安装面积、导线数量和BOM成本。两种封装尺寸均仅有8x6mm , 其中有13个信号引脚用于HyperRAM,6个用于SpiStack (NOR+NAND)。与传统的SDRAM和并行NOR/NAND相比,华邦HyperRAM和SpiStack的封装尺寸和终端数量都减少了80%左右。随着嵌入式AI系统变得越来越复杂,使用搭载外部存储器的RZ/A2M可支持应用程序代码或训练模型不断增加的数据量。
— 结束语 —
过去,传统存储面对的主要是数据库、文件和流媒体等传统应用。今天,在新兴技术驱动下,存储主要面对的是云计算、大数据和人工智能等大规模数据应用场景。此外,随着IoT终端设备微型化的趋势,新一代高效能、低功耗的MCU市场正在兴起。虽然MCU的制程节点已经从55nm、40nm朝28nm,甚至16nm移转。尺寸上的满足并不能同步带来运算能力的优化,需要新一代的外部内存作为数据缓冲之用。正是这些新型应用的崛起和快速普及给数据存储带来了全新的机遇,市场对存储芯器芯片的需求日益增长。当然,机遇和挑战往往总是相伴而生的。行业进入深耕时代,抢占用户的能力决定了未来,找准场景快速落地将成为关键。
EETOP 官方微信
创芯大讲堂 在线教育
创芯老字号 半导体快讯
相关文章