Ceva 增添用于AIoT 设备的全新TinyML 优化 NPU,实现无处不在的边缘人工智能

发布时间:2024-7-2 20:30    发布者:eechina
关键词: NeuPro , NPU , TinyML , 边缘AI
Ceva公司(纳斯达克股票代码:CEVA) 宣布推出Ceva-NeuPro-Nano NPU以扩展其Ceva-NeuPro Edge AI NPU产品系列。这些自给自足的高效NPU可为半导体企业和OEM厂商提供所需的功耗、性能和成本效益,以便在用于消费、工业和通用 AIoT 产品的SoC 中集成TinyML模型。

341.jpg

TinyML是指在低功耗、资源受限的设备上部署机器学习模型,从而将人工智能引入物联网 (IoT)。物联网设备对高效、专业的人工智能解决方案的需求日益增加,推动了TinyML市场快速增长。根据研究机构ABI Research预测,到 2030 年,超过40% 的TinyML出货量将采用专用 TinyML 硬件,而非由通用MCU驱动。Ceva-NeuPro-Nano NPU解决了TinyML所面临的特定性能难题,以实现无处不在和经济实用的人工智能,广泛应用于消费和工业物联网应用中的语音、视觉、预测性维护和健康感知等领域。

新型 Ceva-NeuPro-Nano 嵌入式AI NPU架构完全可编程,可高效执行神经网络、特征提取、控制代码和 DSP 代码,并支持最先进的机器学习数据类型和运算符,包括原生变换器计算、稀疏性加速和快速量化。与需要结合CPU或DSP并且基于 AI 加速器架构的现有TinyML 工作负载处理器解决方案相比,这种优化的自给自足架构使得Ceva-NeuPro-Nano NPU具有更高的能效、更小的硅片尺寸以及更佳性能。此外,Ceva-NetSqueeze AI压缩技术可直接处理压缩模型权重,省去中间的解压缩阶段,这减少了80%的Ceva-NeuPro-Nano NPU内存占用,从而解决了阻碍AIoT处理器广泛应用的关键瓶颈问题。

Ceva副总裁兼传感器和音频业务部门总经理Chad Lucien表示:“Ceva-NeuPro-Nano将TinyML应用集成到低功耗物联网SoC和MCU中,并且以我们的企业战略为基础,通过先进的连接、传感和推理能力为智能边缘设备赋能,为企业开创了难能可贵的机会。Ceva-NeuPro-Nano系列NPU使得更多公司能够将人工智能带入边缘应用,从而制造具有先进功能集的智能物联网设备,为客户创造更多的价值。我们在无线物联网连接方面具有行业领先地位,在音频和视觉传感方面亦拥有强大专业技术,具备独一无二的市场条件,能够帮助客户发挥TinyML的巨大潜力,实现创新的解决方案,从而增强用户体验、提高效率,并为建设更智能、更互联的世界做出贡献。”

ABI Research 行业分析师 Paul Schell 表示:“对于在智能边缘物联网设备上实现人工智能,Ceva-NeuPro-Nano可以满足电池供电设备对功耗、性能和成本的要求,实现语音、视觉和传感用例在广泛终端市场的始终在线应用,令人刮目相看。从 TWS 耳机、耳塞、可穿戴设备和智能扬声器到工业传感器、智能电器、家居自动化设备、摄像头等,Ceva-NeuPro-Nano可以在能源受限的 AIoT 设备中实施 TinyML。”

Ceva-NeuPro-Nano NPU提供两款配置,包括配备32个int8 MAC的Ceva-NPN32和配备64个int8 MAC的Ceva-NPN64,两种配置都通过Ceva-NetSqueeze获得直接处理压缩模型权重功能。Ceva-NPN32 针对语音、音频、物品检测和异常检测用例的大多数 TinyML工作负载进行了高度优化;Ceva-NPN64则利用权重稀疏性、更大内存带宽、更多MAC和4位权重支持提供2倍性能加速,从而提供更强大的性能,在设备上实现更复杂的人工智能用例 (如物品分类、人脸检测、语音识别和健康监测等) 。

这些NPU随附完整的人工智能SDK - Ceva-NeuPro Studio,这是为整个Ceva-NeuPro NPU系列提供一套通用工具的统一人工智能堆栈,支持包括TensorFlow Lite for Microcontrollers (TFLM) 和 microTVM (μTVM)的开放式人工智能框架。

Ceva-NeuPro-Nano 主要特性

灵活的可扩展NPU 架构
·        完全可编程,高效执行神经网络、特征提取、控制代码和 DSP 代码
·        设计具备可扩展性能,满足广泛用例需求
o        具有每周期最多 64 个 int8 MAC的MAC 配置
·        面向未来的架构,支持最先进的 ML 数据类型和运算符
o        支持 4 位至 32 位整数
o        原生变换器计算
·        利用先进的机制为所有用例提供终极 ML 性能
o        稀疏性加速
o        非线性激活类型加速  
o        快速量化

超低内存需求边缘 NPU
·        用于NN计算、特征提取、控制代码和DSP代码的高效单核设计,可让这些计算密集型任务省去配套MCU
·        通过 Ceva-NetSqueeze 直接处理压缩模型权重,省去中间的解压缩阶段,最多可减少 80% 的内存占用

通过创新能源优化技术实现超低能耗
·        自动化的即时能源调整
·        通过使用权重稀疏性加速对计算进行提炼,大幅降低能耗和带宽需求

易于使用的完备人工智能 SDK
·        Ceva-NeuPro Studio为所有Ceva-NeuPro NPU (从全新Ceva-NeuPro-Nano到功能强大的Ceva-NeuPro-M) 提供统一的人工智能堆栈,具有简便的点击运行使用体验
·        加速软件的开发和部署,从而缩短产品上市时间
·        经过优化,可与包括 TFLM 和 μTVM 在内的领先开放式人工智能推理框架无缝协作  
·        Model Zoo包含预训练和优化的TinyML 模型,涵盖语音、视觉和传感用例
·        灵活适应新的模型、应用和市场需求
·        全面的优化运行时间程序库和现成的特定应用软件组合  

供货

Ceva现在提供Ceva-NeuPro-Nano NPU授权许可,如要了解更多信息,请访问公司网页:
https://www.ceva-ip.com/product/ceva-neupro-nano/

本文地址:https://www.eechina.com/thread-863101-1-1.html     【打印本页】

本站部分文章为转载或网友发布,目的在于传递和分享信息,并不代表本网赞同其观点和对其真实性负责;文章版权归原作者及原出处所有,如涉及作品内容、版权和其它问题,我们将根据著作权人的要求,第一时间更正或删除。
您需要登录后才可以发表评论 登录 | 立即注册

厂商推荐

关于我们  -  服务条款  -  使用指南  -  站点地图  -  友情链接  -  联系我们
电子工程网 © 版权所有   京ICP备16069177号 | 京公网安备11010502021702
快速回复 返回顶部 返回列表