米兰milan-如何为 AI 应用选择合适的 Arm 边缘 AI 解决方案?

[导读]相识 Arm 最小型的 Armv9-A 处置惩罚器 Cortex-A320 怎样以更高的能效及机能扩大你于物联网边沿 AI 方面的选择。 Arm Cortex-A320 是今朝最小型的 Armv9-A 架构 CPU。患上益在该处置惩罚器的推出，开发者此刻能有更多选择决议怎样处置惩罚物联网边沿人工智能 (AI) 事情负载。然而，面临多样化的选择，要确定合适特定 AI 运用的处置惩罚器，体系开发者需要经由过程比力基在 Arm Cortex-A、Arm Cortex-M 及 Arm Ethos-U NPU 的装备和其可能的搭配举行决议计划。除了了成本的考量，开发者还有需相识各款处置惩罚用具备的 AI 功效，以和自身的项目可以经由过程何种软件开发流程实现简化。 于嵌入式装备中实现高能效 AI 计较 最近几年来，嵌入式装备中的 AI 计较效率突飞大进。Arm 的 M 及 A 处置惩罚器架构的晋升使患上每一单元能耗的呆板进修 (ML) 推理机能呈数倍增加。尤其是于M 处置惩罚器架构上，基在 Armv8.1-M 架构的 Cortex-M5二、Cortex-M55 及 Cortex-M85 CPU 集成为了可编程的 Helium 向量扩大，从而解锁了于微节制器级装备上实现新 AI 用例的能力。此外，患上益在可伸缩向量扩大 (SVE2) 的引入，基在 Armv9 架构的 Cortex-A 处置惩罚器（如最新推出的 Cortex-A320）相较其前代产物进一步晋升了 AI 机能。而 Ethos-U 系列 NPU 的最新一代产物 Ethos-U85 ，特别于处置惩罚 Transformer 收集时，体现更为高效。 怎样选择适合的硬件？ 每一种架构于差别方面各有上风。于思量哪款硬件最合适时，原始机能应与设计矫捷性相衡量。此外，还有需要将包括 CI/CD 要求于内的软件开发流程纳入考量。 满意所需的 AI 处置惩罚机能至关主要。Cortex-A 处置惩罚器本就是一款面向多种运用的可编程处置惩罚器，集成为了 Neon/SVE2 向量引擎，旨于加快神经收集及各类向量化代码，并能原生撑持多种数据类型。而带有 Helium 向量引擎的 Cortex-M 处置惩罚用具备不异特征，且更合用在成本及能耗相对于有限的方针用例。比拟之下，包罗 Ethos-U85 于内的 Ethos-U NPU 则专为处置惩罚神经收集算子而设计，特别还有具有了量化的 8 位整数数据权重的能力，对于在可以映照到这些 NPU 硬件的收集算子，其使命体现十分高效。 基在 Armv9 架构的最新一代 Cortex-A CPU 撑持 BF16 等广泛的数据类型。此外，引入的新矩阵乘法指令显著提高了神经收集的处置惩罚机能。关在怎样经由过程 SVE2 实现矩阵乘法的具体注释，保举浏览《Neon、SVE 及 SME 实现矩阵-矩阵乘法的比力》。 Cortex-M55是首款集成Helium向量技能的Cortex-M处置惩罚器，今后推出的 Cortex-M85 也集成为了这一技能。二者都实现了双节奏 (dual-beat) Helium 配置，每一个时钟周期可履行多达八次的 8 位整数乘堆集加运算 (MAC) 操作。此外，Helium 还有原生撑持 FP1六、FP32 等其他数据类型。 末了，于具备量化数据类型的模子上，详细来讲是 INT8 权重，以和 INT8 或者 INT16 激活数据，Ethos-U NPU 可以很是高效地处置惩罚神经收集。这类设计虽会限定其合用的数据类型，但可提高 NPU 的履行效率。 评估处置惩罚器于现实 AI 事情负载中机能的要领之一，是阐发其每一种数据类型及每一个时钟周期的理论 MAC 履行能力。因为神经收集处置惩罚利用年夜型数据集，是以内存拜候机能是另外一年夜要害因素。不外于本例中，咱们着重在处置惩罚器密集 (processor-bound) 机能，而非内存密集 (memory-bound) 机能。 神经收集处置惩罚速度凡是受限在底层硬件的MAC操作速度。虽然现实的收集处置惩罚机能因收集布局而异，但下表所示的的理论MAC处置惩罚速度提供了硬件能力的指标。 别的一个思量的因素是每一个硬件方案的软件撑持。Arm 为包括 Cortex-A、Cortex-M 及 Ethos-U 等于内的各种 AI 硬件解决方案提供周全的开源运行时撑持软件。Arm为各类 ML 框架及运行时提供硬件加快撑持，包括 PyTorch、ExecuTorch、Llama.cpp、TensorFlow 及 LiteRT（经由过程 XNNPACK）。任何 ML 框架均可经由过程优化，进而充实使用 Arm 的 AI 特征。于 Arm 处置惩罚器上履行的运行时可使用 CMSIS-NN（针对于 Cortex-M/Helium）及 Arm Compute Library 或者 Arm KleidiAI（针对于 Neon/SVE2 中的 INT8 及 BF16）等软件加快库。Vela 编译器是一个经由过程优化模子来实现高效部署的离线东西，可于 Ethos-U 长进一步骤优可履行二进制文件，从而实现更卓着的硬件机能。 什么时候利用 Ethos-U？ 一些具备明确界说的 AI 事情负载的边沿 AI 用例可以经由过程将神经收集处置惩罚卸载到专用 NPU 上，从而开释主处置惩罚器的计较密集型使命，并由此获益。如前所述，Ethos-U NPU 于处置惩罚具备量化的 8 位整数权重的神经收集时很是高效。Transformer 收集尤其合适于 Ethos-U85 上运行。然而，Ethos-U85 NPU 需由一个主处置惩罚器（可所以Cortex-M 或者 Cortex-A）举行驱动。 主处置惩罚器与 Ethos-U 间可以有多种配置方式。Ethos-U可由像 Cortex-M55 等启用 Helium 的 Cortex-M 处置惩罚器驱动利用。今朝市道上已经有这类体系级芯片 (SoC) 配置的示例。近期，于小语言模子 (SLM) 上运行天生式 AI 事情负载愈发遭到业界存眷。Ethos-U与启用 Helium 的Cortex-M处置惩罚器相联合，是此类用例的上佳之选。 此外，还有有基在Cortex-A处置惩罚器的 SoC 集成为了基在 Cortex-M 焦点的 ML 岛与 Ethos-U。这种 SoC 凡是合适运行 Linux 等功效富厚的操作体系，并撑持更年夜、更矫捷的内存体系。Cortex-M CPU 拥有32位可寻址内存地址空间，能实现直接内存地址映照，而像 Cortex-A320 等更新款的 Cortex-A处置惩罚器则具备40位内存可寻址空间，还有可以经由过程内存治理单位 (MMU) 的虚拟内存寻址。 跟着年夜语言模子 (LLM) 的履行逐渐转向边沿 AI 装备，拥有更年夜及更矫捷的内存体系可以简化较年夜参数范围（例如年夜在 10 亿参数的 LLM）模子的履行。Cortex-M 及Ethos-U85的组合很合适在愈来愈遭到接待的小语言模子。Cortex-M处置惩罚用具有4GB的寻址空间，并保留了此中一些空间用在体系功效。跟着LLM模子范围的增加，具备更年夜及更矫捷内存的Cortex-A体系将变患上至关主要。 Arm 近期又公布了另外一种配置方式，称为“直接驱动 (direct drive)”，即 Cortex-A处置惩罚器直接驱动Ethos-U NPU。这类配置无需专门的 Cortex-M 作为“驱动”处置惩罚器。Ethos-U85的Linux驱动步伐可于Cortex-A主节制器上运行。 使用 Cortex-A320 满意边沿装备的天生式 AI 需求 边沿 AI体系开发者此刻有更多的选择来优化物联网中最接近边沿侧的 AI。不管选择Cortex-M、Cortex-A还有是Ethos-U加快体系，每一种选择均可满意差别的需求。Cortex-A320处置惩罚器可以或许直接驱动Ethos-U85，这让设计职员得到了更多的矫捷性。作为Arm最小型、最高能效的 Armv9-A 处置惩罚器，Cortex-A320于提高边沿侧AI能效的同时，顺应嵌入式体系中天生式AI演进的需求。点击此处，相识Arm厘革性的边沿侧AI解决方案怎样塑造物联网的将来！

欲知详情，请下载word文档 下载文档

LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

要害字： 驱动电源

于工业主动化蓬勃成长确当下，工业机电作为焦点动力装备，其驱动电源的机能直接瓜葛到整个体系的不变性及靠得住性。此中，反电动势按捺与过流掩护是驱动电源设计中至关主要的两个环节，集成化方案的设计成为晋升机电驱动机能的要害。

要害字： 工业机电 驱动电源

LED驱动电源于LED照明体系中饰演着至关主要的脚色。因为LED具备节能、环保、长命命等长处，使患上LED照明于各个范畴获得广泛运用。然而，LED的电流、电压特征需要特定的驱动电源才能正常事情。本文将先容经常使用的LED驱动电...

要害字： LED驱动电源 led照明

崧盛股分9日发布投资者瓜葛勾当记载表，就植物照明成长趋向、行业壁垒等问题举行分享。植物照明将来市场需求广漠崧盛股分指出，植物照明将会走向持久财产范畴。重要缘故原由有三：第一，LED植物照明赋能终端莳植更具备经济价值。因为LE...

要害字： 崧盛股分 驱动电源

早前有新闻称，Cree于2018年最先公布转型高科技半导体范畴，并一边逐渐离开照明与LED相干营业，一边连续投资半导体。于今日，Cree公布与SMART Global Holdings, Inc.告竣终极和谈，拟将LED...

要害字： cree led照明-米兰milan