Arm发布新一代边缘AI计算平台，可运行超10亿参数模型

2月(yuè)27日(rì)，Arm控(kòng)股(gǔ)有(yǒu)限(xiàn)公(gōng)司(sī)发(fā)布(bù)了(le)Armv9边(biān)缘(yuán)人(rén)工(gōng)智(zhì)能(néng)(AI)计(jì)算(suàn)平(píng)台(tái)。据(jù)悉(xī)，该(gāi)平(píng)台(tái)可(kě)支(zhī)持(chí)运(yùn)行(xíng)超(chāo)10亿(yì)参(cān)数(shù)的(de)端(duān)侧(cè)AI模(mó)型(xíng)。

Arm高(gāo)级(jí)副(fù)总(zǒng)裁(cái)兼(jiān)物(wù)联(lián)网(wǎng)事(shì)业(yè)部(bù)总(zǒng)经(jīng)理(lǐ)PaulWilliamson表(biǎo)示(shì)：“AI的(de)革(gé)新(xīn)已(yǐ)不(bù)再(zài)局(jú)限(xiàn)于(yú)云(yún)端(duān)。随(suí)着(zhe)世(shì)界(jiè)的(de)互(hù)联(lián)和(hé)智(zhì)能(néng)化(huà)水(shuǐ)平(píng)的(de)日(rì)益(yì)提(tí)升(shēng)，从(cóng)智(zhì)慧(huì)城(chéng)市(shì)到(dào)工(gōng)业(yè)自(zì)动(dòng)化(huà)，在(zài)边(biān)缘(yuán)侧(cè)处(chù)理(lǐ)AI工作负载不仅带来显著的优势，其必要性更是不可或缺。专为物联网打造的Armv9边缘AI计算平台的推出，标志着这一发展趋势迈入了重要的里程碑。”

据介绍，Arm此次发布的计算平台集成了全新的超高能效Armv9CPU——Cortex-A320和支持Transformer算子网络的Ethos-U85NPU，打造出全球首个专为物联网优化的Armv9边缘AI计算平台。相较于去年推出的基于(yú)Cortex-M85的(de)平(píng)台(tái)，新(xīn)的(de)边(biān)缘(yuán)AI计(jì)算(suàn)平(píng)台(tái)的(de)机(jī)器(qì)学(xué)习(xí)(ML)性(xìng)能(néng)提(tí)高(gāo)了(le)八(bā)倍(bèi)。Arm表(biǎo)示(shì)，从(cóng)授(shòu)权(quán)该(gāi)技(jì)术(shù)以(yǐ)构(gòu)建(jiàn)SoC芯(xīn)片(piàn)的(de)合(hé)作(zuò)伙(huǒ)伴(bàn)，到(dào)构(gòu)建(jiàn)下(xià)一(yī)代(dài)设(shè)备(bèi)的(de)ODM和(hé)OEM厂(chǎng)商，该平台受到了包括亚马逊云科技(AWS)、西门子、瑞萨电子、研华科技和Eurotech在内的多家业界合作伙伴的支持。

记者在现场(chǎng)了(le)解(jiě)到(dào)，该(gāi)平(píng)台(tái)能(néng)够(gòu)支(zhī)持(chí)基(jī)于(yú)智(zhì)能(néng)体(tǐ)的(de)AI应(yīng)用(yòng)上(shàng)运(yùn)行(xíng)经(jīng)过(guò)调(diào)优(yōu)的(de)大(dà)语(yǔ)言(yán)模(mó)型(xíng)(LLM)和(hé)小(xiǎo)语(yǔ)言(yán)模(mó)型(xíng)(SLM)，从(cóng)而(ér)开(kāi)辟(pì)全新(xīn)类(lèi)别(bié)的(de)边(biān)缘(yuán)应(yīng)用(yòng)场(chǎng)景(jǐng)。在(zài)未(wèi)来的场景中，智能决策将更接近数据采集源头，这不仅能显著减少延迟，还能有效提升隐私保护水平。