自生成式AI爆火以來，我們接觸和使用更多的其實(shí)是所謂的云端AI，如OpenAI的ChatGPT、百度的文心一言等，他們都是部署在提供商的服務(wù)器上，用戶通過網(wǎng)頁或應(yīng)用的程序等方式進(jìn)行訪問并使用，最重要的一點(diǎn)是他們都要聯(lián)網(wǎng)才能使用。

而為了讓生成式AI更接地氣，一種叫做端側(cè)AI的概念應(yīng)運(yùn)而生。相對于需要聯(lián)網(wǎng)才能使用的云端AI而言，端側(cè)AI可以將大模型（LLM）以輕量形式部署在本地，從而使搭載端側(cè)AI的設(shè)備即便在斷網(wǎng)情況下也能實(shí)現(xiàn)AI功能，與設(shè)備對話，提高工作及生活效率。

但是，就目前來說并非所有的設(shè)備都滿足端側(cè)AI的硬件條件，尤其是當(dāng)微軟和蘋果接連發(fā)布Colipot+PC和Apple Intelligence平臺和功能后，要求設(shè)備中必須有這樣一塊芯片，NPU。而什么是NPU，它在端側(cè)AI中又能起到什么作用？

什么是NPU？

NPU是Neural Processing Unit（神經(jīng)網(wǎng)絡(luò)處理器）的首字母縮寫。NPU 專用于運(yùn)行與神經(jīng)網(wǎng)絡(luò)/機(jī)器學(xué)習(xí)/AI 任務(wù)相關(guān)的數(shù)學(xué)函數(shù)。雖然這些可以是獨(dú)立的芯片，但它們越來越多地與更熟悉的CPU和GPU組件一起直接集成到片上系統(tǒng) （SoC）中。

NPU有各種形狀和尺寸，通常根據(jù)芯片廠商而略有不同?，F(xiàn)在已有不同的型號的NPU出現(xiàn)在智能手機(jī)領(lǐng)域，比如高通在其驍龍?zhí)幚砥髦邪惭b了Hexagon，谷歌擁有用于云和移動Tensor芯片的TPU，三星則在自己的Exynos集成NPU。

這個趨勢現(xiàn)在也在筆記本電腦和PC領(lǐng)域興起。例如，最新的Apple M4內(nèi)置了神經(jīng)引擎，Snapdragon X Elite平臺中采用了高通的Hexagon功能，AMD和英特爾已開始將NPU集成到其最新的芯片組中。

正如我們所見，NPU是專門為處理機(jī)器學(xué)習(xí)工作負(fù)載（以及其他數(shù)學(xué)繁重的任務(wù)）而構(gòu)建的。通俗地說，NPU是一個非常有用的，甚至是必不可少的組件，用于在設(shè)備上而不是在云中運(yùn)行AI。毫無疑問，如今人工智能幾乎無處不在，將AI直接整合到設(shè)備中是這一過程的關(guān)鍵一步。

今天的許多人工智能處理都是在云中完成的，但由于幾個原因，這并不理想。首先是延遲和網(wǎng)絡(luò)要求，我們無法在離線時訪問工具，或者在高峰時段可能需要等待漫長的處理時間。通過互聯(lián)網(wǎng)發(fā)送數(shù)據(jù)也不太安全，尤其是在自己的設(shè)備上運(yùn)行時。

簡而言之，AI最好能直接在設(shè)備上運(yùn)行。然而，人工智能任務(wù)的計(jì)算量非常大，在傳統(tǒng)硬件上運(yùn)行不佳。如果你有嘗試在筆記本電腦上通過Stable Diffusion生成圖像，你可能已經(jīng)注意到了這一點(diǎn)。對于更高級的任務(wù)來說，它可能會非常慢，盡管CPU可以很好地運(yùn)行許多“更簡單”的AI任務(wù)。

解決方案是采用專用硬件來加速這些高級任務(wù)，而NPU在這方面無疑比CPU更高效，它們的性能通常以每秒數(shù)萬億次操作 （TOPS） 表示。說到TOPS，智能手機(jī)和早期的筆記本電腦NPU的額定值為數(shù)十TOPS。從廣義上講，這意味著它們可以加速基本的AI任務(wù)，例如相機(jī)物體檢測以應(yīng)用散景模糊或摘要文本。如果想運(yùn)行大型語言模型或使用生成式AI快速生成媒體，將需要數(shù)百或數(shù)千TOPS范圍內(nèi)更強(qiáng)大的加速器/GPU。

生成式AI革新人機(jī)交互界面，端側(cè)大模型應(yīng)用有望迎來爆發(fā)

近年來，大模型不僅在對話式文本方面取得巨大成功，也在圖像處理、音視頻生成等多模態(tài)領(lǐng)域展現(xiàn)出強(qiáng)大的潛能。隨著生成式AI在人們?nèi)粘９ぷ骷吧钪斜粡V泛應(yīng)用，數(shù)據(jù)處理和存儲需求急劇增加，使得智能計(jì)算體系結(jié)構(gòu)發(fā)生根本性轉(zhuǎn)變。

大模型對人機(jī)交互界面產(chǎn)生了深刻的影響，生成式AI已成為人與終端設(shè)備的最新交互界面。在生成式AI加持下，從寫作、編程、繪畫到視頻創(chuàng)作，多種模態(tài)的內(nèi)容創(chuàng)作門檻正被前所未有地降低，人機(jī)交互的流程也被大大簡化。

在楊磊看來，端側(cè)設(shè)備的核心交互問題關(guān)乎入口，這是爭奪用戶時間、持續(xù)時長、資金投入的關(guān)鍵所在，也是業(yè)內(nèi)競爭的焦點(diǎn)。以典型的端側(cè)設(shè)備——手機(jī)為例，在本地設(shè)備上運(yùn)行大模型已是兵家必爭之地，各家手機(jī)大廠都在想方設(shè)法占據(jù)這一入口。

在此過程中，一方面，多模態(tài)模型正成為大勢所趨；另一方面，針對不同的應(yīng)用場景、設(shè)備或成本考量，眾多廠商都推出了不同參數(shù)規(guī)模的模型。以智能手機(jī)為例，旗艦手機(jī)芯片算力可達(dá)40~50TOPS，中檔手機(jī)的算力在10~20TOPS的范圍內(nèi)，而入門級手機(jī)目前尚未專門配備AI能力，更多地依賴于CPU的通用計(jì)算能力。

據(jù)楊磊預(yù)測，隨著半導(dǎo)體技術(shù)的持續(xù)演進(jìn)，旗艦手機(jī)的算力水平有望達(dá)到100TOPS，入門級手機(jī)也將從當(dāng)前的無算力水平提升至5~10TOPS范圍。預(yù)計(jì)兩年后，不論是高價(jià)位段的手機(jī)，還是性價(jià)比優(yōu)良的千元機(jī)，都有望具備本地部署AI大模型的硬件計(jì)算能力。

此外，在楊磊看來，除智能手機(jī)和PC等終端設(shè)備外，如今智能化水平不斷提速的新能源汽車以及目前炙手可熱的人形機(jī)器人也是大模型落地的硬件載體之一。在大會現(xiàn)場，楊磊列舉了一些數(shù)字：目前智能汽車的算力已經(jīng)能達(dá)到500TOPS左右，一些機(jī)器人方案也在按照這一算力規(guī)模進(jìn)行相應(yīng)的技術(shù)規(guī)劃。

盡管AI大模型的應(yīng)用日趨普及，比如手機(jī)上安裝了Kimi、豆包、文心一言等諸多應(yīng)用，但這些應(yīng)用尚未達(dá)到殺手級應(yīng)用的水平，實(shí)際上很多端側(cè)硬件的計(jì)算能力已經(jīng)領(lǐng)先于相關(guān)應(yīng)用的發(fā)展。很多用戶更多是出于獵奇心理來試用這類應(yīng)用，并沒有產(chǎn)生持續(xù)、頻繁且高度黏性的使用需求。

“我們目前仍處于硬件先行、應(yīng)用后發(fā)的階段。安謀科技則希望結(jié)合自身獨(dú)特的技術(shù)優(yōu)勢，打造軟硬一體且極具競爭力的解決方案，推動AI大模型在端側(cè)設(shè)備加速落地?！睏罾谡劦?。


芯片廠商積極布局異構(gòu)算力

當(dāng)前，CPU+GPU+NPU協(xié)同的混合算力架構(gòu)已成為AI PC的算力基礎(chǔ)。

其中，英特爾開發(fā)的XPU混合算力是代表性解決方案，其CPU+GPU+NPU異構(gòu)方案，通過嵌入獨(dú)立NPU的強(qiáng)算力性能大幅提升終端AI能力；基于XPU混合架構(gòu)，英特爾推出了Meteor Lake第一代酷睿Ultra 處理器，疊加OpenVINO等工具鏈，開發(fā)者能夠?qū)崿F(xiàn)XPU三種算力的混合部署和調(diào)度；高通則在2023年10月發(fā)布了集成ARM CPU與AI引擎NPU芯片X Elite，針對AI性能進(jìn)行優(yōu)化，單NPU模塊算力達(dá)到16TOPS、總算力達(dá)到75TOPS，支持AI PC運(yùn)行百億級參數(shù)本地大模型，首發(fā)廠商覆蓋聯(lián)想、戴爾、惠普等頭部PC廠商；

AMD推出AI PC芯片銳龍8040系處理器，主要面向客戶端和消費(fèi)端PC設(shè)計(jì)，CES 2024上AMD則于2023年12月發(fā)布第一款集成NPU模塊的桌面級CPU——Ryzen 8000G CPU，算力達(dá)到單NPU16 TOPS、總共39 TOPS；

蘋果發(fā)布的M3圖形處理器則在功耗減半的情況下，即可達(dá)到與M1相當(dāng)?shù)男阅?，而在峰值功耗下更可?shí)現(xiàn)高達(dá)65%的性能提升，同時，具備16核CPU、40核GPU的Ｍ3 Max將可以被用于研發(fā)AI軟件，性能表現(xiàn)出色。

總的來看，AI手機(jī)、AI PC有望成為未來手機(jī)和個人電腦的重要升級方向，而NPU則是AI手機(jī)、AI PC中最重要的硬件增量方向之一，值得重視。

端側(cè)AI產(chǎn)業(yè)鏈?zhǔn)芤?/span>

中信建投指出，端側(cè)AI核心在于手機(jī)和PC，AI Phone和AI PC將開啟新時代。

“從今年2月份舉行的世界移動通信大會，高通展示了其手機(jī)端離線運(yùn)行大模型，到5月份微軟開發(fā)者大會高通展示其PC運(yùn)行AI大模型，再到近期英特爾、聯(lián)想等發(fā)布AI PC加速計(jì)劃、發(fā)布首款A(yù)I PC等，可以看出，國內(nèi)外廠商持續(xù)發(fā)力AI Phone和AI PC，端側(cè)AI將走入新的時代?！?/span>

同時，AI PC核心升級在于芯片。

AI PC不同于傳統(tǒng)PC的主要之處在于其SoC芯片中要有AI模塊，通過AI芯片中的NPU等模塊為硬件終端提供算力支撐，從而運(yùn)行端側(cè)AI大模型。過去PC芯片主要是以Intel為代表的x86架構(gòu)芯片，AIPC的提出要求了SOC芯片有AI算力，在端側(cè)AI推理能力方面，過去手機(jī)上就搭載了NPU，高通經(jīng)驗(yàn)積累深厚，Intel的筆記本芯片則是CPU+GPU。生態(tài)上，Windows也開始全力支持ARM體系，自去年開始了多輪支持Arm架構(gòu)芯片的操作系統(tǒng)更新，高通大概率會在PC市場上拿到部分份額。除芯片外，DRAM、計(jì)算模組等有望迎來新的升級與市場機(jī)遇。

此外，大模型向智能終端（邊緣端）滲透，模型壓縮和邊緣側(cè)計(jì)算性能提升是兩大關(guān)鍵。目前從這兩個方向上，都可以看到不錯的進(jìn)展預(yù)期，大模型在邊緣端滲透初見端倪。這類場景我們認(rèn)為率先會在手機(jī)、PC、智能駕駛、具身智能、元宇宙、工業(yè)控制等場景落地。

產(chǎn)業(yè)鏈角度，邊緣AI核心在于引入邊緣側(cè)的AI能力，進(jìn)一步增強(qiáng)邊緣側(cè)的算力能力、連接能力。重點(diǎn)包括AI芯片、算力/連接模組、邊緣網(wǎng)關(guān)/邊緣服務(wù)器/邊緣控制器等硬件、AI算法/邊緣計(jì)算平臺等軟件環(huán)節(jié)。從投資角度來看，建議優(yōu)先圍繞這幾類產(chǎn)業(yè)鏈環(huán)節(jié)、兼顧業(yè)績彈性優(yōu)選標(biāo)的。

中信建投強(qiáng)調(diào)，“我們看好端側(cè)AI產(chǎn)業(yè)進(jìn)展，尤其是AI Phone和AI PC領(lǐng)域，其已有相關(guān)產(chǎn)品落地，將傳統(tǒng)PC、Phone結(jié)合上AI能力有望帶動整個PC、Phone產(chǎn)業(yè)鏈復(fù)蘇；通過將大模型賦能終端硬件，AI應(yīng)用浪潮將有望開啟?！?/span>