2020年將是轉(zhuǎn)型的重要一年，許多可望改變?nèi)祟?lèi)生活的科技與產(chǎn)品都即將成為現(xiàn)實(shí)，并開(kāi)始帶來(lái)影響。2020年，將看到5G技術(shù)的部署，這將為工業(yè)4.0、自駕車(chē)，邊緣人工智能(edge AI)，以及各種要求更高速度與帶寬的新產(chǎn)品和服務(wù)奠定基礎(chǔ)。

業(yè)界正持續(xù)開(kāi)發(fā)各種創(chuàng)新的半導(dǎo)體解決方案，以實(shí)現(xiàn)完全互連的未來(lái)。其中一項(xiàng)重要?jiǎng)?chuàng)新是，使邊緣設(shè)備的AI推理成為切實(shí)可行，且可擴(kuò)展的商機(jī)。然而挑戰(zhàn)在于，AI推理需要強(qiáng)大的處理能力，且其功耗往往是邊緣設(shè)備無(wú)法承擔(dān)的。矩陣乘法(matrix multiplication)是AI處理的核心，它的個(gè)層級(jí)是先從包含數(shù)百萬(wàn)個(gè)*作數(shù)(即權(quán)重)的運(yùn)算開(kāi)始，并且隨著運(yùn)算的進(jìn)行，矩陣會(huì)變小。每次運(yùn)算都需要重復(fù)多次的向量點(diǎn)積運(yùn)算：從內(nèi)存中讀取兩個(gè)*作數(shù)，把*作數(shù)相乘，并累加結(jié)果。整個(gè)過(guò)程會(huì)需要較高的功耗，因而也使成本增加。

Gideon Intrater，Adesto Technologies技術(shù)長(zhǎng)

今天，人們正利用各種方案來(lái)解決此問(wèn)題。一種方式是，利用可從多家供貨商取得的現(xiàn)成微控制器(MCU)，在某些情況下，這是一項(xiàng)不錯(cuò)的選擇。透過(guò)把權(quán)重儲(chǔ)存在快速的外部?jī)?nèi)存中，通常是8進(jìn)位閃存，例如Adesto的EcoXiP非揮發(fā)性?xún)?nèi)存(NVM)，因此能夠*快速地取得它們。在此傳統(tǒng)的運(yùn)算模型中，數(shù)據(jù)需透過(guò)單一的總線(xiàn)傳輸，而典型的解決方案可達(dá)到每瓦0.1TeraOp。但對(duì)于難度更高的推論算法，則需要采用專(zhuān)用硬件。

的確，目前市場(chǎng)上已有多家供貨商提供了許多不錯(cuò)的SoC，其中有專(zhuān)用的AI加速硬件。結(jié)合先進(jìn)節(jié)點(diǎn)，以及專(zhuān)用硬件，可使這些設(shè)計(jì)達(dá)到不錯(cuò)的效率。但是，這樣的設(shè)計(jì)仍需要從外部?jī)?nèi)存取得權(quán)重，由于把權(quán)重帶進(jìn)SoC的過(guò)程會(huì)消耗功率，此問(wèn)題還是存在的。

展望未來(lái)，算法的復(fù)雜性將持續(xù)成長(zhǎng)，這將使邊緣設(shè)備的AI推理硬件到達(dá)極限。為了解決這個(gè)問(wèn)題，數(shù)字推論架構(gòu)正在演進(jìn)，現(xiàn)已超越了采用具專(zhuān)用推論引擎的MCU和SoC，朝利用深次微米和近內(nèi)存(near-memory)處理等新架構(gòu)發(fā)展。

透過(guò)把內(nèi)存和AI硬件加速器整合在相同的晶粒上，近內(nèi)存處理能以更低的功耗，實(shí)現(xiàn)更高的效能。目前，市場(chǎng)上已有商業(yè)化的解決方案，宣稱(chēng)效能可達(dá)到每瓦9.6TeraOps。這是透過(guò)內(nèi)存和執(zhí)行單元之間的較高帶寬所實(shí)現(xiàn)，同時(shí)也因?yàn)椴恍枰叫酒獠咳ト〉脵?quán)重。但是，權(quán)重的數(shù)量會(huì)受到硅晶組件中可建置的數(shù)量限制，因此效率和可擴(kuò)展性無(wú)法完全兼顧。此外，為了限制功耗，需采用先進(jìn)，但在先進(jìn)節(jié)點(diǎn)中，具面積與功率效率的非揮發(fā)性?xún)?nèi)存單元并不存在，需采用昂貴的SRAM數(shù)組。

進(jìn)一步的創(chuàng)新是有必要的，透過(guò)內(nèi)存內(nèi)(in-memory)的模擬處理(運(yùn)算資源和內(nèi)存位于同一位置)，我們看到了未來(lái)AI邊緣推論引擎的光明前景。在此典范中，深度神經(jīng)網(wǎng)絡(luò)(DNN)矩陣成為非揮發(fā)性?xún)?nèi)存單元數(shù)組，而矩陣的權(quán)重成為非揮發(fā)性?xún)?nèi)存單元的電導(dǎo)(conductance)。透過(guò)輸入電壓與非揮發(fā)性?xún)?nèi)存單元電導(dǎo)的模擬相乘來(lái)完成乘法運(yùn)算。這些運(yùn)算在所有向量元素上所產(chǎn)生的電流，以模擬方式相加，以產(chǎn)生MAC結(jié)果。由于不需要移動(dòng)權(quán)重，因此該模型可以實(shí)現(xiàn)功率效率和可擴(kuò)展性的絕佳組合。業(yè)界預(yù)估，此解決方案的小能可達(dá)到OI每瓦28TeraOps。

內(nèi)存內(nèi)模擬處理當(dāng)然會(huì)面臨挑戰(zhàn)，而且不會(huì)在2020年實(shí)現(xiàn)這項(xiàng)技術(shù)。但是，我們相信，今年業(yè)界將會(huì)在此領(lǐng)域取得進(jìn)展。模擬解決方案正在迎頭趕上，利用單一晶體管儲(chǔ)存和原地(in-place)運(yùn)算，可免除昂貴的硬件乘法器。當(dāng)我們邁向完全互連的未來(lái)時(shí)，結(jié)合模擬和數(shù)字運(yùn)算，可能是因應(yīng)邊緣設(shè)備AI推理挑戰(zhàn)的方法。