面向神經(jīng)網(wǎng)絡(luò)加速器的近似加法器的電路設(shè)計(jì)

吳成均 單偉偉

摘要：近似計(jì)算單元以一定的計(jì)算誤差換取更低功耗，近年來在神經(jīng)網(wǎng)絡(luò)加速器中得到應(yīng)用。本文通過研究不同近似加法器的誤差特性、在典型神經(jīng)網(wǎng)絡(luò)應(yīng)用中的結(jié)果以及功耗節(jié)省情況，對(duì)神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行最優(yōu)近似設(shè)計(jì)。首先利用MATLAB對(duì)近似加法器建立數(shù)學(xué)模型，分析平均誤差距離等誤差特性，用HSPICE設(shè)計(jì)電路進(jìn)行功耗仿真，為近似加法器在神經(jīng)網(wǎng)絡(luò)上的應(yīng)用提供指導(dǎo)原則。用Python搭建多層感知機(jī)和卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)兩層結(jié)構(gòu)的近似加法器算法模型，替換網(wǎng)絡(luò)中的精確加法器，研究不同誤差特性、不同近似位寬的加法器對(duì)神經(jīng)網(wǎng)絡(luò)各個(gè)指標(biāo)的影響。研究表明，平均誤差小的近似加法器對(duì)輸出質(zhì)量影響小，且近似位寬存在閾值，超過閾值會(huì)導(dǎo)致輸出質(zhì)量驟降，同時(shí)近似加法器能大幅降低計(jì)算功耗，而通過提出的輸出質(zhì)量一功耗收益可以找到整體收益最高的設(shè)計(jì)。本文提出的方法能高效系統(tǒng)地為神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行最優(yōu)的近似設(shè)計(jì)。

關(guān)鍵詞：近似計(jì)算;神經(jīng)網(wǎng)絡(luò);近似位寬;低功耗;整體收益

中圖分類號(hào)：TN49 文獻(xiàn)標(biāo)識(shí)碼：A

近似計(jì)算技術(shù)是一種新興的高能效設(shè)計(jì)技術(shù)，其計(jì)算過程并非完全正確，但由于采用精簡(jiǎn)計(jì)算邏輯，簡(jiǎn)化了計(jì)算過程，大大減少了系統(tǒng)的計(jì)算功耗，可以在電路[1，2]、架構(gòu)[3]、算法[4]三個(gè)層面上實(shí)現(xiàn)，電路級(jí)別主要是近似計(jì)算單元的設(shè)計(jì)。近似計(jì)算適合具有容錯(cuò)性[5]的應(yīng)用，容錯(cuò)性是指應(yīng)用計(jì)算過程中出現(xiàn)的一些錯(cuò)誤不會(huì)對(duì)最終輸出結(jié)果產(chǎn)生嚴(yán)重影響。人工神經(jīng)網(wǎng)絡(luò)是典型的容錯(cuò)性應(yīng)用之一，它的容錯(cuò)性主要來源于兩個(gè)方面：一個(gè)是分層分布式結(jié)構(gòu)使其具有弱化計(jì)算錯(cuò)誤對(duì)輸出質(zhì)量影響程度的能力，另一個(gè)是特有的訓(xùn)練過程可以減少實(shí)際輸出和理想輸出的誤差。而人工神經(jīng)網(wǎng)絡(luò)作為人工智能的主流實(shí)現(xiàn)算法正在蓬勃發(fā)展，基于其特殊的計(jì)算模式，相比于CPU或者GPU，利用專用的神經(jīng)網(wǎng)絡(luò)加速器[6]進(jìn)行計(jì)算是一種更高效的設(shè)計(jì)，神經(jīng)網(wǎng)絡(luò)加速器主要由乘加計(jì)算單元構(gòu)成，大量的乘加計(jì)算會(huì)產(chǎn)生很高的功耗。隨著人工智能向移動(dòng)化發(fā)展，考慮到電池供電的特性，神經(jīng)網(wǎng)絡(luò)加速器的低功耗設(shè)計(jì)成為一大需求。結(jié)合近似計(jì)算和神經(jīng)網(wǎng)絡(luò)的特性以及需求，將近似計(jì)算技術(shù)加人神經(jīng)網(wǎng)絡(luò)加速器中具有很好的應(yīng)用前景。

已有的研究[7，8]通常在算法層面上將近似計(jì)算技術(shù)加入到簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)，而缺乏在電路級(jí)別將近似計(jì)算單元加人神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)。本文研究了近似計(jì)算單元對(duì)神經(jīng)網(wǎng)絡(luò)輸出質(zhì)量和功耗的影響，為其應(yīng)用提供指導(dǎo)原則，提出了一套完整的設(shè)計(jì)方法，可以在電路級(jí)別為神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行最優(yōu)的近似設(shè)計(jì)，在降低輸出質(zhì)量損失的同時(shí)，盡可能地降低系統(tǒng)計(jì)算功耗。

1 近似加法器及誤差衡量指標(biāo)

神經(jīng)網(wǎng)絡(luò)加速器中最基本的計(jì)算單元是加法器，因此近似計(jì)算單元的設(shè)計(jì)往往是近似加法器和近似乘法器的設(shè)計(jì)。

1.1 精確加法器

精確1-bit加法器實(shí)現(xiàn)兩操作數(shù)相加，邏輯表達(dá)式如下：

最基本的全加器電路結(jié)構(gòu)是按照式（1）和式（2）由兩個(gè)異或門、兩個(gè)與門和一個(gè)或門構(gòu)成，本文以上述經(jīng)典結(jié)構(gòu)來實(shí)現(xiàn)精確加法器，為近似加法器提供對(duì)比基準(zhǔn)。

1.2 近似鏡像加法器

近似鏡像加法器（AMA）[9]是在鏡像加法器（MA）的基礎(chǔ)上設(shè)計(jì)的，相比傳統(tǒng)CMOS電路的對(duì)偶結(jié)構(gòu)，MA的鏡像結(jié)構(gòu)可以保證移除部分晶體管時(shí)不會(huì)出現(xiàn)電源到地短路或輸出斷路的情況。通過移除部分計(jì)算電路的晶體管，得到三種近似鏡像加法器（AMA1、AMA2、AMA3），如圖1所示，極大降低了計(jì)算功耗。

1.3 低位或加法器（LOA）

低位或加法器（LOA）[7]將一個(gè)P位的加法器拆分成兩個(gè)分別為m位和n位的小加法器（p=m+n），其中m位的小加法器由精確加法器構(gòu)成，而n位的小加法器由或門構(gòu)成，實(shí)現(xiàn)兩個(gè)操作數(shù)低n位的近似相加，如圖2所示。由于舍棄了低位部分的進(jìn)位鏈，LOA在功耗、延遲和面積方面都有不錯(cuò)的表現(xiàn)。

1.4 低位忽略加法器（LIA）

低位忽略加法器（LIA）并不是一種具體的近似計(jì)算單元，而是對(duì)減少位寬這種近似方法的一個(gè)抽象，將低位直接截?cái)嗪螅贿M(jìn)行高位的加法運(yùn)算，可以理解成輸出恒為0的近似加法器，用其來實(shí)現(xiàn)低位部分的相加，通過這種抽象，可以使減少位寬的近似方法與近似加法器有統(tǒng)一的描述，以便后面作為衡量近似加法器的一個(gè)基準(zhǔn)。

1.5 誤差衡量指標(biāo)

各個(gè)近似加法器差別很大，本文使用以下幾個(gè)指標(biāo)綜合衡量其誤差特性：

（1）誤差率

誤差率指近似計(jì)算單元錯(cuò)誤輸出占總輸出的比例，可以反應(yīng)近似計(jì)算單元出錯(cuò)的頻率。

（2）平均誤差距離

誤差距離[10]指近似輸出與精確輸出的差值，大量輸入下的平均效應(yīng)能更好地反應(yīng)近似加法器的誤差累積效應(yīng)，平均誤差距離越大，誤差累積越嚴(yán)重，對(duì)輸出質(zhì)量影響越大。近似計(jì)算單元的所有輸入具有隨機(jī)性，可以認(rèn)為呈現(xiàn)均勻分布，因此對(duì)所有輸入下的誤差距離求均值即可獲得平均誤差距離。

（3）最大誤差距離

最大誤差距離指近似加法器在單次計(jì)算中可能出現(xiàn)的最大誤差，反應(yīng)最大的誤差嚴(yán)重程度，最大誤差距離越大，越容易對(duì)應(yīng)用的結(jié)果產(chǎn)生嚴(yán)重影響。

2 近似加法器的誤差特性分析

本文利用MATLAB建立誤差模型，從多個(gè)指標(biāo)綜合分析誤差特性，為近似加法器在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用提供指導(dǎo)原則。

多位近似加法器在實(shí)際應(yīng)用中通常分成高位精確部分和低位近似部分，通過建立一個(gè)模型框架，高位采用精確加法器，低位替換成各種近似加法器，即可實(shí)現(xiàn)模型復(fù)用，將5種近似加法器LIA、LOA、AMA1、AMA2、AMA3的真值表導(dǎo)入框架，設(shè)定多位加法器的總位寬N為8位，近似位寬k分別設(shè)定為1～8位，讓模型遍歷所有可能的輸入，以精確加法器輸出為基準(zhǔn)，統(tǒng)計(jì)各種誤差指標(biāo)，如圖3所示，橫坐標(biāo)是近似部分位寬，縱坐標(biāo)分別是誤差率、平均誤差距離、最大誤

仿真結(jié)果表明，隨著近似位寬的增大，5種近似加法器的誤差率都不斷增大，LOA誤差率最低，而LIA的誤差率最高。LOA和AMA3的平均誤差距離最小并且基本不隨近似位寬而變化，不會(huì)產(chǎn)生嚴(yán)重的誤差累積，而LIA和AMA2的平均誤差距離的絕對(duì)值比較大，并且隨著近似位寬的增大誤差累積越來越嚴(yán)重。此外，LIA的最大誤差距離明顯大于其余4種近似加法器，表明LIA在實(shí)際應(yīng)用中很容易對(duì)計(jì)算結(jié)果產(chǎn)生嚴(yán)重影響，而LOA和AMA3的最大誤差距離是最小的。

綜合以上指標(biāo)，理論上，在將近似加法器加人到神經(jīng)網(wǎng)絡(luò)時(shí)，LOA和AMA3對(duì)網(wǎng)絡(luò)的影響是最小的，而傳統(tǒng)減少位寬的方法影響是最大的。

3 近似加法器的日SPICE仿真及功耗特性分析

本文利用HSPICE，使用SMIC40nm工藝的單元庫設(shè)計(jì)各加法器，采用TT工藝角，在電源電壓1.1V和測(cè)試溫度25℃的條件下，對(duì)幾種近似加法器和精確加法器進(jìn)行功耗仿真，由于靜態(tài)功耗相比動(dòng)態(tài)功耗非常小，本文只考慮動(dòng)態(tài)功耗。輸入包含64種狀態(tài)轉(zhuǎn)變情況的激勵(lì)波形，通過瞬態(tài)分析獲得如圖4所示的功耗跡曲線。

仿真結(jié)果表明，加法器在不同狀態(tài)轉(zhuǎn)變時(shí)產(chǎn)生的功耗差別很大，不同加法器的功耗跡形狀也不同。對(duì)64種狀態(tài)轉(zhuǎn)變下的功耗求平均值，用平均功耗來表征加法器的功耗水平?？梢钥闯?，近似加法器的平均功耗均明顯低于精確加法器，LOA和AMA3相比于精確加法器減少了約85%的功耗。

4 近似加法器在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

4.1 近似神經(jīng)網(wǎng)絡(luò)的搭建

在Python環(huán)境下搭建了5層的多層感知機(jī)MLP-5和8層的卷積神經(jīng)網(wǎng)絡(luò)CNN-8，如圖5所示。網(wǎng)絡(luò)中每一層的神經(jīng)元數(shù)量可以通過參數(shù)設(shè)定，激活函數(shù)可以選擇為tanh函數(shù)或者sigmoid函數(shù)，網(wǎng)絡(luò)具有很大的靈活性，可以適配不同的應(yīng)用。MLP-5網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，采用全連接結(jié)構(gòu)，分類IRIS數(shù)據(jù)集，而CNN-8包含卷積層、池化層和全連接層，相對(duì)復(fù)雜，分類MNIST數(shù)據(jù)集。采用12位定點(diǎn)數(shù)數(shù)據(jù)格式訓(xùn)練網(wǎng)絡(luò)，MLP-5和CNN-8分別達(dá)到97.78%和96.7%的分類準(zhǔn)確率。兩種網(wǎng)絡(luò)的乘加計(jì)算量見表1。

為了研究近似加法器對(duì)神經(jīng)網(wǎng)絡(luò)輸出質(zhì)量和功耗的影響，需要將網(wǎng)絡(luò)中的精確加法器替換成近似加法器，而傳統(tǒng)框架（如TensorFlow）很難單獨(dú)對(duì)加法運(yùn)算進(jìn)行修改，設(shè)計(jì)效率低，而本文搭建的網(wǎng)絡(luò)靈活性很大，每一個(gè)神經(jīng)元的加法器以及位寬都可以單獨(dú)修改，非常適合搭建近似神經(jīng)網(wǎng)絡(luò)。

根據(jù)每種近似加法器的真值表編寫對(duì)應(yīng)的近似加法函數(shù)，并且編寫了兩層結(jié)構(gòu)的多位加法函數(shù)，高位部分采用精確加法函數(shù)，低位部分采用近似加法器對(duì)應(yīng)的近似加法函數(shù)，總位寬為12位，低位近似部分的位寬可以修改，如圖6所示，最后在MLP-5和CNN-8的基礎(chǔ)上，利用多位近似加法函數(shù)替換多位精確加法函數(shù)，搭建近似神經(jīng)網(wǎng)絡(luò)。而通過替換近似加法函數(shù)、修改近似位寬，可以研究不同誤差特性和不同近似位寬的加法器對(duì)神經(jīng)網(wǎng)絡(luò)的影響。

在圖6中，m為近似位寬，而m-bit的近似加法器可以由LIA、LOA、AMAl、AMA2、AMA3的任意一種構(gòu)成。

4.2 衡量指標(biāo)

本文從輸出質(zhì)量、歸一化功耗、整體收益三個(gè)指標(biāo)來綜合衡量近似加法器對(duì)神經(jīng)網(wǎng)絡(luò)的影響。

（1）輸出質(zhì)量

輸出質(zhì)量具體指MLP-5和CNN-8對(duì)相應(yīng)數(shù)據(jù)集的分類準(zhǔn)確率。

（2）歸一化功耗

神經(jīng)網(wǎng)絡(luò)的功耗通常指執(zhí)行階段的功耗，即執(zhí)行單次分類任務(wù)產(chǎn)生的功耗，又可分解為參數(shù)訪存功耗和計(jì)算功耗。計(jì)算功耗與操作次數(shù)以及單次操作功耗有關(guān)，神經(jīng)網(wǎng)絡(luò)中涉及到的計(jì)算包括加法運(yùn)算、乘法運(yùn)算和非線性激活函數(shù)的運(yùn)算。由于本文只修改了MLP-5和CNN-8網(wǎng)絡(luò)中的加法器，后續(xù)的功耗分析都是針對(duì)加法計(jì)算功耗。根據(jù)上面功耗分析的結(jié)果，可以估算得到加法計(jì)算功耗E_APPRO，并且除以精確網(wǎng)絡(luò)的加法計(jì)算功耗E_ACC，得到各個(gè)近似神經(jīng)網(wǎng)路的歸一化加法計(jì)算功耗NE。

（3）輸出質(zhì)量一功耗收益

本文提出了輸出質(zhì)量一功耗收益的概念來綜合評(píng)估近似加法器的影響，對(duì)于一個(gè)近似神經(jīng)網(wǎng)絡(luò)，其輸出質(zhì)量一功耗收益定義為：式中：E_SAVE為功耗的節(jié)省值，Q_LOSS為輸出質(zhì)量的損失值，w₁和w₂為權(quán)重，根據(jù)不同應(yīng)用對(duì)輸出質(zhì)量和功耗的要求，可以設(shè)置不同的權(quán)重，輸出質(zhì)量一功耗收益數(shù)值越大，表示整體收益越高。本文w₁和w₂都設(shè)置為1，指每單位輸出質(zhì)量損失下功耗的節(jié)省值。通過輸出質(zhì)量一功耗收益指標(biāo)，可以為應(yīng)用找到收益最高的設(shè)計(jì)。

4.3 試驗(yàn)結(jié)果

將本文提出的兩層結(jié)構(gòu)多位近似加法器模型加入MLP-5和CNN-8中，探究不同誤差特性的近似加法器（LIA、LOA、AMAI、AMA2、AMA3）和不同近似位寬（1～8位）對(duì)4.2節(jié)神經(jīng)網(wǎng)絡(luò)三個(gè)指標(biāo)的影響，結(jié)果如圖7、圖8所示。

圖7中橫坐標(biāo)均表示低位近似部分的位寬，實(shí)線表示分類準(zhǔn)確率，虛線表示歸一化功耗。仿真發(fā)現(xiàn)，不同誤差特性的近似加法器對(duì)神經(jīng)網(wǎng)絡(luò)分類準(zhǔn)確率的影響差別很大，LOA和AMA3對(duì)網(wǎng)絡(luò)輸出質(zhì)量影響最小，LIA和AMA2影響最大。試驗(yàn)結(jié)果與誤差特性理論分析預(yù)測(cè)的結(jié)果是一致的，這表明，平均誤差越小的近似加法器對(duì)神經(jīng)網(wǎng)絡(luò)的輸出質(zhì)量影響越小，原因在于實(shí)際運(yùn)算時(shí)誤差可以互相削弱甚至補(bǔ)償，誤差累積小，而傳統(tǒng)減少位寬的近似方法是最差的方案。其次，隨著近似位寬的增加，分類準(zhǔn)確率不斷下降，且存在一個(gè)突變節(jié)點(diǎn)，當(dāng)近似位寬大于閾值之后，分類準(zhǔn)確率嚴(yán)重下降。不同近似加法器的近似閾值存在差別，在CNN-8網(wǎng)絡(luò)中，LOA、AMA3為6位，LIA和AMA2為2位。此外，歸一化加法計(jì)算功耗隨著近似位寬增加線性下降。特別地，當(dāng)近似位寬位為閾值時(shí)，LOA和AMA3能減少約45%的加法計(jì)算功耗，而LIA只能減少約20%。

而從本文提出的整體收益角度看，計(jì)算出各種近似設(shè)計(jì)下的輸出質(zhì)量一功耗收益，如圖8所示，橫坐標(biāo)表示近似位寬，縱坐標(biāo)表示輸出質(zhì)量一功耗綜合收益數(shù)值，研究發(fā)現(xiàn)，LOA、AMA3為網(wǎng)絡(luò)帶來的輸出質(zhì)量一功耗收益最高，LIA、AMA2的收益最低，且每種近似加法器都存在一個(gè)收益最高的近似位寬，輸出質(zhì)量一功耗收益隨著近似位寬的增大先上升后下降，以MLP-5為例，采用LOA和AMA3近似5位時(shí)為網(wǎng)絡(luò)帶來的整體收益最高。采用這種方法可以很直觀地為不同應(yīng)用找到最合適的近似加法器以及近似位寬。而通過改變輸出質(zhì)量一功耗收益指標(biāo)中的權(quán)重值，可以滿足不同應(yīng)用對(duì)輸出質(zhì)量、功耗的不同需求，實(shí)現(xiàn)不同應(yīng)用的最優(yōu)近似設(shè)計(jì)。5結(jié)論

本文提出了一套完整的面向神經(jīng)網(wǎng)絡(luò)加速器的電路級(jí)近似計(jì)算單元的設(shè)計(jì)方法，通過對(duì)近似加法器進(jìn)行誤差和功耗分析，為其在神經(jīng)網(wǎng)絡(luò)的應(yīng)用提供指導(dǎo)原則，通過搭建靈活性高的典型神經(jīng)網(wǎng)絡(luò)框架和近似加法器的算法模型，解決了傳統(tǒng)網(wǎng)絡(luò)框架不便于進(jìn)行近似處理的問題，研究了不同誤差特性和不同近似位寬的加法器對(duì)神經(jīng)網(wǎng)絡(luò)的影響，研究表明，平均誤差小的近似加法器對(duì)神經(jīng)網(wǎng)絡(luò)的輸出質(zhì)量影響小，且存在近似位寬閾值，超過閾值會(huì)導(dǎo)致輸出質(zhì)量驟降，近似加法器可以大幅降低加法計(jì)算功耗。而采用本文提出的輸出質(zhì)量一功耗收益指標(biāo)，可以直觀地在電路級(jí)別對(duì)不同應(yīng)用進(jìn)行最優(yōu)設(shè)計(jì)。當(dāng)然，本研究還存在一些不足，只對(duì)加法器進(jìn)行了近似處理，但從表1看出神經(jīng)網(wǎng)絡(luò)中乘法運(yùn)算也占據(jù)很大比重，進(jìn)一步對(duì)乘法器進(jìn)行近似處理可以降低更多的計(jì)算功耗。此外，神經(jīng)網(wǎng)絡(luò)內(nèi)部各個(gè)神經(jīng)元容錯(cuò)性存在很大差異，充分利用差異對(duì)近似方法進(jìn)行優(yōu)化可以為神經(jīng)網(wǎng)絡(luò)加速器帶來更高的收益。

參考文獻(xiàn)

[1]Gupta V，Mohapatra D，Raghunathan A，et al.Low-powerdigital signal processing using approximate adders[J].IEEETransactions on Computer-Aided Design of Integrated Circuitsand Systems，2013，32（1）：124-137.

[2]Yang T，Ukezono T，Sato T.A low-power yet high-speedconfigurable adder for approximate computing[C]//InternationalSymposium on Circuits and Systems，2018.

[3]Liu B，Dong W，Xu T，et al.E-ERA：An energy-efficientreconfigurable architecture for RNNs using dynamically adaptiveapproximate computing[J].Ieice Electronics Express，2017，14（15）：66-77.

[4]Ho N M，Manogaran E，Wong W F，et al.Efficient floatingpoint precision tuning for approximate computing[C]//DesignAutomation Conference.IEEE，2017：63-68.

[5]Venkatesan R，Agarwal A，Roy K，et al.MACACO：Modelingand analysis of circuits for approximate computing[C]//IEEE/ACM International Conference on Computer-Aided Design.IEEE，2011：667-673.

[6]Huynh T V Deep neural network accelerator based on FPGA[C]//Nafosted Conference on Information and Computer Science，2017：254-257.

[7]Mahdiani H R，Ahmadi A，F(xiàn)akhraie S M，et al.Bio-inspired imprecise computational blocks for efficient VLSIimplementation of soft-computing applications[J].IEEETransactions on Circuits&Systems，2010，57（4）：850-862.

[8]Venkataramani S，Ranjan A，Roy K，et al.AxNN：energy-efficient neuromorphic systems using approximate computing[C]//Low Power Electronics and Design（ISLPED），2014.

[9]Gupta V，Mohapatra D，Sang P P，et al.IMPACT：Impreciseadders for low-power approximate computing[C]//Low PowerElectronics and Design.IEEE，2011：409-414.

[10]Liang J，Han J，Lombardi F.New metrics for the reliability ofapproximate and probabilistic adders[J].IEEE Transactions onComputers，2013，62（9）：1760-1771.