一種基于權(quán)值縮減克服IR－Drop 的憶阻器陣列神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

繆偉偉

（合肥工業(yè)大學(xué) 計算機與信息學(xué)院， 合肥 230601）

0 引 言

深度神經(jīng)網(wǎng)絡(luò)（DNN）中存在大量的矩陣乘法運算。 然而隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷增加，利用傳統(tǒng)處理器實現(xiàn)矩陣乘法會造成計算時間過長和能耗過大。 新型器件憶阻器（memristor）為實現(xiàn)矩陣乘法提供了一種更高效的方式［1］，能夠以O(shè)（1） 的時間復(fù)雜度實現(xiàn)矩陣乘法。 并且與傳統(tǒng)的CMOS ASIC 和GPU 解決方案相比，憶阻器陣列可以將能效提高100 倍以上［2-3］。 憶阻器陣列實現(xiàn)矩陣乘法的結(jié)構(gòu)如圖1 所示。

圖1 利用憶阻器陣列實現(xiàn)矩陣乘法Fig． 1 The implementation of matrix multiplication using memristor－based crossbar

圖1 中，憶阻器的電導(dǎo)值gij表示神經(jīng)網(wǎng)絡(luò)的權(quán)值，為憶阻器電阻值的倒數(shù)。 對憶阻器陣列的第i行施加一個電壓矢量Vi，流經(jīng)第i行第j列憶阻器的電流為gij·Vi，第j列的輸出電流，即為輸入向量與權(quán)值矩陣第j列的乘積結(jié)果。

盡管憶阻器具有很好的應(yīng)用前景，但是由于IR-Drop 問題，會導(dǎo)致憶阻器陣列計算精度下降。IR-Drop 會造成輸入端電壓與實際到達憶阻器的計算電壓之間存在偏差，導(dǎo)致憶阻器的實際輸出偏移理想輸出，憶阻器陣列計算精度降低。 在本文中，將輸入端電壓稱為理想計算電壓，實際到達憶阻器的計算電壓稱為實際計算電壓。 憶阻器離輸入端和輸出端越遠，IR-Drop 造成的理想計算電壓和實際計算電壓的偏差越大，憶阻器的理想輸出電流和實際輸出電流的偏差也越大［4-5］。 并且隨著憶阻器陣列規(guī)模的增大，IR-Drop 對憶阻器陣列計算精度的影響也越明顯。 例如，當(dāng)憶阻器陣列規(guī)模從16×16 增大到128×128 時，計算精度降低了35%［5］。

為減輕憶阻器陣列中IR-Drop 的影響，文獻［5］、文獻［6］分別提出主成分分析（Principal Component Analysis， PCA） 和 奇 異 值 分 解（Singular Value Decomposition， SVD）的方法將大矩陣分解為2 個小矩陣的乘積。 通過減小憶阻器陣列規(guī)模，降低IRDrop 對憶阻器陣列計算精度的影響。 文獻［7］、文獻［8］分別在憶阻器陣列每列的輸出端添加對應(yīng)的平均電流偏移量以及調(diào)整每列跨阻放大器（TIA）的阻值，以此直接減小列輸出的偏差。 文獻［4］、文獻［9］在網(wǎng)絡(luò)訓(xùn)練中加入憶阻器陣列的IR-Drop 模型，使訓(xùn)練出的權(quán)值對IR-Drop 具有更好的魯棒性。

IR-Drop 會降低憶阻器的實際計算電壓，進而影響憶阻器的輸出結(jié)果。 但憶阻器的輸出結(jié)果等于憶阻器的實際計算電壓與權(quán)值的乘積。 憶阻器的權(quán)值越小，IR-Drop 造成的輸出結(jié)果偏差也越小。 假設(shè)理想計算電壓為1 V，憶阻器的實際計算電壓為0.8 V。當(dāng)憶阻器權(quán)值為5 時，憶阻器的輸出結(jié)果偏差則為｜1-0.8 ｜×5 ＝1。 而當(dāng)憶阻器權(quán)值為1 時，憶阻器的理想輸出結(jié)果與實際輸出結(jié)果的偏差為｜1-0.8 ｜×1 ＝0.2。 同時映射到憶阻器的權(quán)值越小，憶阻器阻值越大，IR-Drop 對憶阻器實際計算電壓的影響也就越小，造成憶阻器輸出結(jié)果偏差也越?。?］。因此，小權(quán)值會使憶阻器輸出結(jié)果對IR-Drop 有更好的魯棒性。

為減小IR-Drop 對憶阻器陣列計算精度的影響，本文提出了一種基于權(quán)值縮減的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法（A Network Training Weight Reduction），為敘述方便在后續(xù)部分中簡稱為NTWR。 首先，在網(wǎng)絡(luò)訓(xùn)練中添加L2 正則化，以此使訓(xùn)練出的權(quán)值盡可能小，從而提高憶阻器陣列計算精度對IR-Drop 的魯棒性。 然后，本文通過基于行列約束的映射算法將大權(quán)值映射到離輸入端和輸出端較近的位置，避免大權(quán)值映射到IR-Drop 影響較大的憶阻器上，產(chǎn)生較大的輸出結(jié)果偏差。 在確定權(quán)值與憶阻器的映射關(guān)系后，可能仍存在部分大權(quán)值映射到離輸入端和輸出端較遠處的憶阻單元上，導(dǎo)致憶阻器陣列計算精度降低。 最后，減小映射到離輸入端和輸出端較遠處的大權(quán)值，再利用重訓(xùn)練調(diào)整附近權(quán)值以恢復(fù)由于減小權(quán)值帶來的計算精度損失。 不斷迭代減小權(quán)值和重訓(xùn)練，直到憶阻器陣列的計算精度無法提升為止。

1 基于權(quán)值縮減的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

1．1 NTWR 方法的整體流程

NTWR 方法的整體流程如圖2 所示。 由圖2 可看到，第一步是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中添加L2 正則化，使訓(xùn)練出的權(quán)值分布在較小值的范圍，從而減小IR-Drop對憶阻器陣列計算精度的影響。 第二步是在得到訓(xùn)練好的網(wǎng)絡(luò)權(quán)值后，執(zhí)行行列映射算法將大權(quán)值映射到離輸入端和輸出端較近的位置，避免大權(quán)值映射到IR-Drop 影響較大的位置，造成較大的計算精度損失。 第三步是在執(zhí)行映射算法后，減小映射在IR-Drop 影響較大處的權(quán)值，以此降低IR-Drop 造成的輸出結(jié)果偏差。 再執(zhí)行重訓(xùn)練恢復(fù)由于權(quán)值減小造成的計算精度損失，直到憶阻器陣列計算精度無法提升為止。

圖2 NTWR 的總體流程Fig． 2 The overall process of NTWR

1．2 L2 正則化

在本節(jié)中，將詳細探討L2 正則化在神經(jīng)網(wǎng)絡(luò)權(quán)值訓(xùn)練中的作用。 研究時在訓(xùn)練中增加L2 正則化，是因為L2 正則化在訓(xùn)練過程中對大權(quán)重具有更大的偏向性， 可以將權(quán)重分布縮小到較小的值范圍［10］，進而提高憶阻器陣列的計算精度對IR-Drop的魯棒性。因此本文提出在損失函數(shù)中增加L2 正則化的懲罰項，利用L2 正則化使訓(xùn)練出的權(quán)值盡可能小，從而降低IR-Drop 的影響。 這里需用到的數(shù)學(xué)公式為:

其中，W是神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣；λ是正則化參數(shù)，用來控制L2 正則化對損失函數(shù)的重要性；是L2 正則化的懲罰項。

目前，比較流行的為L1 正則化方法和L2 正則化方法，可分別由如下公式進行描述:

如果在網(wǎng)絡(luò)訓(xùn)練中添加L1 正則化，則會使網(wǎng)絡(luò)權(quán)值為零，導(dǎo)致訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)稀疏化。 盡管稀疏化使大部分權(quán)值為零，不會對神經(jīng)網(wǎng)絡(luò)的計算精度造成較大的精度損失［11］，但會使神經(jīng)網(wǎng)絡(luò)的計算精度對訓(xùn)練出的非零權(quán)值更加敏感。 在IR-Drop 影響下，會造成非零權(quán)值的輸出結(jié)果出現(xiàn)偏差，對憶阻器陣列計算精度產(chǎn)生更大的影響。 而由文獻［12］分析可知，L2 正則化可以降低神經(jīng)網(wǎng)絡(luò)的敏感性，從而提高神經(jīng)網(wǎng)絡(luò)的魯棒性。 執(zhí)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，可以得到L2 正則化后的權(quán)值矩陣。 下面將對權(quán)值矩陣的映射算法進行研究闡述。

1．3 基于行列約束的映射算法

在本節(jié)中，將詳細介紹基于行列約束的映射算法（Mapping algorithm with the Constraint of Row and Column， MCRC）的具體步驟。 MCRC 算法的主要思想是將權(quán)值矩陣中未確定映射關(guān)系的最大值在行列約束下映射到離輸入端和輸出端最近的憶阻器上，以此最小化IR-Drop 對憶阻器陣列計算精度的影響。 其中，行列約束指的是權(quán)值矩陣同一行和同一列的權(quán)值在映射到憶阻器陣列后仍在同一行和同一列。 之所以需要令確定的映射關(guān)系滿足行約束，是因為施加在憶阻器陣列一行的理想計算電壓是同一個，而不同行的理想計算電壓是不同的。 例如，若將權(quán)值矩陣整個第1 行的權(quán)值映射到憶阻器陣列第2行，則只需要在憶阻器陣列第2 行施加權(quán)值矩陣第1 行的理想計算電壓V1，權(quán)值矩陣第1 行第j列的輸出結(jié)果仍為V1× w1j，如圖3（a）所示。 但是若權(quán)值矩陣第1 行的w11和w12分別映射到憶阻器陣列第2行和第3 行，則權(quán)值矩陣第1 行第2 列的輸出結(jié)果不再是V1×w12、而是V3×w12，如圖3（b）所示。 同理，每一列的輸出結(jié)果等于該列所有憶阻器的輸出結(jié)果之和，如果權(quán)值矩陣一列的權(quán)值被映射到憶阻器陣列的不同列上，同樣會導(dǎo)致輸出結(jié)果出現(xiàn)誤差。 故權(quán)值矩陣與憶阻器陣列的映射關(guān)系也需要滿足列約束。

圖3 基于行約束映射的舉例Fig． 3 The example of mapping with the constraint of row

憶阻器陣列實現(xiàn)多層神經(jīng)網(wǎng)絡(luò)時，每層憶阻器陣列的輸出都會連接下一層憶阻器陣列的輸入，如圖4 所示。如果調(diào)整第n層權(quán)值矩陣與憶阻器陣列的映射關(guān)系，例如將權(quán)值矩陣第i行映射到憶阻器陣列第j行，則原連接到第n層第i行的第n -1 層的輸出也需要重新連接到第n層的第j行。 同理，如果要將第n層權(quán)值矩陣第i列映射到憶阻器陣列第j列，則原連接第n層第i列和第j列的第n ＋1 層的輸入也需要交換連接。 因此，如果想要獨立映射每層權(quán)值矩陣的M行或M列，而不改變與相鄰層的連接，則需要使用M × M的路由模塊來連接相鄰層的憶阻器陣列，會帶來較大的硬件開銷［13］。 而MCRC算法是一種對憶阻器陣列通用的映射算法，無需得知憶阻器陣列的相關(guān)信息。 因此可以在確定每層權(quán)值矩陣與憶阻器陣列的映射關(guān)系后再制造憶阻器陣列，在多層神經(jīng)網(wǎng)絡(luò)中無需考慮映射帶來的硬件開銷，只需確定的映射關(guān)系滿足行列約束。 故本文提出的MCRC 算法可以同時執(zhí)行行映射和列映射。

圖4 憶阻器陣列實現(xiàn)多層神經(jīng)網(wǎng)絡(luò)Fig． 4 The implementation of multi－layer neural network using memristor－based crossbar

MCRC 算法的偽代碼具體見算法1。

算法1 MCRC 算法

輸入權(quán)值矩陣Wn ×m， 距離矩陣Dn ×m

輸出輸出映射結(jié)果

1.Tn ×m ＝｜ Wn ×m ｜，mapped_row［n］ 和mapped_col［m］ 全部置為-1，occupied［n］［m］ 全部置為false；

2.While （存在未確定映射關(guān)系的權(quán)值）

3. 在當(dāng)前Tn ×m中找到最大值，將其行序號和列序號分別賦給row，col

4.visited［n］［m］＝occupied［n］［m］

／ ／將occupied數(shù)組中的信息復(fù)制到visited數(shù)組中

5.While（true）

6. 在當(dāng)前Dn ×m找到visited［i］［j］＝false的最小值，將其行序號和列序號分別賦給i，j

7.If（ （mapped_row［i］＝-1or mapped_row［i］＝row）and（mapped_col［i］＝ -1or mapped_col［j］＝col））

／

／判斷是否滿足行列約束

8.mapped_row［i］＝row，mapped_col［j］＝col；

／

／將確定的映射關(guān)系存儲到數(shù)組中

9.occupied［i］［j］＝ true，T［row］［col］＝-1；

／ ／更新狀態(tài)

10.break；／ ／跳出當(dāng)前while循環(huán)

11.End

12.visited［i］［j］＝true；

／

／標(biāo)記當(dāng)前位置被訪問

13. End

14.End

15.輸出映射結(jié)果

在算法中，輸入為權(quán)值矩陣Wn ×m和距離矩陣Dn ×m。 距離矩陣第i行第j列的元素Dij表示憶阻器陣列第i行第j列的憶阻器離輸入端和輸出端的距離。 以離輸入端和輸出端最近的憶阻器為原點，字線為橫坐標(biāo)，位線為縱坐標(biāo)，建立坐標(biāo)軸，如圖5 所示。 以橫坐標(biāo)和縱坐標(biāo)之和表示憶阻器離輸入端和輸出端的距離，如Dij ＝i ＋j。

圖5 在憶阻器陣列上建立坐標(biāo)軸Fig． 5 The coordinate system based on memristor－based crossbar

算法1 中，偽代碼的第1 行，對矩陣Tn ×m、數(shù)組mapped_row、mapped_col和occupied進行初始化。Tn ×m為Wn ×m的絕對值矩陣，其中Tij ＝｜Wij ｜。 數(shù)組mapped_row和mapped_col分別用于存儲確定的行映射關(guān)系和列映射關(guān)系。 數(shù)組occupied用于標(biāo)記憶阻器陣列中憶阻器是否已確定映射關(guān)系，occupied［i］［j］＝true表示憶阻器陣列第i行第j列的憶阻器已確定映射關(guān)系。

下面通過具體的例子來闡釋基于MCRC 算法的具體執(zhí)行過程。假設(shè)矩陣Tn ×m、距離矩陣Dn ×m和數(shù)組occupied分別為、D3×3和。 研究推得的各矩陣值具體如下:

算法1 偽代碼第3 ～4 行， 按照Tn ×m中值大小降序確定權(quán)值的映射關(guān)系，令row和col分別為Tn ×m中最大值的行序號和列序號。 利用數(shù)組visited標(biāo)記憶阻器是否被訪問過或已確定重映射關(guān)系。 例如在中，最大值為T22＝1，row＝2，col＝2。

算法1 偽代碼第6 行，按照離輸入端和輸出端的距離升序選擇能在行列約束下與權(quán)值確定映射關(guān)系的憶阻器，令i和j分別為Dn ×m中visited［i］［j］＝false的最小值的行序號和列序號。 例如在當(dāng)前D3×3中visited［i］［j］＝false的最小值為D00，i和j均為0。

算法1 偽代碼第7～11 行，判斷權(quán)值矩陣第row行第col列權(quán)值映射到憶阻器陣列第i行第j列憶阻器是否滿足行列約束。 如果滿足行列約束，則保存確定的映射關(guān)系，更新相應(yīng)狀態(tài)。 例如在當(dāng)前中，mapped_row［0］ 和mapped_col［0］ 均為-1，即憶阻器陣列第0 行和第0 列都未確定映射關(guān)系。 因此，權(quán)值矩陣第2 行第2 列的權(quán)值與憶阻器陣列第0行第0 列確定映射關(guān)系。mapped_row［0］＝ 2，mapped_col［0］＝2，和分別更新為和， 跳出當(dāng)前while 循環(huán)。 研究推得的各矩陣值具體如下:

算法1 偽代碼第2 ～14 行，若還存在未確定映射關(guān)系的權(quán)值，則繼續(xù)執(zhí)行算法。 如中仍存在未確定映射關(guān)系的權(quán)值，因此繼續(xù)執(zhí)行算法。 在中，最大值為T21＝0.9，row＝2，col＝1。 將的信息復(fù)制到數(shù)組visited中。 在當(dāng)前D3×3中visited［i］［j］＝false的最小值為D10，i＝1，j＝0。 因mapped_col［0］＝2 且mapped_col［0］ ≠1，即憶阻器陣列第0 列已經(jīng)確定映射關(guān)系，且并不是權(quán)值矩陣第1 列確定的映射關(guān)系，因此不滿足行列約束。 將visited［1］［0］ 置為true，繼續(xù)尋找當(dāng)前D3×3中visited［i］［j］＝false的最小值。 此時滿足條件的最小值為D01，i＝0，j＝1。mapped_row［0］≠1但mapped_row［0］＝2，并且mapped_col［1］＝-1，滿足行列約束。 因此，權(quán)值矩陣第2 行第1 列的權(quán)值與憶阻器陣列第0 行第1 列確定映射關(guān)系。mapped_row［0］＝2，mapped_col［1］＝1，和分別更新為和，跳出當(dāng)前while循環(huán)。 由于在中仍有未確定映射關(guān)系的權(quán)值，因此繼續(xù)根據(jù)上述步驟執(zhí)行算法，直到所有權(quán)值確定映射關(guān)系。 研究推得的各矩陣值具體如下:

算法1 偽代碼第15 行，當(dāng)Tn ×m中所有值確定映射關(guān)系后，輸出映射結(jié)果。 如對繼續(xù)執(zhí)行算法，可以得到映射后的T3×3為。 推得的矩陣值具體如下:

1．4 重訓(xùn)練算法

盡管利用MCRC 算法可以盡可能避免大權(quán)值映射到離輸入端和輸出端較遠的憶阻器上，但大權(quán)值若聚集于一行或一列，則無法避免地會有部分較大權(quán)值被映射到離輸入端和輸出端較遠的憶阻器上，導(dǎo)致憶阻器陣列計算精度的下降。 因此，本文提出一種重訓(xùn)練算法，通過減小映射到離輸入端和輸出端較遠處的權(quán)值，降低IR-Drop 對輸出結(jié)果的影響。 再通過重訓(xùn)練，恢復(fù)權(quán)值減小造成的計算精度損失。 重訓(xùn)練算法的偽代碼具體見算法2。

算法2 重訓(xùn)練算法

輸入映射后的權(quán)值矩陣， 距離矩陣Dn ×m， 偏差矩陣， IR - Drop 影響矩陣Sn×m

輸出輸出新的權(quán)值矩陣

1.While （憶阻器陣列計算精度仍可提升）

2. 初始化Modified［n］［m］，全部置為false

／

／用于標(biāo)記修改過的權(quán)值

3. 在當(dāng)前Sn ×m中找到最大值，將對應(yīng)的權(quán)值賦給Wij

4.Wij ＝Wij ／2／ ／減小權(quán)值

5.Modified［i］［j］＝true

／

／將權(quán)值進行標(biāo)記，重訓(xùn)練中不更新該權(quán)值

7. 測試重訓(xùn)練后憶阻器陣列的計算精度

8. 重新計算Sn×m

9. End

算法2 偽代碼第2 ～4 行是迭代將IR-Drop 影響最大的權(quán)值減小為原來的1／2，再通過標(biāo)記該權(quán)值，使其在后續(xù)重訓(xùn)練中不更新。 由于減小權(quán)值會造成計算精度的降低，因此通過重訓(xùn)練來恢復(fù)計算精度，參見偽代碼第6 行。 在重訓(xùn)練時，為避免權(quán)值出現(xiàn)較大變化，造成映射到離輸入端和輸出端較遠處的小權(quán)值突然更新為大權(quán)值的情況，可以以較小的學(xué)習(xí)率訓(xùn)練神經(jīng)網(wǎng)絡(luò)。 較小的學(xué)習(xí)率可以使權(quán)值以小細粒度進行調(diào)整，避免權(quán)值出現(xiàn)較大的變化［14］。 偽代碼第7 行測試重訓(xùn)練后憶阻器陣列的計算精度，更新矩陣Sn×m。 如果相較于重訓(xùn)練前，憶阻器陣列計算精度有所提升，則繼續(xù)執(zhí)行算法。如果憶阻器陣列的計算精度無法繼續(xù)提升，則結(jié)束算法，輸出映射后的權(quán)值矩陣。

2 實驗結(jié)果和分析

2．1 實驗設(shè)置

為了驗證NTWR 算法的有效性，在2 個數(shù)據(jù)集上進行了實驗。 首先，在Pytorch 上構(gòu)建了一個4 層卷積神經(jīng)網(wǎng)絡(luò)，采用MINST 數(shù)據(jù)集對其進行測試，輸入圖像的大小為28×28，由3 個卷積層和1 個全連接層組成。 然后，在Pytorch 上構(gòu)建了LeNet，采用CIFAR-10 數(shù)據(jù)集進行測試，即由2 個卷積層、3 個全連接層組成。 憶阻器的電阻范圍為10 kΩ ～1 MΩ，憶阻器陣列中憶阻單元之間的導(dǎo)線電阻為2.5 Ω，參數(shù)配置見表1。

表1 實驗參數(shù)設(shè)置Tab． 1 Experimental parameters setup

2．2 實驗結(jié)果及分析

圖6 為MINST 數(shù)據(jù)集上的4 層卷積神經(jīng)網(wǎng)絡(luò)未添加L2 正則化和添加L2 正則化的權(quán)值分布圖。從圖6 中可以明顯看出，與不添加L2 正則化相比，添加L2 正則化可以將權(quán)值分布約束在一個較小值的范圍內(nèi)。 圖7 為只考慮未添加L2 正則化和添加L2 正則化的憶阻器陣列計算精度對比圖。 從圖7 中可以看出， 添加L2 正則化后， MINST 數(shù)據(jù)集和CIFAR-10 下憶阻器陣列的計算精度可以分別提升15.30%和11.40%。可以得出相較于未添加L2 正則化，添加L2 正則化雖然會有部分計算精度損失，但是訓(xùn)練出的權(quán)值對IR-Drop 的魯棒性有顯著提高。

圖6 MINST 數(shù)據(jù)集上未添加L2 正則化和添加L2 正則化的權(quán)值分布圖Fig． 6 The weight distribution with and without L2 regularization on MINST

圖8 為在MINST 和CIFAR 數(shù)據(jù)集下執(zhí)行NTWR方法前后的計算精度對比圖。 從圖8 中可以看出執(zhí)行MCRC 算法和重訓(xùn)練后，可以明顯提高憶阻器陣列的計算精度。 在MINST 和CIFAR 數(shù)據(jù)集下，執(zhí)行NTWR 方法可以分別使憶阻器陣列的計算精度接近理想水平，計算精度損失分別小于1%和3%。

圖8 執(zhí)行NTWR 方法的計算精度對比圖Fig． 8 The accuracy comparison of memristor－based crossbar with NTWR

3 結(jié)束語

本文提出了一種基于權(quán)值縮減的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，以此減小IR-Drop 造成的計算精度損失。 首先，通過L2 正則化，將權(quán)值盡可能訓(xùn)練為較小值，以此減輕IR-Drop 對憶阻器輸出結(jié)果的影響。 然后，執(zhí)行基于行列約束的映射算法，將大權(quán)值盡可能映射到離輸入端和輸出端較近的憶阻器上，避免IRDrop 產(chǎn)生較大的輸出結(jié)果偏差。 最后，減小映射到離輸入端和輸出端較遠處的大權(quán)值，再利用重訓(xùn)練恢復(fù)權(quán)值減小造成的計算精度損失。 實驗結(jié)果顯示，本文所提方法最多可以將憶阻器陣列計算精度恢復(fù)到接近理想狀態(tài)，計算精度損失小于1%。