一種面向IPv6物聯(lián)網(wǎng)網(wǎng)關(guān)的邊緣智能優(yōu)化技術(shù)

許文元，方維維，孟娜

（北京交通大學(xué)計算機(jī)與信息技術(shù)學(xué)院，北京100044）

0 引言

隨著技術(shù)上的不斷創(chuàng)新，物聯(lián)網(wǎng)已經(jīng)發(fā)展成為一個無處不在的全球計算網(wǎng)絡(luò)。根據(jù)思科公司預(yù)測，到2030年世界上將會超過5000億臺設(shè)備連接到現(xiàn)有的互聯(lián)網(wǎng)[1-2]，為人們的生產(chǎn)生活提供服務(wù)。然而物聯(lián)網(wǎng)在擁有如此光明未來的同時，卻也不得不面臨一個互聯(lián)網(wǎng)中存在已久的棘手問題，即全球IPv4地址枯竭導(dǎo)致眾多設(shè)備無法真正的接入到全球互聯(lián)網(wǎng)絡(luò)。這嚴(yán)重制約了互聯(lián)網(wǎng)尤其是物聯(lián)網(wǎng)的應(yīng)用和發(fā)展，所以國際互聯(lián)網(wǎng)工程任務(wù)組（IETF）提出了新一版互聯(lián)網(wǎng)協(xié)議IPv6，用以保證所有的可入網(wǎng)設(shè)備都能夠接入全球互聯(lián)網(wǎng)絡(luò)，從而促使物聯(lián)網(wǎng)的發(fā)展進(jìn)入了新時期。

然而，可以預(yù)見的是隨著大量物聯(lián)網(wǎng)設(shè)備的加入，海量物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)會被匯集至物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備中并轉(zhuǎn)發(fā)入互聯(lián)網(wǎng)世界中導(dǎo)致互聯(lián)網(wǎng)服務(wù)質(zhì)量變差。而研究發(fā)現(xiàn)并非所有的物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備轉(zhuǎn)發(fā)的信息均是目標(biāo)用戶的需求，因此減少物聯(lián)網(wǎng)網(wǎng)關(guān)的無效數(shù)據(jù)轉(zhuǎn)發(fā)，縮小無效帶寬占用成為構(gòu)建高效IPv6物聯(lián)網(wǎng)系統(tǒng)的一個待解決難題。一個基本解決方案是讓物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備智能化，使得物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備能夠根據(jù)目標(biāo)用戶的需求識別出待上傳數(shù)據(jù)中的有效數(shù)據(jù)和無效數(shù)據(jù)，通過減少無效數(shù)據(jù)傳輸來減少網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)總量，縮減帶寬占用。

幸運(yùn)的是，經(jīng)過幾十年的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）可以為設(shè)備的智能化提供充分的技術(shù)支持。然而，目前大多數(shù)高性能的DNN模型都需要大量的算力支持，例如：當(dāng)圖片分辨率為224×224時，執(zhí)行一次推理，VGG-19[3]則需要196億次浮點運(yùn)算[4]，因此傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)依賴于能夠提供強(qiáng)大算力的云服務(wù)器。而與強(qiáng)大的云服務(wù)器不同，廣泛的物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備計算和存儲能力往往是受限的，所以無法直接部署深度神經(jīng)網(wǎng)絡(luò)模型

為了解決以上問題，本文提出一種結(jié)合知識蒸餾（Knowledge distillation）與模型早退（Model early exit）的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方案，構(gòu)建一個適用于資源受限的物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備的多退出點輕量級神經(jīng)網(wǎng)絡(luò)模型，部署在實際IPv6網(wǎng)絡(luò)環(huán)境中的實驗結(jié)果表明，物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備裝載入優(yōu)化模型后，網(wǎng)絡(luò)帶寬占用以及服務(wù)時間都得到了大幅減小。

1 相關(guān)工作

現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)模型通常具有數(shù)百萬甚至數(shù)十億的參數(shù)，嚴(yán)重地阻礙了在資源受限的設(shè)備中的部署應(yīng)用。為了解決該問題，在過去的幾年中，模型壓縮[5]與模型早退開始成為神經(jīng)網(wǎng)絡(luò)研究者關(guān)注的主要方向。

神經(jīng)網(wǎng)絡(luò)模型壓縮通過減少模型的參數(shù)量來降低模型的復(fù)雜性。先期的研究工作大致可歸為以下5類：①模型剪枝，②模型量化，③知識蒸餾，④緊湊模型，⑤低秩分解，模型剪枝通過刪除模型結(jié)構(gòu)中不重要的權(quán)重參數(shù)來減少模型參數(shù)量，Han[6]通過設(shè)定權(quán)重閾值來確定模型權(quán)重的重要性，將低于閾值的權(quán)重刪除，并通過微調(diào)模型來保持模型的精度。但是其方法會導(dǎo)致模型結(jié)構(gòu)稀疏化，從而需要特殊的軟件或者硬件支持來達(dá)到網(wǎng)絡(luò)模型的推理加速。在此基礎(chǔ)上，Li[7]通過使用L1范數(shù)來確定神經(jīng)網(wǎng)絡(luò)模型濾波器的重要性，通過刪除不重要的濾波器來減少網(wǎng)絡(luò)模型參數(shù)，相比于文獻(xiàn)[6]，它不依賴于特殊的軟硬件支持，因此具備更好的部署性[8]，但是當(dāng)剪枝比例逐漸增大時，文獻(xiàn)[6-7]不得不考慮隨之而來的模型精度下降問題。模型量化通過減少神經(jīng)網(wǎng)絡(luò)模型權(quán)重的比特數(shù)來降低模型的計算與存儲需求[9]，然而較低比特表示的網(wǎng)絡(luò)模型往往帶來較大的性能損失[10]；低秩分解通過將權(quán)重矩陣分解為多個小矩陣來加速運(yùn)算[11]，但是其依舊需要特殊硬件支持；緊湊模型[12]即設(shè)計新型緊湊模型結(jié)構(gòu)，所以其只適用于具備專業(yè)知識體系的研究人員。Hinton[13]提出知識蒸餾的概念，通過使用訓(xùn)練好的較大網(wǎng)絡(luò)模型（教師模型）指導(dǎo)訓(xùn)練待訓(xùn)練的精簡神經(jīng)網(wǎng)絡(luò)模型（學(xué)生模型）來完成知識的傳遞，然后將計算量更低體積更小的學(xué)生網(wǎng)絡(luò)模型部署于資源受限的設(shè)備中以減少推理時間。之后不同的蒸餾學(xué)習(xí)范式被相繼提出，例如：多教師知識蒸餾[14]。由于知識蒸餾技術(shù)的有效性，研究人員也將其與其他的優(yōu)化方法進(jìn)行結(jié)合，Polino[15]將模型壓縮與知識蒸餾結(jié)合來進(jìn)一步提高模型的執(zhí)行速度；Anil[16]將知識蒸餾方法應(yīng)用于大規(guī)模分布式環(huán)境中。

模型早退技術(shù)基于深度神經(jīng)網(wǎng)絡(luò)模型前期的輸出也能夠滿足一部分場景精度需求這一事實[17]，通過避免執(zhí)行深度神經(jīng)網(wǎng)絡(luò)模型深層來達(dá)到減少算力的需求。文獻(xiàn)[17]通過在原有的深度神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上添加分支來滿足模型早退的需求，極大減少了模型的推理時間；Teerapittayanon[18]又通過使用“云-邊緣服務(wù)器-邊緣設(shè)備”三級層次結(jié)構(gòu)并在每層結(jié)構(gòu)設(shè)置模型退出點來完成模型早退；Passalis[19]通過重用前期層信息優(yōu)化多退出點模型；Tan[20]將模型早退與模型劃分技術(shù)結(jié)合優(yōu)化神經(jīng)網(wǎng)絡(luò)模型推理。

2 研究方法

本文選取VGG神經(jīng)網(wǎng)絡(luò)為框架，它被廣泛應(yīng)用于圖像檢測等領(lǐng)域且性能表現(xiàn)優(yōu)異。

2.1 知識蒸餾

知識蒸餾通過引入教師網(wǎng)絡(luò)（復(fù)雜且精度較高模型）引導(dǎo)學(xué)生模型（精簡模型）訓(xùn)練來完成知識的傳遞，其中引導(dǎo)方法以及引導(dǎo)程度是決定知識蒸餾效果的關(guān)鍵。

引導(dǎo)的方法直接決定著學(xué)生是否能夠準(zhǔn)確的學(xué)習(xí)到教師網(wǎng)絡(luò)所傳授的知識，文獻(xiàn)[13]使用KL散度（Kullback-Leibler Divergence）來衡量教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)的輸出分布差異，以表征學(xué)生網(wǎng)絡(luò)對于教師知識的學(xué)習(xí)程度。KL散度又稱相對熵，是用來衡量兩個概率分布間差異的非對稱度量，如公式（1），概率函數(shù)中一個為真實分布p(xi)，對應(yīng)教師網(wǎng)絡(luò)的輸出分布，另外一個為擬合的理論分布q(xi)，對應(yīng)為學(xué)生的輸出分布，當(dāng)KL散度為0時，擬合的理論分布與真實分布完全相同即q(xi)=p(xi)，表示學(xué)生網(wǎng)絡(luò)已經(jīng)完全學(xué)會教師網(wǎng)絡(luò)的知識，因此本文通過最小化教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)輸出的KL散度來不斷地讓學(xué)生網(wǎng)絡(luò)模型逼近教師網(wǎng)絡(luò)模型，從而達(dá)到知識蒸餾的目的。

引導(dǎo)程度決定學(xué)生與教師網(wǎng)絡(luò)的輸出分布所能達(dá)到的近似程度，文獻(xiàn)[13]借鑒工程學(xué)的概念將其定義為溫度。引用溫度的目的是知識蒸餾希望將教師網(wǎng)絡(luò)產(chǎn)生的信息知識盡可能多地蒸餾到學(xué)生網(wǎng)絡(luò)中而不是僅僅讓學(xué)生網(wǎng)絡(luò)模型學(xué)習(xí)到教師網(wǎng)絡(luò)模型的分類結(jié)果，對應(yīng)的好處為這樣蒸餾出來的學(xué)生網(wǎng)絡(luò)模型具備和教師網(wǎng)絡(luò)模型一樣的概率分布和泛化能力，文獻(xiàn)[13]將溫度加入到Softmax層中以改善Softmax輸出值對于知識傳遞的影響，改進(jìn)的Softmax如公式（2）所示：

其中pi表示第i類經(jīng)過加入溫度的Softmax輸出的軟標(biāo)簽，通過加入溫度T可以讓Softmax的輸出值變緩如圖1-圖2所示，有利于蒸餾出更多的知識信息供學(xué)生網(wǎng)絡(luò)學(xué)習(xí)。引入KL散度將學(xué)生模型的損失函數(shù)公式更新為公式（3）：

圖1 無溫度Softmax輸出值

圖2 溫度為5時Softmax輸出值

2.2 模型早退

知識蒸餾方法雖然在保持模型精度的同時，極大減少了模型存儲和計算需求。但是，對于一些特殊的任務(wù)而言其可能能夠接受一定的精度損失從而換取更高的推理速度，因此，本文提出在知識蒸餾學(xué)生網(wǎng)絡(luò)模型中加入多退出點機(jī)制來滿足此類任務(wù)需求。

深度神經(jīng)網(wǎng)絡(luò)模型通過在其主干網(wǎng)上添加分支來允許任務(wù)從模型的前期退出從而達(dá)到節(jié)約計算時間的目的，每條分支稱為一個多退出點。文獻(xiàn)[17]通過聯(lián)合優(yōu)化的方法來訓(xùn)練帶有多退出點的網(wǎng)絡(luò)模型，并給予每條分支節(jié)點賦予退出閾值來判定當(dāng)前任務(wù)是否可以從當(dāng)前退出點退出，但是同步優(yōu)化多退出點模型的操作存在內(nèi)存占用過高，訓(xùn)練耗時過大的問題，因此本文提出了原基異步訓(xùn)練來生成帶有早退節(jié)點的學(xué)生網(wǎng)絡(luò)模型。原基異步訓(xùn)練的基礎(chǔ)模型是3.1小節(jié)通過知識蒸餾訓(xùn)練好的輕量級學(xué)生網(wǎng)絡(luò)模型，并通過添加分支的方式讓原基模型發(fā)展成為帶有多分支的深度神經(jīng)網(wǎng)絡(luò)模型。

異步訓(xùn)練中針對每一分支依舊使用交叉熵?fù)p失函數(shù)來作為優(yōu)化目標(biāo)，目標(biāo)函數(shù)為：

y為數(shù)據(jù)的真實標(biāo)簽，y→為預(yù)測標(biāo)簽，r為當(dāng)前輸入數(shù)據(jù)x在權(quán)重參數(shù)W下的輸出，其中參數(shù)權(quán)重W部分權(quán)重來自于原基網(wǎng)絡(luò)，如公式（5）所示：

與文獻(xiàn)[17]不同，本文不在各個分支網(wǎng)絡(luò)使用退出閾值來判定當(dāng)前任務(wù)是否可以從當(dāng)前分支退出，而是構(gòu)建了一個任務(wù)自動判別器來自動判別任務(wù)類型來選擇合適的網(wǎng)絡(luò)分支滿足當(dāng)前任務(wù)需求。

3 實驗

3.1 實驗設(shè)置

本文使用CIFAR10作為模型訓(xùn)練實驗數(shù)據(jù)集，它由60000張彩色圖片構(gòu)成，其中包含50000張訓(xùn)練圖片，10000張測試圖片，共分為10個類別，每個類別擁有5000張訓(xùn)練圖片與1000張測試圖片。選擇經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)VGG-19（包含16個卷積層和3個全鏈接層）作為知識蒸餾教師網(wǎng)絡(luò)，VGG11（包含8個卷積層和1個全鏈接層）作為知識蒸餾學(xué)生網(wǎng)絡(luò)同時為多退出點網(wǎng)絡(luò)的原基網(wǎng)絡(luò)，多退出點網(wǎng)絡(luò)除原基網(wǎng)絡(luò)外另加入兩條分支，與原基網(wǎng)絡(luò)的重疊層數(shù)分別為3、5，本文分別稱其為退出點1和退出點2，原基網(wǎng)絡(luò)為退出點3。所有訓(xùn)練網(wǎng)絡(luò)的靜態(tài)學(xué)習(xí)率設(shè)置為0.0006，一次批處理圖像128張，其中教師網(wǎng)絡(luò)訓(xùn)練50輪次，學(xué)生網(wǎng)絡(luò)訓(xùn)練40輪次，退出點2訓(xùn)練10輪次，退出點1訓(xùn)練5輪次。實際部署中，客戶端與服務(wù)器網(wǎng)絡(luò)連接帶寬為1MB/s，采用TCP連接的方式。

3.2 知識蒸餾評估實驗

如上3.1小節(jié)所述，教師網(wǎng)絡(luò)對學(xué)生網(wǎng)絡(luò)的引導(dǎo)方法以及引導(dǎo)程度影響知識蒸餾結(jié)果的好壞，實驗中選取經(jīng)典的KL散度作為知識蒸餾引導(dǎo)方法，然后探究不同的引導(dǎo)程度對于知識蒸餾學(xué)生網(wǎng)絡(luò)模型收斂以及精度的影響。

引導(dǎo)程度除3.1小節(jié)所述溫度外，還有教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)的損失占比值α如公式（3）所示。圖3展示了相同溫度下，不同損失占比對于學(xué)生網(wǎng)絡(luò)收斂性影響，可以看到隨著教師網(wǎng)絡(luò)損失值占比增大（α值增大，詳見公式（3））即教師網(wǎng)絡(luò)對于學(xué)生網(wǎng)絡(luò)的影響增損失值更低。而隨著溫度增高，教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)輸入KL散度函數(shù)的輸入值變緩（如公式（2）），而真實的學(xué)生網(wǎng)絡(luò)輸入值未受影響，即等價于教師網(wǎng)絡(luò)對于學(xué)生網(wǎng)絡(luò)的控制作用變?nèi)鯊亩鴮?dǎo)致學(xué)生網(wǎng)絡(luò)占據(jù)主導(dǎo)作用，學(xué)生網(wǎng)絡(luò)的損失值起點越高，收斂點的損失值越高如圖4所示。

圖3 同溫度下α對學(xué)生模型損失函數(shù)影響

圖4 同α條件下，溫度值對損失函數(shù)的影響

隨后測量不同溫度以及損失占比下學(xué)生網(wǎng)絡(luò)的精度值，如圖5所示，無蒸餾環(huán)境下直接訓(xùn)練學(xué)生網(wǎng)絡(luò)模型其精度值為83.63%，使用蒸餾方法后訓(xùn)練的學(xué)生網(wǎng)絡(luò)模型精度值均高于無蒸餾方法直接訓(xùn)練網(wǎng)絡(luò)模型的精度值。當(dāng)溫度值為3以及教師網(wǎng)絡(luò)損失值占比為0.8時，得到學(xué)生網(wǎng)絡(luò)精度最高值為85.52%，蒸餾方法下學(xué)生網(wǎng)絡(luò)的最低精度值為83.78%，在溫度值和損失占比分別為2和0.3時取到。蒸餾方法下學(xué)生網(wǎng)絡(luò)的精度提升0.15%-1.89%。

圖5 不同溫度與α下蒸餾下模型精度

3.3 模型早退評估實驗

通過蒸餾方法，我們得到了一個比無蒸餾方法更好的輕量級網(wǎng)絡(luò)模型，在此基礎(chǔ)上，使用3.2小節(jié)原基異步訓(xùn)練方案訓(xùn)練多退出點精簡神經(jīng)網(wǎng)絡(luò)模型并測試其精度如圖6所示，退出點2分支網(wǎng)絡(luò)其精度為84.88%，退出點1分支網(wǎng)絡(luò)的精度82.74%。圖7展示了各退出點網(wǎng)絡(luò)的一次推理時間，退出點2分支網(wǎng)絡(luò)相比于原始網(wǎng)絡(luò)推理時間減少了40.25%，退出點1分支網(wǎng)絡(luò)相比于原基網(wǎng)絡(luò)推理時間減少了64.59%，模型識別速度加速比區(qū)間為3.04X-8.57X。

圖6 不同退出點模型精度圖

圖7 不同退出點與教師網(wǎng)絡(luò)模型推理速度

3.4 真實系統(tǒng)運(yùn)行評估實驗

根據(jù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)，我們提供給用戶三級處理速度選擇，分別為快、中、慢，這對應(yīng)多退出點網(wǎng)絡(luò)中的退出點1分支網(wǎng)絡(luò)，退出點2分支網(wǎng)絡(luò)以及原始網(wǎng)絡(luò)。我們構(gòu)建一個識別應(yīng)用用以測試我們的優(yōu)化模型對邊緣網(wǎng)關(guān)設(shè)備的效力提升。如圖8所示，未部署智能識別模型的邊緣網(wǎng)關(guān)面對客戶需求時需要向網(wǎng)絡(luò)中傳輸10000張圖片，其中客戶真正需求照片數(shù)為1000張，照片傳輸有效率為10%。而部署智能識別模型后，根據(jù)用戶指定的速度需求，邊緣網(wǎng)關(guān)分別只需向網(wǎng)絡(luò)中傳輸1057、1006、1000張圖片，極大減少了網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量。由于多退出點精簡神經(jīng)網(wǎng)絡(luò)識別模型的精度限制，所以圖片的傳輸有效率分別為88.17%、92.84%、93%（如圖9所示），但均高于無智能識別模型時圖片傳輸?shù)挠行?。同時我們假設(shè)每張圖片的大小為1MB，如圖10所示，使用多退出點精簡網(wǎng)絡(luò)識別模型后，不同指定速度下物聯(lián)網(wǎng)網(wǎng)關(guān)的服務(wù)效率分別提升了88.51%、88.39%、87.4%。

圖8 不同識別速度選擇下網(wǎng)絡(luò)中傳輸?shù)膱D片數(shù)圖

圖9 不同識別速度選擇下網(wǎng)絡(luò)中傳輸圖片有效率

圖10 不同識別速度選擇下服務(wù)時間縮減率

4 結(jié)語

本文通過結(jié)合知識蒸餾與模型早退方案構(gòu)建了一個具備多退出點的精簡神經(jīng)網(wǎng)絡(luò)模型，使得物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備能夠快速部署和運(yùn)行深度神經(jīng)網(wǎng)絡(luò)模型的同時保持較高的模型精度。通過在真實IPv6網(wǎng)絡(luò)環(huán)境下物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備中部署多退出點神經(jīng)網(wǎng)絡(luò)模型的實驗結(jié)果表明，我們最大可以減少90%的網(wǎng)絡(luò)帶寬占用以及提升88.51%的服務(wù)效率。在接下來的工作中，我們將嘗試使用更加有效的知識蒸餾方法如將非對稱性的KL散度轉(zhuǎn)換為Wasserstein距離作為學(xué)生學(xué)習(xí)教師知識程度的度量，我們還將探究模型中合適的早退點以提供給用戶更多更優(yōu)的識別速度選擇。另外，目標(biāo)檢測依舊是我們感興趣的方向，我們也將考慮將方法擴(kuò)展到目標(biāo)檢測中。