深度交流學(xué)習(xí)模式

張仁斌，王 龍，周澤林，左藝聰，謝 昭

（1 合肥工業(yè)大學(xué) 計算機(jī)與信息學(xué)院，合肥 230601；2 合肥工業(yè)大學(xué) 大數(shù)據(jù)知識工程教育部重點(diǎn)實(shí)驗室，合肥 230601；3 合肥工業(yè)大學(xué) 工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗室，合肥 230601）

0 引言

基于知識傳遞的知識蒸餾和參數(shù)遷移學(xué)習(xí)分別被廣泛使用于模型壓縮［1-2］和遷移學(xué)習(xí)［3］領(lǐng)域中，本文的目標(biāo)是基于知識傳遞實(shí)現(xiàn)網(wǎng)絡(luò)間的交流學(xué)習(xí)，使網(wǎng)絡(luò)學(xué)習(xí)更加快速和充分。

盡管復(fù)雜龐大的網(wǎng)絡(luò)具有很高的性能，但是計算緩慢和網(wǎng)絡(luò)龐大不利于存儲的不足使其難以滿足在便攜設(shè)備上的應(yīng)用需求。模型壓縮是解決這個問題的方法之一。Hinton 等 人［4］通過知識蒸餾（Knowledge Distillation，KD），首先利用大規(guī)模數(shù)據(jù)訓(xùn)練一個大模型作為教師網(wǎng)絡(luò)，然后將小模型學(xué)生網(wǎng)絡(luò)向大模型學(xué)習(xí)，知識從教師網(wǎng)絡(luò)傳遞到學(xué)生網(wǎng)絡(luò)上，以此得到的小網(wǎng)絡(luò)也具有大網(wǎng)絡(luò)相當(dāng)?shù)姆夯芰?，?shí)現(xiàn)模型壓縮。

在知識蒸餾的研究中，Zagoruyko 等人［5］提出將注意力作為知識從一個網(wǎng)絡(luò)轉(zhuǎn)移到另一個網(wǎng)絡(luò)中的學(xué)習(xí)方法，并且與將教師網(wǎng)絡(luò)的輸出作為學(xué)習(xí)對象的知識蒸餾方法進(jìn)行結(jié)合。Chen 等人［6］提出交叉樣本的相似性作為網(wǎng)絡(luò)間可轉(zhuǎn)移的知識，并在多個圖像任務(wù)中進(jìn)行驗證，轉(zhuǎn)移這種知識使行人識別任務(wù)相對基線取得明顯提升。Cho 等人［7］進(jìn)一步探索知識蒸餾的有效性，得出了教師網(wǎng)絡(luò)的效果越好并非意味著學(xué)生網(wǎng)絡(luò)效果就會越好的結(jié)論，這與Mirzadeh 等人［8］的實(shí)驗結(jié)論相同。Heo 等人［9］將隱藏層特征作為知識進(jìn)行蒸餾，并在圖形分類、檢測和分割三種任務(wù)上進(jìn)行實(shí)驗，驗證了特征蒸餾的有效性。不同于分類任務(wù)，Saputra 等人［10］在回歸任務(wù)中成功應(yīng)用了知識蒸餾。Phuong 等人［11］從多個角度解釋了為什么知識蒸餾能夠成功地將知識在網(wǎng)絡(luò)間進(jìn)行轉(zhuǎn)移。近期，F(xiàn)acebook 團(tuán)隊提出的Deit［12］方法，探索了使用多種其他類型的網(wǎng)絡(luò)來對圖像分類網(wǎng)絡(luò)ViT［13］進(jìn)行注意力的教學(xué)，達(dá)到了非常理想的效果。Deit 方法中，在訓(xùn)練時將基于Transformer［14］的ViT 作為學(xué)生網(wǎng)絡(luò)，將其他類型的網(wǎng)絡(luò)，如以CNN 為基礎(chǔ)的ResNet［15］、EfficientNet［16］作為教師網(wǎng)絡(luò)，借鑒知識蒸餾的方法，通過將學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的輸出計算損失值并進(jìn)行反向傳播，實(shí)現(xiàn)將知識從教師傳遞給學(xué)生，以此顯著提高作為學(xué)生的ViT 網(wǎng)絡(luò)的性能。實(shí)驗結(jié)果表明，相對于需要在大量數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的ViT，Deit 不需要額外的數(shù)據(jù)做預(yù)訓(xùn)練，且用更少的計算資源生成更高性能的圖像分類模型。Deit 通過將不同網(wǎng)絡(luò)的知識進(jìn)行傳遞，達(dá)到很好的學(xué)習(xí)效果。Lu 等人［17］分別在高分辨率和多分辨率模型中運(yùn)用知識蒸餾提煉知識，通過交叉特征融合和多尺度訓(xùn)練等方式獲得了更優(yōu)的學(xué)生分辨率模型。Chen 等人［18］把神經(jīng)網(wǎng)絡(luò)實(shí)例的特征和節(jié)點(diǎn)的關(guān)系作為編碼知識從教師網(wǎng)絡(luò)傳遞給學(xué)生網(wǎng)絡(luò)，在物體檢測的任務(wù)中取得了更好的模型效果。

把網(wǎng)絡(luò)的參數(shù)作為知識進(jìn)行轉(zhuǎn)移也有著非常經(jīng)典的應(yīng)用。Pan 等人［3］將源領(lǐng)域中模型的參數(shù)遷移到目標(biāo)領(lǐng)域的模型中的方法歸類為參數(shù)遷移（Parameter-transfer）學(xué)習(xí)。Fan 等人［19］將少樣本檢測任務(wù)上學(xué)習(xí)到的知識遷移到檢測模型的最后一層，檢測效果相對基線得到了穩(wěn)定的提高。Jing 等人［20］通過知識參數(shù)遷移，把多個教師圖神經(jīng)網(wǎng)絡(luò)的知識傳遞給同一個學(xué)生圖神經(jīng)網(wǎng)絡(luò)，以此得到的學(xué)生網(wǎng)絡(luò)在多個任務(wù)上取得了與教師網(wǎng)絡(luò)相當(dāng)?shù)男Ч?。在Mean Teachers［21］中，教師網(wǎng)絡(luò)通過將學(xué)生網(wǎng)絡(luò)的參數(shù)進(jìn)行組合得到教師自身的網(wǎng)絡(luò)參數(shù)，以此實(shí)現(xiàn)知識從學(xué)生網(wǎng)絡(luò)向教師網(wǎng)絡(luò)的傳遞。

Mean Teachers 作為半監(jiān)督的學(xué)習(xí)方法，同樣包括了教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)兩種結(jié)構(gòu)。其中，學(xué)生網(wǎng)絡(luò)的參數(shù)是通過梯度下降進(jìn)行更新，而教師網(wǎng)絡(luò)的參數(shù)則是僅僅通過組合學(xué)生網(wǎng)絡(luò)所學(xué)到的知識參數(shù)進(jìn)行更新，而不進(jìn)行梯度下降。在Mean Teachers中，知識通過網(wǎng)絡(luò)參數(shù)的形式從學(xué)生網(wǎng)絡(luò)流向教師網(wǎng)絡(luò)。進(jìn)一步地，教師網(wǎng)絡(luò)的輸出結(jié)果作為學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)，進(jìn)行對學(xué)生網(wǎng)絡(luò)的教學(xué)。

深度互助學(xué)習(xí)［22］（Deep Mutual Learning，DML）中，K個網(wǎng)絡(luò)中每一個網(wǎng)絡(luò)既有學(xué)生的身份，也有教師的身份。當(dāng)對其中某個網(wǎng)絡(luò)傳遞知識時，其他所有K -1 個網(wǎng)絡(luò)都作為教師。在每一輪互助中，每個網(wǎng)絡(luò)都會接收到其他K -1 個網(wǎng)絡(luò)傳遞的知識。在知識蒸餾的方法中，小的學(xué)生模型通過將大的教師模型輸出作為學(xué)習(xí)的軟目標(biāo)計算交叉熵進(jìn)行梯度下降，進(jìn)而完成知識從大模型向小模型的傳遞。DML 不以模型壓縮為目的，而是通過將學(xué)生網(wǎng)絡(luò)與其他K -1 個教師網(wǎng)絡(luò)的輸出結(jié)果的KL散度（Kullback-Leibler divergence，KL）取均值，并作為損失的一部分進(jìn)行反向傳播，依托多個網(wǎng)絡(luò)輸出結(jié)果的互相借鑒，以此達(dá)到更高的魯棒性，實(shí)現(xiàn)共同進(jìn)步。

利用知識蒸餾可以加快小模型的訓(xùn)練速度和效果，但是具有一定的局限性。比如蒸餾的前提是擁有一個性能足夠好的教師網(wǎng)絡(luò)，且蒸餾的主要目的在于更好地訓(xùn)練出一個小模型，并不能夠提升教師網(wǎng)絡(luò)自身的性能。DML 中每個網(wǎng)絡(luò)都會利用其他網(wǎng)絡(luò)的知識來提高自己，但是DML 中實(shí)現(xiàn)互助的方式是利用網(wǎng)絡(luò)之間的差異度作為損失值進(jìn)行梯度下降，模型性能受梯度下降方法局限性的影響，如梯度消失和梯度爆炸等導(dǎo)致互助失敗。

針對以上問題，本文提出一種基于深度交流學(xué)習(xí)（Deep Communication Learning，DCL）的網(wǎng)絡(luò)訓(xùn)練模式。在DCL 中，多個神經(jīng)網(wǎng)絡(luò)在各自獨(dú)立學(xué)習(xí)的同時將網(wǎng)絡(luò)參數(shù)作為知識進(jìn)行交流，單個神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中將自身所學(xué)到的知識分享給其他網(wǎng)絡(luò)，同時從其他網(wǎng)絡(luò)上吸納一定比例的學(xué)習(xí)成果，獨(dú)自學(xué)習(xí)和在集體中的知識交流是交替進(jìn)行的。

DCL 和Mean Teachers 都將網(wǎng)絡(luò)所學(xué)到的參數(shù)作為知識，并將這些知識進(jìn)行傳遞。不同的是，Mean Teachers 中教師網(wǎng)絡(luò)的目的在于對無標(biāo)簽數(shù)據(jù)進(jìn)行標(biāo)記，且最終學(xué)生網(wǎng)絡(luò)向教師網(wǎng)絡(luò)的學(xué)習(xí)方式同樣類似于知識蒸餾，是通過計算學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)輸出結(jié)果之間的差異度進(jìn)行反向傳播實(shí)現(xiàn)的。Mean Teachers 中教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的主體是固定的，而DCL 中每個網(wǎng)絡(luò)既會作為知識的傳授方，也會作為知識的接收方，這些網(wǎng)絡(luò)的身份是等同的，并且DCL 各個網(wǎng)絡(luò)間互相學(xué)習(xí)的策略與Deit 和DML 完全不同。Deit 和DML 借鑒知識蒸餾，以教師模型的輸出結(jié)果為目標(biāo)，讓學(xué)生向教師模仿和學(xué)習(xí)，而DCL 則是將各個網(wǎng)絡(luò)所學(xué)到的網(wǎng)絡(luò)參數(shù)作為知識進(jìn)行吸納和融合，交流的過程不使用梯度下降，而是對所學(xué)知識的直接交流。

本文利用經(jīng)典、成熟的圖像分類神經(jīng)網(wǎng)絡(luò)來驗證所提出的學(xué)習(xí)模式，使用Inception［23］，ResNet，WRN［24］，DenseNet［25］，MobileNet［26］，ResNeXt［27］和EfficientNet 等7 種經(jīng)典網(wǎng)絡(luò)在Fashion-MNIST［28］，CIFAR-10 和CIFAR-100［29］等多個數(shù)據(jù)集上進(jìn)行實(shí)驗。結(jié)果表明，利用DCL，這些網(wǎng)絡(luò)獲得了學(xué)習(xí)效果最高3.44%的提升。

論文內(nèi)容安排如下：本文第1 節(jié)提出了一種基于知識交流的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式-DCL，并對該方法進(jìn)行了詳細(xì)說明；第2 節(jié)通過使用多種網(wǎng)絡(luò)和數(shù)據(jù)集對DCL 進(jìn)行了實(shí)驗，驗證了DCL 學(xué)習(xí)模式的有效性；第3 節(jié)對全文進(jìn)行總結(jié)并展望未來工作。本文將代碼和模型進(jìn)行了開源［30］。

1 深度交流學(xué)習(xí)

深度交流學(xué)習(xí)模式如圖1 所示。深度交流學(xué)習(xí)是對人類社會學(xué)習(xí)進(jìn)步的一個仿照。正如人類在個體單獨(dú)學(xué)習(xí)后進(jìn)入集體進(jìn)行知識的交流，并經(jīng)獨(dú)自的學(xué)習(xí)把從集體獲得的知識進(jìn)行消化和吸收，利用集體的知識提高自己，同時在獨(dú)自學(xué)習(xí)中探索和獲取新的知識，再于此后的交流中對其進(jìn)行分享。

圖1 深度交流學(xué)習(xí)模式Fig. 1 The process of Deep Communication Learning

網(wǎng)絡(luò)學(xué)習(xí)到的知識存在于網(wǎng)絡(luò)的參數(shù)之中，讓深度神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的同時進(jìn)行知識的交流是深度交流學(xué)習(xí)的核心。DCL 的具體策略是，網(wǎng)絡(luò)在獨(dú)自學(xué)習(xí)一定的迭代輪次T后，各個網(wǎng)絡(luò)把自己學(xué)習(xí)到的知識貢獻(xiàn)到集體中，并以一定的比例βi收納來自集體的知識。隨后各個網(wǎng)絡(luò)再獨(dú)自學(xué)習(xí)一段時間T，以適應(yīng)和吸收集體的知識經(jīng)驗，再獨(dú)自探索新知識用于下次和其他網(wǎng)絡(luò)的交流。DCL 用這樣的方式讓所有網(wǎng)絡(luò)不斷地在互相交流中進(jìn)行學(xué)習(xí)和進(jìn)步。

即使是同一類型的網(wǎng)絡(luò)，不同的初始化參數(shù)也會使網(wǎng)絡(luò)變得互不相同。雖然數(shù)據(jù)集和網(wǎng)絡(luò)結(jié)構(gòu)都一樣，但是額外的知識存在于不同的初始化參數(shù)之中。針對于Independent 學(xué)習(xí)中網(wǎng)絡(luò)知識量有限的問題，DCL 模式中采用知識交流的方法，支持每個網(wǎng)絡(luò)擁有額外的知識量。

1.1 網(wǎng)絡(luò)交流方式

設(shè)DCL 中的網(wǎng)絡(luò)初始化數(shù)量為K，此K個網(wǎng)絡(luò)表示為：θ1，θ2，……，θK。設(shè)具有N個樣本且分為M類的數(shù)據(jù)集為：

初始化DCL 后，每個網(wǎng)絡(luò)進(jìn)行隨機(jī)采樣和反向傳播學(xué)習(xí)。在經(jīng)過T次獨(dú)自學(xué)習(xí)的迭代后，所有網(wǎng)絡(luò)進(jìn)行一次知識交流。交流中，每個網(wǎng)絡(luò)首先將自己所學(xué)的參數(shù)知識以αi的比例貢獻(xiàn)到集體中，并存儲于θwavg中。對此過程可用式（3）進(jìn)行描述：

其中，對于每個網(wǎng)絡(luò)所貢獻(xiàn)的比例，具有以下約束：

然后，每個網(wǎng)絡(luò)從集體的知識中吸納比例為β的知識量，實(shí)現(xiàn)總體網(wǎng)絡(luò)的知識向每個網(wǎng)絡(luò)的傳遞：

對于個體向集體貢獻(xiàn)的知識量比例αi數(shù)值的確定，本文借鑒正則化（regularization）的思想，即如果網(wǎng)絡(luò)參數(shù)的絕對值｜θi ｜越小，則讓其對集體貢獻(xiàn)更大比例的知識，從而讓這些網(wǎng)絡(luò)在表現(xiàn)效果相當(dāng)?shù)那闆r下，更多地向參數(shù)小的網(wǎng)絡(luò)學(xué)習(xí)，以此增加自身的魯棒性。本文采用的策略是令貢獻(xiàn)的比例與自身參數(shù)的絕對值大小成反比，即：

根據(jù)式（3）～（5），可以得出每次交流中單個網(wǎng)絡(luò)的參數(shù)對總體的貢獻(xiàn)比例為：

其中，ε為一個極小數(shù)，用來避免當(dāng)網(wǎng)絡(luò)某層的參數(shù)全為0 時出現(xiàn)分母非法的情況，在實(shí)際使用中，本文對ε的取值為1×10-18。

1.2 深度交流學(xué)習(xí)流程

算法1 描述了DCL 的具體流程。

算法1Deep Communication Learning

代碼中，E為訓(xùn)練的總迭代次數(shù)，E和學(xué)習(xí)率衰減策略的具體設(shè)置見本文的2.3 節(jié)。

在本算法中，T的設(shè)置是關(guān)鍵之一，因為來自于其他網(wǎng)絡(luò)的知識參數(shù)，未必會在吸納后立即就能很好地適應(yīng)自身的網(wǎng)絡(luò)參數(shù)。因此，如果讓網(wǎng)絡(luò)一直交流而不給予足夠的獨(dú)自學(xué)習(xí)和適應(yīng)時間，很容易會出現(xiàn)這些網(wǎng)絡(luò)由于無法適應(yīng)其他網(wǎng)絡(luò)的知識參數(shù)，而一直處于欠擬合狀態(tài)。

單個網(wǎng)絡(luò)每次從集體中吸納的知識比例β是一個超參數(shù)。如果β的取值過小，會使網(wǎng)絡(luò)向集體學(xué)習(xí)的知識量很少，這種情況下一方面會相對保持網(wǎng)絡(luò)的獨(dú)特性，即網(wǎng)絡(luò)之間不會非常相像，另一方面會降低交流學(xué)習(xí)給網(wǎng)絡(luò)所帶來的收益。在β取極值為0 時，網(wǎng)絡(luò)之間停止交流，個體不再向集體學(xué)習(xí)。同樣，如果β的取值過大，則會使網(wǎng)絡(luò)之間隨著交流次數(shù)增多而變得更加相像，在一定程度上喪失自身的獨(dú)特性。因此將β取一個適當(dāng)大小的值是非常重要的，本文第2 節(jié)實(shí)驗中將0.1 作為β的取值。

2 實(shí)驗

本文使用多種網(wǎng)絡(luò)在多個數(shù)據(jù)集上進(jìn)行實(shí)驗，所有源代碼、模型和實(shí)驗結(jié)果均已開源［30］。

2.1 數(shù)據(jù)集

本文使用3 個數(shù)據(jù)集進(jìn)行實(shí)驗。CIFAR-10 和CIFAR-100 數(shù)據(jù)集由大小為32×32 的RGB 圖像組成，分別包含10 個和100 個類別的物體。兩者都被劃分為50 000 張圖像作為訓(xùn)練集和10 000 張圖像作為測試集。Fashion-MNIST 是一個包含10 種服飾類別的圖像數(shù)據(jù)集，圖像大小為28×28，并且以60 000張圖片作為訓(xùn)練集，10 000 張圖片作為測試集。本文將圖像分類的正確率作為這3 個數(shù)據(jù)集的評價指標(biāo)。

2.2 網(wǎng)絡(luò)

本文使用7 種具有不同原理和參數(shù)量大小的經(jīng)典神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗。包括經(jīng)典卷積網(wǎng)絡(luò)Inception-V1 以及深度殘差網(wǎng)絡(luò)ResNet-18，以及以殘差為基礎(chǔ)進(jìn)一步發(fā)展而來的WRN-16-4、DenseNet-121 和MobileNet-V2。作為ResNet 和Inception 的結(jié)合，ResNeXt-50 也被用在本文的實(shí)驗中。兼顧速度與精度的EfficientNet-B3 在圖像分類領(lǐng)域有著優(yōu)秀的表現(xiàn)，本文也采用這個網(wǎng)絡(luò)作為實(shí)驗對象之一。

2.3 實(shí)驗設(shè)置

本文使用PyTorch 實(shí)現(xiàn)了所有網(wǎng)絡(luò)，并且以NVIDIA Tesla V100 GPU 作為加速進(jìn)行實(shí)驗。實(shí)驗采用Nesterov 動量設(shè)置為0.9 的SGD 作為模型優(yōu)化器，batch size設(shè)置為128，并且設(shè)置了0.000 1的L2正則損失。在訓(xùn)練時，對于在ImageNet 進(jìn)行過預(yù)訓(xùn)練的模型，學(xué)習(xí)率被初始化為0.001，而沒有預(yù)訓(xùn)練過的模型，學(xué)習(xí)率被初始化為0.1。學(xué)習(xí)率每迭代60 個epoch會衰減為原來的0.1，并且200 個epoch被作為訓(xùn)練的總迭代次數(shù)。實(shí)驗中，數(shù)據(jù)增強(qiáng)方法包括對圖像的隨機(jī)翻轉(zhuǎn)和每邊填充4 個像素后進(jìn)行的隨機(jī)裁剪，裁剪后缺失的像素被填充為0。

2.4 實(shí)驗結(jié)果與分析

表1～表3 分別比較在3 個數(shù)據(jù)集上多種網(wǎng)絡(luò)在K ＝2 時，通過Independent 學(xué)習(xí)和DCL 學(xué)習(xí)達(dá)到的Top-1 正確率。結(jié)果分析表明：

表1 CIFAR-100 數(shù)據(jù)集K＝2 的Top-1 正確率Tab.1 Top-1 accuracy for CIFAR-100 dataset when K＝2 %

表2 CIFAR-10 數(shù)據(jù)集K＝2 的Top-1 正確率Tab.2 Top-1 accuracy for CIFAR-10 dataset when K＝2 %

表3 Fashion-MNIST 數(shù)據(jù)集K＝2 的Top-1 正確率Tab.3 Top-1 accuracy for Fashion -MNIST dataset when K＝2%

（1）相對于Independent 學(xué)習(xí)，所有這些網(wǎng)絡(luò)都可以通過DCL 來提高自己的學(xué)習(xí)效果，這些提高體現(xiàn)在DCL-Ind 一列中的數(shù)據(jù)都是正數(shù)。

（2）沒有經(jīng)過預(yù)訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，通過DCL 則更顯著地提升了學(xué)習(xí)效果。3 個數(shù)據(jù)集上最大的提升都來自于WRN-16-4 和EfficientNet-B3 這2 個未進(jìn)行預(yù)訓(xùn)練的網(wǎng)絡(luò)，分別是3.44%，2.79%和1.16%。

（3）相對于單通道且圖片尺寸更小的Fashion-MNIST，DCL 的學(xué)習(xí)方式在三通道且圖片尺寸更大的CIFAR 數(shù)據(jù)上對學(xué)習(xí)效果的提升更加明顯。

在DML 中，本文通過使用KL散度作為損失的一部分，讓不同網(wǎng)絡(luò)的輸出更集中（不離群），而讓網(wǎng)絡(luò)各自都取得更好的學(xué)習(xí)效果。DML 能夠生效的原因是這種方式使輸出結(jié)果更加集中，提高網(wǎng)絡(luò)的魯棒性。在蒸餾學(xué)習(xí)中，通過讓小網(wǎng)絡(luò)把大網(wǎng)絡(luò)的輸出做軟目標(biāo)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)大網(wǎng)絡(luò)向小網(wǎng)絡(luò)的知識傳遞。在Deit 中，通過讓ViT 網(wǎng)絡(luò)在某些層的輸出向和卷積網(wǎng)絡(luò)或者混合學(xué)習(xí)，實(shí)現(xiàn)把知識向ViT 的傳遞，因而讓ViT 在圖像分類中取得了更加優(yōu)秀的表現(xiàn)。

本文DCL 模式中，不同網(wǎng)絡(luò)通過分享一部分權(quán)重來進(jìn)行知識的溝通，在一定程度上使得這些網(wǎng)絡(luò)的最終輸出更加集中、即不離群，也有利于網(wǎng)絡(luò)獲得更高的魯棒性。

圖2 和圖3 比較EfficientNet-B3 和ResNet-18使用不同數(shù)量的網(wǎng)絡(luò)進(jìn)行DCL 學(xué)習(xí)的結(jié)果。學(xué)習(xí)效果對比表明：

圖2 CIFAR-10 上EfficientNet-B3 使用不同數(shù)量網(wǎng)絡(luò)進(jìn)行DCL學(xué)習(xí)的Top-1 正確率結(jié)果Fig. 2 Top-1 accuracy of DCL learning using different number of networks for EfficientNet-B3 on CIFAR-10

圖3 CIFAR-10 上ResNet-18 不同數(shù)量網(wǎng)絡(luò)進(jìn)行DCL 學(xué)習(xí)的Top-1 正確率結(jié)果Fig. 3 Top-1 accuracy of DCL learning using different number of networks for ResNet-18 on CIFAR-10

（1）DCL 的正確率曲線總是高于Independent的正確率曲線，表明在相同的迭代學(xué)習(xí)次數(shù)下，DCL比Independent 學(xué)習(xí)得更加充分，并且在訓(xùn)練結(jié)束后，DCL 達(dá)到了Independent 所沒有達(dá)到的學(xué)習(xí)效果。

（2）K的值越大，圖中的正確率曲線就處在更高的位置，表明增加進(jìn)行交流和溝通的網(wǎng)絡(luò)個數(shù)K，將提高整體的學(xué)習(xí)效果。在DCL 中，進(jìn)行交流的學(xué)習(xí)者越多，集體會傾向于取得更加優(yōu)秀的學(xué)習(xí)表現(xiàn)。

3 結(jié)束語

本文提出了一種讓深度神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中進(jìn)行互相交流的訓(xùn)練模式，利用經(jīng)典、成熟的圖像分類神經(jīng)網(wǎng)絡(luò)對所提出的學(xué)習(xí)模式的驗證結(jié)果表明，該模式使多種深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果獲得了明顯提高。利用DCL，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的效果更好。實(shí)驗結(jié)果證明了DCL 模式對多類神經(jīng)網(wǎng)絡(luò)都有效，且增加交流的網(wǎng)絡(luò)個數(shù)，能進(jìn)一步提高學(xué)習(xí)效果。未來的工作將對分布式訓(xùn)練的交流方式進(jìn)行探索，以提高多個網(wǎng)絡(luò)進(jìn)行交流訓(xùn)練的時間效率。