卷積神經(jīng)網(wǎng)絡(luò)復雜性質(zhì)與準確率的關(guān)系研究

王光波，孫仁誠，隋 毅，邵峰晶

(青島大學計算機科學技術(shù)學院，山東 青島 266071)

0 引言

近年來，以深度學習為主導的人工神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)日趨復雜，網(wǎng)絡(luò)的層次不斷加深、鏈接關(guān)系更加繁雜。如何設(shè)計有效的人工神經(jīng)網(wǎng)絡(luò)以提升深度學習的效果尚無有效的指導方法。已有研究表明神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)會對神經(jīng)網(wǎng)絡(luò)的性能產(chǎn)生較大的影響。Simard[1]驗證了小世界神經(jīng)網(wǎng)絡(luò)比規(guī)則網(wǎng)絡(luò)和隨機網(wǎng)絡(luò)具有更快的收斂速度。在2019年Saining Xie[2]分別對ER，BA,以及WS三種模型生成的隨機連邊神經(jīng)網(wǎng)絡(luò)進行了探索，在計算域相同的情況下WS(4,0.75)生成的隨機網(wǎng)絡(luò)在ImageNet上具有最高的準確率。因此，應(yīng)用復雜網(wǎng)絡(luò)的“小世界”、“無標度”等復雜網(wǎng)絡(luò)性質(zhì)來指導深度學習網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計或許為深度學習模型設(shè)計提供理論依據(jù)。然而可以體現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的復雜網(wǎng)絡(luò)性質(zhì)有很多，其中包括平均度，網(wǎng)絡(luò)直徑，圖密度，模塊化，平均聚集系數(shù)，平均路徑長度等。平均聚集系數(shù)可以體現(xiàn)網(wǎng)絡(luò)中節(jié)點聚集成團的程度，網(wǎng)絡(luò)直徑可以體現(xiàn)網(wǎng)絡(luò)中任意兩個節(jié)點的最大距離。具體哪些性質(zhì)所體現(xiàn)的網(wǎng)絡(luò)結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)的準確率有關(guān)尚不能明確。

因此，本文首先分析了先進的卷積神經(jīng)網(wǎng)絡(luò)的復雜性質(zhì)，之后設(shè)計出了多組拓撲結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)，通過在標準數(shù)據(jù)集的訓練和公式計算獲得了它們的準確率和拓撲復雜性質(zhì)數(shù)據(jù)。通過相關(guān)數(shù)據(jù)探究了神經(jīng)網(wǎng)絡(luò)性能和拓撲結(jié)構(gòu)復雜性質(zhì)的關(guān)系。這為進一步設(shè)計出更好的卷積神經(jīng)網(wǎng)絡(luò)提供了指導。

1 復雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)

1.1 復雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的定義

復雜網(wǎng)絡(luò)是對復雜系統(tǒng)的抽象和描述方式，任何包含大量組成單元(或子系統(tǒng))的復雜系統(tǒng)，當把構(gòu)成單元抽象成節(jié)點、單元之間的相互關(guān)系抽象為邊時，都可以當作復雜網(wǎng)絡(luò)來研究。

前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network，F(xiàn)NN)[3]，簡稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。前饋神經(jīng)網(wǎng)絡(luò)采用一種單向多層結(jié)構(gòu)。其中每一層包含若干個神經(jīng)元。在此種神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元可以接收前一層神經(jīng)元的信號，并產(chǎn)生輸出到下一層。第0層叫輸入層，最后一層叫輸出層，其他中間層叫做隱含層(或隱藏層、隱層)。隱層可以是一層。也可以是多層。整個網(wǎng)絡(luò)中無反饋，信號從輸入層向輸出層單向傳播，可用一個有向無環(huán)圖表示。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。

1.2 復雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換

如圖1所示，圖中卷積神經(jīng)網(wǎng)絡(luò)的灰色節(jié)點由大量的卷積層、池化層等操作函數(shù)組成，這些操作函數(shù)便是卷積神經(jīng)網(wǎng)絡(luò)這一系統(tǒng)的組成單元。在卷積神經(jīng)網(wǎng)絡(luò)中，每一個操作函數(shù)會將特征圖進行處理，處理完成后將特征圖傳遞給下一個操作函數(shù)。由此可得，操作函數(shù)之間具有傳遞信息的關(guān)系。結(jié)合復雜網(wǎng)絡(luò)的定義可得一組對特征圖進行操作的函數(shù)就可以抽象為復雜網(wǎng)絡(luò)中的一個節(jié)點。特征圖在函數(shù)之間的傳遞便可以抽象為節(jié)點之間的連邊。卷積神經(jīng)網(wǎng)絡(luò)可以轉(zhuǎn)換為復雜網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)會影響網(wǎng)絡(luò)的性能。要探究網(wǎng)絡(luò)性能與對應(yīng)復雜網(wǎng)絡(luò)性質(zhì)的關(guān)系，就需要借助復雜網(wǎng)絡(luò)，對實際卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)進行分析，在此基礎(chǔ)上對網(wǎng)絡(luò)性能與對應(yīng)復雜網(wǎng)絡(luò)性質(zhì)的關(guān)系進行探究。

1.3 卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)性質(zhì)的分析及問題

卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)由最初從左到右的鏈式結(jié)構(gòu)LeNet[3]，AlexNet[4]，VGGNet[5]等，發(fā)展到了如今的含有跨層連邊的多樣化布線結(jié)構(gòu)Inception-v4[6],ResNet[7],DenseNet[8],NASNet[9]等。參數(shù)數(shù)量越來越多，準確率越來越強大。

最初的卷積神經(jīng)網(wǎng)絡(luò)都是鏈式結(jié)構(gòu)的，網(wǎng)絡(luò)的卷積核會對特征圖進行卷積操作。特征圖在網(wǎng)絡(luò)內(nèi)部的流動使得神經(jīng)網(wǎng)絡(luò)可以看作一種有向的復雜網(wǎng)絡(luò)。如圖2所示6層的卷積神經(jīng)網(wǎng)絡(luò)，因為卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重共享，網(wǎng)絡(luò)的對應(yīng)復雜網(wǎng)絡(luò)可以看成是一種規(guī)則網(wǎng)絡(luò)。

如圖3從左到右是3種先進卷積神經(jīng)網(wǎng)絡(luò)的一部分，以及k=4的最近鄰耦合網(wǎng)絡(luò)。ResNet的每一個節(jié)點都會與后面一個相鄰節(jié)點有一條連邊，對于后面的第三個節(jié)點也會有一條連邊，可以稱這樣的連邊為跨層連邊。所以ResNet的對應(yīng)復雜網(wǎng)絡(luò)是一個規(guī)則網(wǎng)絡(luò)。NASNet的每一個節(jié)點都會與后面一個相鄰節(jié)點有一條連邊，對于后面的第二個節(jié)點也有一條連邊。在較大的粒度來看NASNet的對應(yīng)復雜網(wǎng)絡(luò)是一個k=4的有向最近鄰耦合網(wǎng)絡(luò)。DenseNet中的每一個節(jié)點都會與這個節(jié)點后面的每一個節(jié)點有一條連邊，這種網(wǎng)絡(luò)也是一種規(guī)則網(wǎng)絡(luò)。

圖1 復雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換

圖2 6層的卷積神經(jīng)網(wǎng)絡(luò)

通過分析發(fā)現(xiàn)，如今卷積神經(jīng)網(wǎng)絡(luò)的對應(yīng)復雜網(wǎng)絡(luò)都是規(guī)則網(wǎng)絡(luò)，規(guī)則網(wǎng)絡(luò)會有較大的聚集系數(shù)和較大的平均路徑長度。卷積神經(jīng)網(wǎng)絡(luò)的準確率與對應(yīng)復雜網(wǎng)絡(luò)的較大的聚集系數(shù)和較大的平均路徑長度的關(guān)系需要進一步通過實驗驗證。

2 卷積神經(jīng)網(wǎng)絡(luò)拓撲性質(zhì)的研究

2.1 問題描述

經(jīng)過上述分析，需要進一步驗證卷積神經(jīng)網(wǎng)絡(luò)準確率與網(wǎng)絡(luò)聚集系數(shù)和平均路徑長度的關(guān)系。網(wǎng)絡(luò)的復雜性質(zhì)有很多，除了聚集系數(shù)[10]和平均路徑長度[11]，平均度、網(wǎng)絡(luò)直徑、圖密度、模塊化[12]等也可以在一定程度上反應(yīng)卷積神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)的一些特性。

希望通過實際模型探究卷積神經(jīng)網(wǎng)絡(luò)的準確率與復雜性質(zhì)的關(guān)系。這就要求設(shè)計出多組拓撲結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)。為了更好地設(shè)計拓撲結(jié)構(gòu)和描述問題，給出如下定義：

定義1基線網(wǎng)絡(luò)模型記為Bnet(Vb,Eb)，其中，Vb={vi|vi為節(jié)點,0

定義2交叉網(wǎng)絡(luò)模型為在基線網(wǎng)絡(luò)的基礎(chǔ)上，添加m條跨層連邊得到，記為Cnet(Vc,Ec)，其中，Vc=Vb，Ec=Eb∪El，這里El={〈vsj,vwj〉j|vsj,vwj∈Vb,0≤sj

圖3 卷積神經(jīng)網(wǎng)絡(luò)和最近鄰耦合網(wǎng)絡(luò)

圖4 交叉網(wǎng)絡(luò)

圖4給出了交叉網(wǎng)絡(luò)的示意圖，交叉網(wǎng)絡(luò)有兩種連邊。第一種連邊是相鄰節(jié)點之間的連邊，用Eb表示，第二種連邊是跨層連邊，用El表示。根據(jù)定義2，可以通過人工設(shè)計不同的跨層連邊，將跨層連邊添加到基線網(wǎng)絡(luò)中得到不同拓撲結(jié)構(gòu)的交叉網(wǎng)絡(luò)。

得到不同拓撲結(jié)構(gòu)的交叉網(wǎng)絡(luò)之后，需要進一步將只有節(jié)點和連邊的網(wǎng)絡(luò)擴展為完整的卷積神經(jīng)網(wǎng)絡(luò)。這需要給出卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)定義，然后在定義的基礎(chǔ)上，通過算法建立完整并有較高性能表現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)，命名為交叉卷積神經(jīng)網(wǎng)絡(luò)。因為交叉網(wǎng)絡(luò)的拓撲結(jié)構(gòu)是多樣性的，所以對應(yīng)得到的卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)也是多樣性的。在正式進行實驗之前，需要進行一下卷積神經(jīng)網(wǎng)絡(luò)的拓撲復雜性分析，之后通過交叉卷積神經(jīng)網(wǎng)絡(luò)這一實際模型探究卷積神經(jīng)網(wǎng)絡(luò)準確率與網(wǎng)絡(luò)復雜性質(zhì)之間理論上存在的關(guān)系，最后通過實驗進一步驗證這一關(guān)系。

2.2 復雜網(wǎng)絡(luò)拓撲到卷積神經(jīng)網(wǎng)絡(luò)的生成算法

影響卷積神經(jīng)網(wǎng)絡(luò)準確率的因素有很多，實驗中需要注意控制單一變量。以交叉網(wǎng)絡(luò)為基礎(chǔ)，在節(jié)點數(shù)量和連邊數(shù)量一定的條件下，人工設(shè)計出不同拓撲結(jié)構(gòu)的交叉網(wǎng)絡(luò)。然后將不同拓撲結(jié)構(gòu)的交叉網(wǎng)絡(luò)轉(zhuǎn)換成對應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)。為了將網(wǎng)絡(luò)轉(zhuǎn)換成卷積神經(jīng)網(wǎng)絡(luò)，這里給出卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)定義。

考慮圖像X0在卷積神經(jīng)網(wǎng)絡(luò)中前向傳遞，卷積神經(jīng)網(wǎng)絡(luò)包括L層卷積層，每一層都是復合卷積層Hi(x)或Ti(x)，i表示第i層。Hi(x),Ti(x)是一種由批量歸一化(BN)[13],激活函數(shù)(ReLU)[14],池化或卷積(Conv)組成的連續(xù)操作。BN函數(shù)可以加速網(wǎng)絡(luò)收斂，ReLU是一種激活函數(shù)操作，Conv是卷積操作，Pooling是池化操作，可以減小特征圖尺寸。

定義3復合卷積層指對特征圖x依次進行批歸一化、ReLu激活及卷積窗口為r×t的卷積運算過程，記為H(x)=Conv(ReLU(BN(x)),r,t)。

定義4傳輸層，指對特征圖x依次進行批歸一化、ReLu激活及池化運算過程，記為Transition layerT(x)=Pooling(ReLU(BN(x)))。

定義5復合函數(shù)層，傳輸層或復合卷積層統(tǒng)稱為復合函數(shù)層。

定義6特征圖鏈接指復合函數(shù)層將新產(chǎn)生的特征圖傳遞到下一個復合函數(shù)層的過程。這一過程會將前面?zhèn)鬟f過來的特征圖與已有特征圖進行拼接，形成一個較大的特征圖。記為cat(x0,x1)=[x0,x1]，x1是源復合函數(shù)層傳遞過來的特征圖，x0是已有特征圖。

定義7交叉卷積神經(jīng)網(wǎng)絡(luò)是將b個交叉網(wǎng)絡(luò)串行連接得到的網(wǎng)絡(luò)，在交叉網(wǎng)絡(luò)的基礎(chǔ)上通過應(yīng)用算法1可以得到。它的拓撲結(jié)構(gòu)與交叉網(wǎng)絡(luò)大致相同。

算法1交叉卷積神經(jīng)網(wǎng)絡(luò)生成算法:

Input：(Cnet(Vc,Ec))，b,r,t

Output: (Cross convolutional neural network(Vc,Ec))

Initialise Composite function setH(x)=Conv(ReLU(BN(x)),r,t)T(x)=Pooling(ReLU(BN(x)))

foreachvinVcdo:

If v is last node: replacevwithT(x)

Else : replacevwithH(x)

foreinEcdo:

replace e withcat(x0,x1) {x0,x1is the feature map produced byT(x) orH(x)}

Cross convolutional neural network(Vc,Ec){Initialize the Cross convolutional neural network}

fori=0;i

vi=Cnet(Vc,Ec);vi+1=Cnet(Vc,Ec)

〈vi,vi+1〉=cat(x0,x1) {x1is produced byvi，x0is produced by other node}

Vc=Vc∪vi∪vi+1;Ec=Ec∪〈vi,vi+1〉

result= Cross convolutional neural network(Vc,Ec)-T(x)+Classification layer

{Replace the final Transition layer with the classification layer}

Output= result

2.3 卷積神經(jīng)網(wǎng)絡(luò)拓撲復雜性分析

交叉卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)不同，復雜性質(zhì)也會不同。特征圖在不同拓撲結(jié)構(gòu)的交叉卷積神經(jīng)網(wǎng)絡(luò)中流動時會產(chǎn)生不同的結(jié)果，所以，交叉卷積神經(jīng)網(wǎng)絡(luò)的復雜性質(zhì)在一定程度上會對交叉卷積神經(jīng)網(wǎng)絡(luò)的準確率造成影響。

網(wǎng)絡(luò)的復雜性質(zhì)包括：平均度，網(wǎng)絡(luò)直徑，模塊化，平均聚集系數(shù)，平均路徑長度等。這里通過平均路徑長度和平均聚集系數(shù)[12]分析網(wǎng)絡(luò)的復雜性質(zhì)如何對網(wǎng)絡(luò)的準確率造成影響。

復雜網(wǎng)絡(luò)中的平均路徑長度是任意兩個節(jié)點之間距離的平均值。根據(jù)交叉卷積神經(jīng)網(wǎng)絡(luò)生成算法可知兩個節(jié)點之間的距離在卷積神經(jīng)網(wǎng)絡(luò)中便是特征圖從一個網(wǎng)絡(luò)層到另一個網(wǎng)絡(luò)層經(jīng)過的H(X)或T(X)次數(shù)。網(wǎng)絡(luò)的平均路徑長度可以在一定程度反映出交叉卷積神經(jīng)網(wǎng)絡(luò)特征圖的卷積細化程度。

根據(jù)復雜網(wǎng)絡(luò)的相關(guān)理論，交叉卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)中如果一個節(jié)點i的度為ki，那么節(jié)點i的聚集系數(shù)[10]Ci定義為

(1)

在拓撲結(jié)構(gòu)上ejk表示節(jié)點j有一條指向節(jié)點k的連邊。Ni表示節(jié)點i的鄰居節(jié)點的集合。式(1)中的分子是節(jié)點i的ki個鄰居節(jié)點之間實際存在的邊數(shù)。分母是點i的ki個鄰居節(jié)點之間至多存在的邊數(shù)。分子和分母的比值便可以反映節(jié)點聚集成團的程度。根據(jù)式(1)描述，在ki一定的情況下，ki個鄰居節(jié)點之間實際存在的邊數(shù)，就會直接影響節(jié)點i聚集系數(shù)的值。

在交叉卷積神經(jīng)網(wǎng)絡(luò)中，這ki個節(jié)點對應(yīng)的卷積層都接收到了卷積層i產(chǎn)生的特征圖，這ki個卷積層之間如果互相傳遞的特征圖較多，聚集系數(shù)就會較大，如果傳遞的特征圖較少，聚集系數(shù)就會較小。因此，網(wǎng)絡(luò)的平均聚集系數(shù)可以反映網(wǎng)絡(luò)中各個卷積層特征圖聚集成團的程度。

經(jīng)過以上分析，交叉卷積神經(jīng)網(wǎng)絡(luò)的復雜性質(zhì)可以反映交叉卷積神經(jīng)網(wǎng)絡(luò)每一個卷積層或傳輸層產(chǎn)生的特征圖之間的傳遞與融合的某些特性，從而在一定程度反應(yīng)交叉卷積神經(jīng)網(wǎng)絡(luò)的準確率。接下來通過實驗進一步驗證交叉卷積神經(jīng)網(wǎng)絡(luò)復雜性質(zhì)與交叉卷積神經(jīng)網(wǎng)絡(luò)準確率的關(guān)系。

3 實驗過程與分析

3.1 實驗設(shè)計

為了驗證交叉卷積神經(jīng)網(wǎng)絡(luò)復雜性質(zhì)與網(wǎng)絡(luò)準確率的關(guān)系，需要設(shè)計多組復雜性質(zhì)不同的模型。為了實現(xiàn)這一目標，首先通過定義1和定義2人工設(shè)計出模型的拓撲結(jié)構(gòu)。之后通過應(yīng)用算法1，生成多組拓撲結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)。具體實施方案如下:

根據(jù)定義1，設(shè)參數(shù)n=6，初始化基線網(wǎng)絡(luò)，網(wǎng)絡(luò)中有標號為0-5的6個節(jié)點。人工預(yù)設(shè)7組拓撲結(jié)構(gòu)不同的跨層連邊，如表1所示。為了進行對照實驗，標號(1,2),(3,4),(5,6,7)是3組對照實驗，它們的連邊既有相同又有不同，使得它們的復雜性質(zhì)一定不同。

設(shè)參數(shù)m=5，在基線網(wǎng)絡(luò)的基礎(chǔ)上，根據(jù)定義2將表1中每一組跨層連邊添加到基線網(wǎng)絡(luò)中，得到7組拓撲結(jié)構(gòu)不同的交叉網(wǎng)絡(luò)。為了使拓撲結(jié)構(gòu)具有多樣性，將其中2組交叉網(wǎng)絡(luò)的拓撲進行修改。去掉了連邊〈4,5〉,增加了連邊〈0,2〉。最終結(jié)果如表2所示。

表1 人工預(yù)設(shè)的7組跨層連邊

表2 不同拓撲結(jié)構(gòu)的7組網(wǎng)絡(luò)

最后將設(shè)計出的拓撲結(jié)構(gòu)轉(zhuǎn)換為完整可訓練的卷積神經(jīng)網(wǎng)絡(luò)。設(shè)定參數(shù)r=3，t=3,b=3通過應(yīng)用算法1，由表2中這7組交叉網(wǎng)絡(luò)生成對應(yīng)的交叉卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)算法1可知交叉卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)與對應(yīng)交叉網(wǎng)絡(luò)的拓撲結(jié)構(gòu)相同。因為通過m,n控制了節(jié)點數(shù)量和連邊數(shù)量,所以生成的7組模型的參數(shù)數(shù)量基本相同。

3.2 實驗數(shù)據(jù)

通過訓練7組交叉卷積神經(jīng)網(wǎng)絡(luò)和計算它們的復雜性質(zhì)獲得實驗數(shù)據(jù)。

訓練交叉卷積神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)集分別使用了Cifar10和Cifar100。訓練的超參數(shù)設(shè)置如下:學習率lr=0.001,設(shè)置學習率每隔80個訓練輪次衰減為原來的10%，batch_size=64,優(yōu)化器使用Adam[15],每個模型訓練300個輪次，為了降低隨機性，取后200個輪次準確率的平均值作為模型的評價。收集了這兩個數(shù)據(jù)集上的準確率表現(xiàn)和網(wǎng)絡(luò)參數(shù)數(shù)量后制作成了表3。

交叉卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)與交叉網(wǎng)絡(luò)的拓撲結(jié)構(gòu)相同，根據(jù)網(wǎng)絡(luò)復雜性質(zhì)的相關(guān)公式，直接計算交叉網(wǎng)絡(luò)的平均度，網(wǎng)絡(luò)直徑，圖密度，模塊化，平均聚集系數(shù)，平均路徑長度，得到了交叉卷積神經(jīng)網(wǎng)絡(luò)的復雜性質(zhì)，將結(jié)果進行匯總制作成了表4。

3.3 結(jié)果分析

通過對比表3和表4的數(shù)據(jù)后發(fā)現(xiàn)，表4中的7個復雜網(wǎng)絡(luò)的性質(zhì)只有平均聚集系數(shù)會和卷積神經(jīng)網(wǎng)絡(luò)的準確率有一定的關(guān)系。具體表現(xiàn)為在參數(shù)量相同的情況下，聚集系數(shù)小的網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)準確率會高。模型3,4參數(shù)數(shù)量相同，模型4的平均聚集系數(shù)比模型3稍微小一些，模型4的卷積神經(jīng)網(wǎng)絡(luò)準確率表現(xiàn)比模型3也高一些。模型1,2,5,6,7的參數(shù)數(shù)量相同，模型5有最高卷積神經(jīng)網(wǎng)絡(luò)準確率的同時平均聚集系數(shù)也是最小的。

表3 7組模型的參數(shù)數(shù)量以及在Cifar10和Cifar100上的準確率表現(xiàn)

表4 7組模型的復雜性質(zhì)

經(jīng)實驗數(shù)據(jù)可得到結(jié)論：在統(tǒng)計意義和參數(shù)數(shù)量一定的情況下，卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)復雜網(wǎng)絡(luò)的平均聚集系數(shù)越小，卷積神經(jīng)網(wǎng)絡(luò)的準確率越高。這就要求在設(shè)計新的卷積神經(jīng)網(wǎng)絡(luò)時，在網(wǎng)絡(luò)拓撲結(jié)構(gòu)上減少節(jié)點聚集成團的特性，降低平均聚集系數(shù)的值。

4 結(jié)論

本文通過理論分析和對照實驗，利用設(shè)計出的拓撲結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)進行準確率和復雜性質(zhì)的對比。得到了網(wǎng)絡(luò)拓撲的聚集系數(shù)會影響卷積神經(jīng)網(wǎng)絡(luò)準確率的結(jié)論。具體表現(xiàn)為在統(tǒng)計意義上，聚集系數(shù)越小，卷積神經(jīng)網(wǎng)絡(luò)的準確率越高。這為卷積神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)的設(shè)計進一步提供了理論依據(jù)。在今后的研究中,需要進一步探究聚集系數(shù)與卷積神經(jīng)網(wǎng)絡(luò)的準確率相關(guān)性。