基于特征圖可視化的醫(yī)學(xué)圖像分析

汪穎萍,邵海見(jiàn),2*,鄧 星,2

(1.江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院,鎮(zhèn)江 212100)

(2.東南大學(xué) 自動(dòng)化學(xué)院 復(fù)雜工程系統(tǒng)測(cè)量與控制教育部重點(diǎn)實(shí)驗(yàn)室,南京 210009)

近年來(lái)隨著計(jì)算機(jī)硬件的發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)處理圖像的效率和性能都得到不斷提升.基于CNN的醫(yī)學(xué)圖像分類(lèi)方法,利用卷積操作自動(dòng)提取圖像的形態(tài)、紋理和顏色等特征,并結(jié)合損失函數(shù)和優(yōu)化器對(duì)學(xué)習(xí)到的特性不斷加以修改,使網(wǎng)絡(luò)模型達(dá)到較好的分類(lèi)效果.

經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型由卷積、池化、全連接層組成,如AlexNet,VGG,GoogLeNet,ResNet等,其中VGG模型[1]使用了較小的卷積核和池化核,同時(shí)增加了模型深度,豐富了模型非線性表達(dá)能力而被廣泛用.文獻(xiàn)[2]提出GoogLeNet模型采用不同大小的卷積核和Inception分支結(jié)構(gòu),將不同分支上提取得到的特征拼接映射成為輸出特征,拓寬了模型的寬度.文獻(xiàn)[3]提出的ResNet模型設(shè)計(jì)了殘差結(jié)構(gòu),使得模型在訓(xùn)練過(guò)程中能夠?qū)W習(xí)信息量的差值,克服了神經(jīng)網(wǎng)絡(luò)因深度增加導(dǎo)致性能易退化的缺點(diǎn).為了強(qiáng)調(diào)重要的特征信息,提出注意力機(jī)制,如通道、空間注意力賦予特征圖以不同的權(quán)重,按照這種方式訓(xùn)練得到的網(wǎng)絡(luò)能達(dá)到更好的效果.

基于深度學(xué)習(xí)的發(fā)展,提出許多利用CNN實(shí)現(xiàn)醫(yī)學(xué)圖像分類(lèi)任務(wù)的方法,大致分為兩類(lèi):基于單一網(wǎng)絡(luò)模型的方法和基于模型融合的方法.文獻(xiàn)[4]提出了一種基于圖像補(bǔ)丁的方法訓(xùn)練AlexNet,通過(guò)輸入高分辨率組織病理學(xué)圖像,將乳腺腫瘤分為良、惡性?xún)深?lèi).文獻(xiàn)[5]基于遷移學(xué)習(xí)技術(shù),加載Resnet50網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上訓(xùn)練得到的權(quán)重參數(shù),對(duì)BreaKHis數(shù)據(jù)集[6]中不同放大倍數(shù)的圖像依次分類(lèi).單一的網(wǎng)絡(luò)模型面臨一些復(fù)雜多樣的醫(yī)學(xué)圖像時(shí),提取到的特征信息往往不夠全面,此時(shí)可以采用多個(gè)模型融合的方式,來(lái)提高網(wǎng)絡(luò)的分類(lèi)性能.文獻(xiàn)[7]提出了一種混合Inception-V3和循環(huán)深度神經(jīng)網(wǎng)絡(luò)的方法用于乳腺癌組織病理圖像分類(lèi),有效綜合了CNN和遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì).文獻(xiàn)[8]將DenseNet與SENet模塊交錯(cuò)使用,構(gòu)建一種新的網(wǎng)絡(luò)模型用于乳腺癌的分類(lèi),提高了特征信息的傳遞和復(fù)用.

雖然深度學(xué)習(xí)在醫(yī)學(xué)圖像研究中已經(jīng)取得了不錯(cuò)的成績(jī),但深度學(xué)習(xí)模型的可解釋性問(wèn)題一直存在.被稱(chēng)為“黑盒”的深度學(xué)習(xí),依賴(lài)于從大量的訓(xùn)練數(shù)據(jù)中提取特征,而對(duì)提取出來(lái)的特征數(shù)據(jù)缺乏可解釋性.僅有一個(gè)好的分類(lèi)模型不夠,還需要用科學(xué)可行的方法對(duì)模型給出合理的分析和解釋.為此,文中基于CNN在多個(gè)醫(yī)學(xué)圖像數(shù)據(jù)集上分類(lèi),利用可視化網(wǎng)絡(luò)特征圖的方法對(duì)提取到的特征進(jìn)行分析,從而對(duì)分類(lèi)性能給出合理的解釋.

1 基于特征圖可視化的醫(yī)學(xué)圖像分析方法

基于CNN特征空間可視化的醫(yī)學(xué)圖像分析方法,如圖1,直觀地給出了網(wǎng)絡(luò)中卷積層所產(chǎn)生的特征圖,以灰度圖顯示,并結(jié)合圖像結(jié)構(gòu)相似性(structual similary, SSIM)找出數(shù)據(jù)集在網(wǎng)絡(luò)中存在的差異,正是這些差異最終導(dǎo)致了分類(lèi)結(jié)果的不同.每一階段的描述如下:

圖1 基于特征圖可視化的醫(yī)學(xué)圖像分析方法

圖像分類(lèi).利用改進(jìn)后的VGG16網(wǎng)絡(luò)分別對(duì)BreaKHis、Retinal OCT和Chest X-Ray Images數(shù)據(jù)集分類(lèi),從定性的角度找出同一網(wǎng)絡(luò)在不同數(shù)據(jù)集上的差異性.

特征圖可視化.輸入圖片經(jīng)過(guò)4個(gè)特征圖可視化模型后將生成一系列的特征圖,以視覺(jué)更為直觀的方式觀察每一次卷積運(yùn)算后習(xí)得的特征信息.

篩選特征圖.計(jì)算每個(gè)可視化模型產(chǎn)生所有特征圖的圖片信息熵,從中分別挑選信息熵最大的特征圖,其代表該可視化模型提取特征的能力.

SSIM相似性計(jì)算.由于部分卷積層輸出特征圖的大小不同,導(dǎo)致4個(gè)可視化模型輸出的特征圖尺寸不同,文中采取滑動(dòng)窗口的策略計(jì)算可視化模型輸出特征圖的結(jié)構(gòu)相似性,從定量的角度分析同一網(wǎng)絡(luò)在不同數(shù)據(jù)集上的特征提取能力.

1.1 改進(jìn)的VGG16網(wǎng)絡(luò)模型

基于VGG16網(wǎng)絡(luò)進(jìn)行分類(lèi),VGG16網(wǎng)絡(luò)模型由13層卷積層、3個(gè)全連接層組成,是針對(duì)在Imagenet大型數(shù)據(jù)集上的分類(lèi)問(wèn)題而設(shè)計(jì)的,因此VGG16網(wǎng)絡(luò)的卷積層和全連接層參數(shù)量巨大,而文中所使用到的3個(gè)醫(yī)學(xué)圖像數(shù)據(jù)集在數(shù)量和類(lèi)別均遠(yuǎn)小于Imagenet數(shù)據(jù)集.為了避免出現(xiàn)過(guò)擬合問(wèn)題,對(duì)VGG16網(wǎng)絡(luò)模型進(jìn)行了相應(yīng)改進(jìn),使得該網(wǎng)絡(luò)模型更加適合需求.

文中重新設(shè)計(jì)了卷積層和全連接層,保持了卷積核大小和5個(gè)最大池化,改進(jìn)后的VGG16網(wǎng)絡(luò)模型如圖2.對(duì)于卷積層,減少每層卷積核的數(shù)量,降低參數(shù)量,縮減了網(wǎng)絡(luò)規(guī)模;同時(shí)每個(gè)卷積塊中的第一個(gè)卷積層不進(jìn)行圖像填充,剩余卷積層保持輸入輸出的大小不發(fā)生變化.如卷積塊conv1的第一個(gè)卷積層,輸入224×224×3的圖片經(jīng)過(guò)32個(gè)3×3的卷積核卷積后變成了222×222×32.針對(duì)全連接層,將原有的3層改進(jìn)為2層,并減少相應(yīng)層中的神經(jīng)元數(shù)量,使用Relu激活函數(shù),加入dropout層以防止過(guò)擬合,調(diào)整最后的輸出分類(lèi)為相應(yīng)類(lèi)別.

圖2 改進(jìn)后的VGG16網(wǎng)絡(luò)模型

1.2 特征圖可視化模型

激活圖,稱(chēng)為特征圖,捕獲將過(guò)濾器應(yīng)用于輸入的結(jié)果,例如輸入圖像或特征圖.使學(xué)習(xí)到的特征顯式的方法稱(chēng)為特征可視化.鑒于網(wǎng)絡(luò)的復(fù)雜性和不透明性,特征可視化是分析和描述網(wǎng)絡(luò)的重要步驟.

為了探索特征圖的可視化,需要輸入可用于創(chuàng)建激活的VGG16模型.文中利用每個(gè)卷積層輸出的特征圖的尺寸等信息,設(shè)計(jì)4個(gè)新模型,這些模型是完整VGG16模型中的子集.具有與原始模型相同的輸入層,但輸出將是給定卷積層的輸出.在可視化特征圖的過(guò)程中,使用這些模型進(jìn)行預(yù)測(cè),將給出指定輸入圖像經(jīng)過(guò)特定卷積層后產(chǎn)生的特征圖.

4個(gè)可視化模型的輸出分別是VGG16網(wǎng)絡(luò)的第一、三、五以及第七個(gè)卷積層的輸出,即大小分別為222×222×32、109×109×64、52×52×128和52×52×128的一系列特征圖.圖3為最后一個(gè)可視化子模型的網(wǎng)絡(luò)結(jié)構(gòu),在該模型中,使用與VGG16模型相同數(shù)量和尺寸的卷積過(guò)濾器,然而子模型僅專(zhuān)注于特征提取階段.圖中淺色部分代表經(jīng)過(guò)卷積層后產(chǎn)生的特征圖,深色部分代表經(jīng)過(guò)池化操作后得到的特征圖.對(duì)于最后一個(gè)特征圖可視化模型,將輸出待預(yù)測(cè)圖片在網(wǎng)絡(luò)中的128個(gè)特征圖.

圖3 可視化子模型

1.3 相似性計(jì)算

文中使用文獻(xiàn)[9]提出的SSIM結(jié)構(gòu)相似度評(píng)估特征圖,從亮度、對(duì)比度、結(jié)構(gòu)3個(gè)方面度量圖像相似性,其定義為:

(1)

式中:x、y為輸入的兩張大小相同二維特征圖矩陣;α、β、γ為相關(guān)權(quán)重系數(shù),均大于0;l(x,y)、c(x,y)、s(x,y)分別為亮度、對(duì)比度、結(jié)構(gòu)相似度函數(shù).

(2)

(3)

(4)

式中:u為特征圖的平均灰度矩陣;σ和σxy分別為標(biāo)準(zhǔn)差與協(xié)方差矩陣;C為常數(shù).

從4個(gè)可視化模型產(chǎn)生的特征圖中分別篩選出信息熵最大的特征圖,用SSIM指標(biāo)衡量特征圖間的相似性.由于不同可視化模型產(chǎn)生特征圖的大小不同,文中采用序列滑動(dòng)的策略.將特征圖拉平成一維向量,以短序列的1/2為步長(zhǎng),使短序列在長(zhǎng)序列上滑動(dòng),確保用于計(jì)算相似性的特征圖具有相同的維度,依次計(jì)算出兩者SSIM值,結(jié)果取平均值.SSIM值越高,即兩張?zhí)卣鲌D的相似度越高,則兩個(gè)可視化模型間提取到的特征重疊性越大.

2 實(shí)驗(yàn)與結(jié)果

2.1 數(shù)據(jù)集

2.1.1 BreaKHis數(shù)據(jù)集

乳腺癌組織病理學(xué)圖像[6],樣本從乳腺組織活檢玻片中提取,通過(guò)SOB活檢方法得到并用蘇木精-伊紅染色法染色,選取厚度約3 μm的部分.通過(guò)免疫組織化學(xué)來(lái)評(píng)估乳腺腫瘤標(biāo)本,分別使用不同的放大倍數(shù)獲得乳腺腫瘤組織的顯微圖.數(shù)據(jù)集共包括來(lái)自82位患者的7 909張病理圖像,其中良性樣本2 480張和惡性樣本5 429張,樣本分布見(jiàn)表1.不同放大倍數(shù)的乳腺組織病理圖像在VGG16網(wǎng)絡(luò)上的分類(lèi)性能差異并不大,故文中選用放大倍數(shù)為40的所有樣本為例,進(jìn)行可視化分析.

表1 BreaKHis數(shù)據(jù)集中的樣本分布

2.1.2 Retinal OCT數(shù)據(jù)集

視網(wǎng)膜光學(xué)相干斷層掃描(OCT)可提供活體患者視網(wǎng)膜高分辨率橫截面的圖像.Retinal OCT數(shù)據(jù)集共包含84 484張X射線圖像,4個(gè)類(lèi)別及數(shù)量分別為:脈絡(luò)膜新生血管(CNV),37 455;糖尿病黃斑水腫(DME),11 598;脈絡(luò)膜小疣(DRUSEN),8 866;正常(NORMAL),26 565.

圖4為不同種類(lèi)中具有代表性的光學(xué)相干層析成像圖像,并用不同的記號(hào)標(biāo)識(shí)了各類(lèi)病變獨(dú)具的特征形態(tài).從左到右依次是CNV表現(xiàn)為新生血管膜和視網(wǎng)膜下液;DME表現(xiàn)為視網(wǎng)膜增厚、出現(xiàn)相關(guān)視網(wǎng)膜內(nèi)液體;DRUSEN含有多個(gè)脈絡(luò)膜小疣;正常視網(wǎng)膜NORMAL呈中央凹陷狀、無(wú)視網(wǎng)膜內(nèi)液和水腫產(chǎn)生[10].

圖4 OCT數(shù)據(jù)集中的4類(lèi)圖像

2.1.3 Chest X-Ray數(shù)據(jù)集

胸部X射線圖像數(shù)據(jù)集收集了廣州市婦女兒童醫(yī)療中心1～5歲兒童患者的5 856張X射線圖像,其中正常胸部圖像有1 583張,患有肺炎的有4 273張[11].圖5展示了數(shù)據(jù)集中兩類(lèi)圖像,左圖正常胸部X光片肺部清晰明顯,無(wú)異?；鞚釁^(qū)域,而患肺炎一般在X光片上表現(xiàn)為雙肺紋理增多增粗紊亂,并見(jiàn)斑片狀密度增高影,邊緣模糊.

圖5 有/無(wú)肺炎的胸部X光片

2.2 實(shí)驗(yàn)結(jié)果與討論

2.2.1 特征圖可視化

文中分別給出了3類(lèi)數(shù)據(jù)集在4個(gè)可視化模型上的輸出.所有實(shí)驗(yàn)均在同一臺(tái)設(shè)備上進(jìn)行,利用同一個(gè)CNN在3個(gè)數(shù)據(jù)集上分類(lèi),選擇分類(lèi)性能最好的迭代次數(shù),并盡可能調(diào)整參數(shù)使其達(dá)到最優(yōu).

從圖6～8可視化的結(jié)果中觀察到淺層的卷積層提取到的是輸入圖像的邊緣、輪廓、線條等特征,特征清晰明顯.圖6中為BreaKHis數(shù)據(jù)集中某一惡性乳腺癌圖像依次在4個(gè)可視化模型的輸出,特征圖的尺寸分別是222×222×32、109×109×64、52×52×128和52×52×128.隨著網(wǎng)絡(luò)層數(shù)加深,深層卷積層在淺層卷積層的基礎(chǔ)上提取的特征更加復(fù)雜,故而第四個(gè)可視化模型輸出的特征也更為抽象.圖7為Retinal OCT數(shù)據(jù)集中的某一脈絡(luò)膜新生血管視網(wǎng)膜疾病圖像分別在4個(gè)可視化模型的輸出.圖8為在Chest X-Ray數(shù)據(jù)集中某一肺炎圖像依次在4個(gè)模型上的可視化結(jié)果.

圖6 特征圖的可視化-惡性乳腺癌

圖7 特征圖的可視化-脈絡(luò)膜新生血管

圖8 特征圖的可視化-肺炎

對(duì)于在4個(gè)模型上可視化后的一系列特征圖,將從中篩選出信息熵最大的特征圖,用于代表該可視化模型的特征提取能力.如圖9,箭頭左側(cè)代表預(yù)測(cè)圖像,與圖6～8的輸入一致,對(duì)于每類(lèi)數(shù)據(jù)集,箭頭右側(cè)從左到右依次為在4個(gè)可視化模型輸出中篩選出的特征圖.

2.2.2 可視化結(jié)果分析

圖像中包含信息量大小的量化稱(chēng)為圖像熵,一定程度上代表信息的混亂程度,熵值越大圖像所蘊(yùn)含的信息則越多.選取每層中圖像熵最大的特征圖,以此來(lái)代表當(dāng)前卷積層提取特征的信息量.將不同灰度的熵值累加得到圖像熵[12]為:

(5)

式中:pi是灰度值為i在該圖像中出現(xiàn)的概率,可由灰度直方圖獲得.

VGG16網(wǎng)絡(luò)每層卷積層產(chǎn)生特征圖的最大圖像熵變化趨勢(shì)如圖10,隨著網(wǎng)絡(luò)層數(shù)加深特征圖熵值降低,每層卷積層所提取到的特征信息量減少.其中在Retinal OCT數(shù)據(jù)集上圖像熵的波動(dòng)幅度明顯,層與層之間提取的特征信息有增有減、互不影響,在該數(shù)據(jù)集上后續(xù)卷積層依舊能提取到豐富的特征信息.而在BreaKHis和Chest X-Ray數(shù)據(jù)集上特征圖的最大信息熵變化趨勢(shì)相對(duì)平緩,且在網(wǎng)絡(luò)的前8層提取到的特征信息量逐層遞減.

圖10 特征圖的最大熵變化

分別測(cè)試3個(gè)數(shù)據(jù)集在VGG16網(wǎng)絡(luò)上的分類(lèi)性能,如表2,表中的SSIM取4個(gè)可視化模型所提取特征間相關(guān)性的平均值.

表2 在VGG16網(wǎng)絡(luò)上的分類(lèi)

通過(guò)SSIM指標(biāo)對(duì)從圖9中篩選出的特征圖進(jìn)行相似性分析,以此評(píng)估4個(gè)可視化模型所提取到的特征信息.如圖11,數(shù)據(jù)集上的相關(guān)性分析,圖中的layer_1表示第一個(gè)可視化模型所提取到的特征,layer_3表示VGG16的第三個(gè)卷積層即第二個(gè)可視化模型所提取到的特征信息,其余以此類(lèi)推.對(duì)每一數(shù)據(jù)集,VGG16網(wǎng)絡(luò)中可視化模型間提取的特征相似性較強(qiáng),在BreaKHis數(shù)據(jù)集上相似度集中在0.95,其次是Chest X-Ray數(shù)據(jù)集約為0.93,在Retinal OCT數(shù)據(jù)集上相似度最低,約為0.85.4個(gè)可視化模型提取到的特征包含相似處,這可能是較重要、具代表性的突出特征.而Retinal OCT數(shù)據(jù)集相比于BreaKHis和Chest X-Ray數(shù)據(jù)集相關(guān)性更低,在該數(shù)據(jù)集上通過(guò)卷積操作提取到了更豐富、更具多樣性的特征信息,在面對(duì)復(fù)雜多樣的病變圖像時(shí)也能有較好的分類(lèi)能力,因此在同一網(wǎng)絡(luò)上分類(lèi)性能最好.

圖11 可視化模型所提取特征間的相關(guān)性-VGG16

通過(guò)可視化模型的輸出,并對(duì)經(jīng)過(guò)篩選后的特征圖進(jìn)行SSIM相似性分析,發(fā)現(xiàn)了不同數(shù)據(jù)集之間的共性和異性.共性即數(shù)據(jù)集經(jīng)過(guò)CNN,提取到的特征信息相似性較高,從可視化的灰度圖(圖6～8)和SSIM指標(biāo)(圖11)證明了這點(diǎn).而3個(gè)醫(yī)學(xué)數(shù)據(jù)集之間的異性在于,Retinal OCT數(shù)據(jù)集數(shù)量大,且4種類(lèi)型的視網(wǎng)膜光學(xué)圖像差異性明顯、易于區(qū)分,BreaKHis和Chest X-Ray數(shù)據(jù)集雖然都只包含兩類(lèi),但在Chest X-Ray數(shù)據(jù)集中肺炎圖像的病變類(lèi)型復(fù)雜,多數(shù)圖像之間僅存在細(xì)微的差異,BreaKHis數(shù)據(jù)集中的乳腺癌細(xì)胞病變形態(tài)多樣,經(jīng)過(guò)卷積層習(xí)得的特征不具有較強(qiáng)的泛化性能.更進(jìn)一步的,對(duì)于VGG16網(wǎng)絡(luò),分類(lèi)能力差異性極大,從表2中可以觀察到Retinal OCT數(shù)據(jù)集的分類(lèi)性能最好.這是由于Retinal OCT數(shù)據(jù)集通過(guò)網(wǎng)絡(luò)的逐層提取學(xué)習(xí)到的特征信息更加豐富,在該數(shù)據(jù)集上可視化模型所提取特征間的結(jié)構(gòu)相似性在0.71～0.96,集中在0.85,相似度相對(duì)較低.而在BreaKHis數(shù)據(jù)集上卷積層提取到的特征相似性極強(qiáng),均大于0.90,見(jiàn)圖11(a),卷積層之間提取的特征單一,從而導(dǎo)致在同一網(wǎng)絡(luò)上取得的分類(lèi)性能較低,分類(lèi)精度為75.96%.

2.2.3 模型性能對(duì)比

為了驗(yàn)證所提出基于特征圖可視化的醫(yī)學(xué)圖像分析方法的普適性,將其應(yīng)用到ResNet18網(wǎng)絡(luò)上.由于該網(wǎng)絡(luò)的參數(shù)量較大,故將卷積核的數(shù)量縮減一半,增加一個(gè)神經(jīng)元個(gè)數(shù)為128的全連接層,分類(lèi)性能見(jiàn)表3.預(yù)測(cè)圖片輸入到基于ResNet18的可視化模型后,對(duì)應(yīng)輸出分別是網(wǎng)絡(luò)的4組殘差塊的輸出,即大小分別是56×56×32、28×28×64、14×14×128和7×7×256的4組特征圖.從中篩選出信息熵最大的特征圖,用于代表4個(gè)可視化模型的特征提取能力,利用SSIM指標(biāo)對(duì)可視化模型提取到的特征信息進(jìn)行相關(guān)性分析,如圖12.

表3 在ResNet18網(wǎng)絡(luò)上的分類(lèi)

圖12 可視化模型所提取特征間的相關(guān)性-ResNet18

圖中conv2_x代表第一個(gè)可視化模型,對(duì)應(yīng)ResNet18網(wǎng)絡(luò)中的第一組殘差塊.其中在Chest X-Ray數(shù)據(jù)集上可視化模型所提取特征間的相關(guān)性均大于0.92,呈極強(qiáng)的相關(guān)性關(guān)系,特征間的重疊性極高.

從表3觀察到ResNet18網(wǎng)絡(luò)在3類(lèi)數(shù)據(jù)集上的分類(lèi)性能表現(xiàn)出同樣的趨勢(shì),即分類(lèi)精度取決于網(wǎng)絡(luò)的特征提取能力.同一網(wǎng)絡(luò)在Retinal OCT數(shù)據(jù)集上可視化模型提取特征間的相似性較低,獲取的特征更豐富多樣,從而表現(xiàn)出更好的分類(lèi)性能.

此外,ResNet18在BreaKHis數(shù)據(jù)集上的分類(lèi)性能明顯優(yōu)于VGG16網(wǎng)絡(luò),相比提高了9.62%,對(duì)應(yīng)的SSIM值卻低于VGG16網(wǎng)絡(luò).可見(jiàn)CNN的特征提取能力在一定程度上決定了網(wǎng)絡(luò)的分類(lèi)性能.

3 結(jié)論

為提高醫(yī)學(xué)圖像分類(lèi)任務(wù)中深度學(xué)習(xí)模型的可解釋性,基于4個(gè)可視化模型生成的特征圖,研究一種對(duì)網(wǎng)絡(luò)模型產(chǎn)生不同決策的分析方法.通過(guò)大量實(shí)驗(yàn)得出以下結(jié)論:

(1) 在CNN中,淺層卷積層提取的是邊緣、輪廓、線條等特征,且可視化后的特征圖明顯清晰.而深層卷積層提取的特征相比于淺層更抽象.

(2) 隨著網(wǎng)絡(luò)層數(shù)的加深特征圖所蘊(yùn)含的信息量總體上呈波動(dòng)式下降.

(3) 神經(jīng)網(wǎng)絡(luò)的逐層提取機(jī)制使得卷積層之間提取得到的特征具有相似性.

(4) 網(wǎng)絡(luò)中層與層之間提取到的特征差異性越大,該數(shù)據(jù)集在同一網(wǎng)絡(luò)上的分類(lèi)性能則越好.