一種基于深度學(xué)習(xí)的醫(yī)學(xué)圖像特征提取方法

張 爍, 張 榮

(1.山西青年職業(yè)學(xué)院 計(jì)算機(jī)系,山西 太原 030024;2.山西醫(yī)科大學(xué) 計(jì)算機(jī)教學(xué)部,山西 太原 030001)

0 引言

阿爾茨海默癥(Alzheimer’s disease,簡(jiǎn)稱(chēng)AD)是一種神經(jīng)退行性疾病[1],主要有記憶力減退和神經(jīng)功能失調(diào)等癥狀。AD病最大的特點(diǎn)是一旦發(fā)病就難以逆轉(zhuǎn)和控制,現(xiàn)在已經(jīng)成為目前最為常見(jiàn)的癡呆病。研究表明,到2050年,全球AD病患者將達(dá)到1.07億[2]。核磁共振成像(sMRI)已經(jīng)廣泛地應(yīng)用于A(yíng)D病的診斷。由于A(yíng)D病會(huì)逐步使大腦體積、灰質(zhì)和白質(zhì)等減小[3],但早期沒(méi)有明顯的癥狀,所以有一部分病人會(huì)誤認(rèn)為是腦正常老化(normal control,NC)而延誤病情,因此通過(guò)計(jì)算機(jī)輔助診斷是區(qū)分大腦正常老化和AD病的常用手段之一。

深度學(xué)習(xí)技術(shù)可以通過(guò)構(gòu)建的深層次網(wǎng)絡(luò)直接從網(wǎng)絡(luò)中得到數(shù)據(jù)的特征,實(shí)現(xiàn)了特征的自適應(yīng)提取,并廣泛地應(yīng)用于通過(guò)醫(yī)學(xué)圖像的疾病診斷中[4]。Sarraf et al[5]通過(guò)構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)對(duì)AD病和正常大腦的MRI圖像進(jìn)行分類(lèi),AD病的檢測(cè)準(zhǔn)確率高達(dá)96.5%。Sui et al[6]設(shè)計(jì)了一種8層的卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢查AD病,實(shí)驗(yàn)準(zhǔn)確率提高到97.65%。呂鴻蒙等人[7]基于遷移學(xué)習(xí),使用了改進(jìn)的AlexNet經(jīng)典CNN網(wǎng)絡(luò)訓(xùn)練ADNI數(shù)據(jù)庫(kù)的大腦MRI圖像進(jìn)行AD病的檢測(cè),并取得了較好的識(shí)別準(zhǔn)確率。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)最早由Lecun et al[8]于1998年設(shè)計(jì)的一種經(jīng)典深度學(xué)習(xí)模型。整個(gè)網(wǎng)絡(luò)模型由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成,并廣泛地應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域。在卷積層中,會(huì)定義一個(gè)卷積核,將卷積核認(rèn)為是一種“感受野”,在卷積運(yùn)算時(shí),這個(gè)“感受野”會(huì)按照從左到右、從上到下的順序在輸入圖像上進(jìn)行滑動(dòng)卷積運(yùn)算,通過(guò)這樣的操作,就可以得到輸入圖像的特征圖像。

在本文中,利用遷移學(xué)習(xí)的方法,在已訓(xùn)練的經(jīng)典網(wǎng)絡(luò)VGG16中,分別提取網(wǎng)絡(luò)模型中的三層圖像特征(covn6、covn9、covn12),然后將這三層圖像進(jìn)行特征疊加,最后運(yùn)用SVM進(jìn)行分類(lèi)。

1 特征提取方法

1.1 VGG特征提取

VGG網(wǎng)絡(luò)是在2014年的ImageNet大賽中,牛津大學(xué)的VGG項(xiàng)目組設(shè)計(jì)的,并使用該模型獲得了圖像分類(lèi)的第二名。該網(wǎng)絡(luò)模型最大的特點(diǎn)是卷積層通道數(shù)隨著網(wǎng)絡(luò)深度加深而逐漸增加,VGG網(wǎng)絡(luò)分為VGG13、VGG16、VGG19三種結(jié)構(gòu)。本文使用了VGG16進(jìn)行腦MRI圖像特征提取。VGG網(wǎng)絡(luò)輸入為224像素×224像素×3通道大小的RGB圖像,有12個(gè)卷積層、5個(gè)池化層和3個(gè)全連接層構(gòu)成。特征提取原理如圖1所示。

圖1 VGG16網(wǎng)絡(luò)特征提取原理圖Fig.1 Principle of VGG16 network feature extraction

表1 提取特征描述Table 1 Extraction of feature description

首先將腦MRI圖像進(jìn)行歸一化操作,使腦圖像大小統(tǒng)一為224像素×224像素的圖像,然后將腦圖像輸入到預(yù)訓(xùn)練好的VGG16網(wǎng)絡(luò)模型中進(jìn)行特征提取,選取第6卷積層、第9卷積層和第 12卷積層的特征。提取的圖像特征具體參數(shù)如表1所示。

對(duì)于CNN網(wǎng)絡(luò)的特征學(xué)習(xí)中,卷積層的作用是特征的學(xué)習(xí)和抽象,池化層的作用是降維和聚合,并且隨著網(wǎng)絡(luò)深度的增加,提取圖像特征的抽象程度也隨之增加,同時(shí)特征表達(dá)能力越來(lái)越強(qiáng),維度越來(lái)越低。

1.2 特征降維

表1各卷積層特征提取數(shù)據(jù)維度描述所示,conv6、conv9和conv12提取的特征維度較高。為了降低特征的維度,可以使用conv6、conv9和conv12各層下一層進(jìn)行最大池化后的特征,這樣特征的維度會(huì)大大降低。最大池化是在每次對(duì)數(shù)據(jù)操作時(shí),將池化核覆蓋區(qū)域的數(shù)據(jù)取最大值,可表示為:

表2 降維后的特征描述Table 2 Feature description after dimensionality reduction

設(shè)池化核的大小為2×2的矩陣,步長(zhǎng)為1,conv6、conv9和conv12進(jìn)行最大池化后的特征描述如表2所示。

1.3 SVM分類(lèi)器

常用的分類(lèi)器方法包括貝葉斯方法、Adaboost和SVM等,樸素貝葉斯是一個(gè)簡(jiǎn)單有效的通用分類(lèi)算法。Adaboost是一種迭代算法,通過(guò)對(duì)同一數(shù)據(jù)集進(jìn)行訓(xùn)練,將訓(xùn)練出的一系列弱分類(lèi)器變成一個(gè)強(qiáng)的分類(lèi)器。SVM是一種有監(jiān)督學(xué)習(xí)的模型,常用于模式識(shí)別、分類(lèi)和回歸分析等。本文使用了SVM分類(lèi)器,下面簡(jiǎn)要介紹一下SVM分類(lèi)器的基本原理?？紤]線(xiàn)性分類(lèi)的情況,定義線(xiàn)性函數(shù)為:

f(x)=wTx+b

其中,w和b是未知參數(shù),根據(jù)以下公式訓(xùn)練確定:

其中,sk(k=1,2,……，M)為支持向量。

1.4 算法流程

圖2 算法流程圖Fig.2 Algorithm flow chart

對(duì)于本文基于CNN網(wǎng)絡(luò)的腦MRI圖像特征提取后，并對(duì)特征圖像使用SVM分類(lèi)算法包括圖像預(yù)處理、數(shù)據(jù)集預(yù)處理、圖像特征提取和SVM分類(lèi)器進(jìn)行分類(lèi)等步驟,算法整體流程如圖2所示。

2 實(shí)驗(yàn)與結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

實(shí)驗(yàn)所用數(shù)據(jù)集搜集了ADNI數(shù)據(jù)庫(kù)(阿爾茨海默病神經(jīng)學(xué)組織)中280例患者的MRI圖像,其中100例為早期A(yíng)D患者的MRI圖像,180例為腦正常老化MRI圖像。將每張圖像歸一化為224像素×224像素大小的圖像,并將VGG16的網(wǎng)絡(luò)參數(shù)配置好。實(shí)驗(yàn)硬件環(huán)境為第八代i5處理器,16GB內(nèi)存,GeForce 1080Ti 獨(dú)立顯卡;軟件環(huán)境為windows8操作系統(tǒng),Python3.6,使用TensorFlow1.4深度學(xué)習(xí)開(kāi)源框架和Libsvm包。

2.2 VGG16網(wǎng)絡(luò)特征提取可視化結(jié)果

在預(yù)訓(xùn)練好的VGG16網(wǎng)絡(luò)中進(jìn)行特征提取,本小節(jié)選取其中一位AD患者的一個(gè)切面腦MRI圖像進(jìn)行特征提取的可視化,分別選取了conv6、conv9和conv12每個(gè)卷積層經(jīng)過(guò)池化降維后的部分特征子圖進(jìn)行展示，如圖3所示。

圖3 VGG16特征提取可視化結(jié)果Fig.3 Visualization results of VGG16 feature extraction

通過(guò)圖3可以看出,腦MRI圖像經(jīng)過(guò)不同的特征核得到不同的特征提取結(jié)果,并且隨著網(wǎng)絡(luò)的加深,特征圖越來(lái)越抽象,特征圖維度越來(lái)越小,從人的角度可以看出特征圖越來(lái)越“模糊”,但是對(duì)于計(jì)算機(jī)而言,它能表達(dá)的特征信息越來(lái)越豐富。

2.3 SVM分類(lèi)器結(jié)果

將整個(gè)圖像數(shù)據(jù)集按照7∶3的比例分為訓(xùn)練集和測(cè)試集,然后分別將conv6、conv9和conv12通過(guò)VGG16網(wǎng)絡(luò)提取的腦圖像MRI特征圖輸入到SVM分類(lèi)器進(jìn)行AD病患者和腦正常老化人群進(jìn)行分類(lèi),來(lái)得出conv6、conv9和conv12每一層的分類(lèi)準(zhǔn)確率,準(zhǔn)確率公式如下:

通過(guò)以上準(zhǔn)確率公式得出不同層的分類(lèi)準(zhǔn)確率，如表3所示。

表3 不同層特征分類(lèi)準(zhǔn)確率Table 3 Accuracy of classification of features at different levels

3 結(jié)論

本文介紹了一種基于深度學(xué)習(xí)的醫(yī)學(xué)圖像特征提取方法,通過(guò)實(shí)驗(yàn)可以看出,網(wǎng)絡(luò)單個(gè)層次中基于CNN網(wǎng)絡(luò)特征提取的分類(lèi)準(zhǔn)確率達(dá)到92.2%。并且可以看出,提取網(wǎng)絡(luò)相鄰層次特征后,中間層次的分類(lèi)準(zhǔn)確率高于其它兩層。下一步將研究通過(guò)CNN網(wǎng)絡(luò)不同層次特征提取后進(jìn)行特征融合,并研究特征融合后對(duì)分類(lèi)的影響。