基于小波分解卷積神經(jīng)網(wǎng)絡(luò)的病理圖像分類①

丁 偕,崔浩陽,張敬誼

(萬達(dá)信息股份有限公司 數(shù)據(jù)中心,上海 201112)

1 引言

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)已經(jīng)成為圖像分類的重要方法[1],并在醫(yī)學(xué)影像領(lǐng)域得到了快速發(fā)展,具體包括甲狀腺癌篩查、乳腺癌診斷、前列腺的Gleason 分級(jí)、眼底圖像的異常篩查等方面.不斷改進(jìn)和創(chuàng)新的CNN 模型,已然成為提高準(zhǔn)確率和效率的關(guān)鍵,其中池化層是CNN 最重要的組成部分之一.池化層目的在于減少圖像尺寸和參數(shù),提高計(jì)算效率,增大感受野以及提高模型的魯棒性.目前最大值池化和平均值池化是在CNN 中被廣泛使用,而這兩種傳統(tǒng)的池化方法雖然處理速度較快,但會(huì)引入邊緣光暈、模糊和塊效應(yīng).最大值池化是最常用的池化方式,由于其處理過程過于簡單,使得在激活圖上丟失了大量信息,而平均池化會(huì)對(duì)某些特征圖產(chǎn)生模糊效果[2].雖然這些池化方法是高效簡單的,但是阻礙了網(wǎng)絡(luò)學(xué)習(xí)最優(yōu)模型參數(shù)的潛力[3].

本文提出了一種基于小波分解卷積神經(jīng)網(wǎng)絡(luò),利用小波分解中的下采樣實(shí)現(xiàn)對(duì)特征圖的池化,從而減少特征信息的丟失,并且通過小波分解能夠獲得特征圖的頻域信息,包括低頻分量和高頻分量[4].而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)擅長捕獲空間域特征[5,6].因此,通過小波分解可將頻域信息引入到CNN 框架中,使得模型能夠同時(shí)學(xué)習(xí)空域特征和頻域特征,其中小波分解得到的低頻信息作為特征圖池化的結(jié)果,而高頻信息通過捷徑連接方式添加到下一層[7].可彌補(bǔ)在池化過程中丟失的細(xì)節(jié)特征.最后在Camelyon16 數(shù)據(jù)集[8]上與最大值池化和平均值池化進(jìn)行了對(duì)比驗(yàn)證,從而證明了本文方法的正確性.

目前組織病理學(xué)診斷是臨床腫瘤診斷的金標(biāo)準(zhǔn),但是不斷更新的疾病譜系、腫瘤治療手段,以及傳統(tǒng)玻璃切片易損壞等多重因素導(dǎo)致單純依靠病理醫(yī)生已經(jīng)無法滿足臨床需求.因此隨著GPU和數(shù)字影像設(shè)備的快速發(fā)展,全視野數(shù)字切片(Whole Slide Image,WSI)在醫(yī)學(xué)影像領(lǐng)域的快速應(yīng)用,利用人工智能輔助病理醫(yī)生對(duì)數(shù)字病理圖像分析,提高病理診斷的效率和一致性,已經(jīng)成為研究熱點(diǎn).

由于CNN在各種任務(wù)中出色表現(xiàn)[9],所以基本上替代了傳統(tǒng)手工制作高維特征向量.從經(jīng)典的AlexNet,VGG,ResNet 到DenseNet,原始的CNN 結(jié)構(gòu)已經(jīng)擴(kuò)展到更深的體系結(jié)構(gòu),例如ResNet[7]它通過引入捷徑連接的方法使得網(wǎng)絡(luò)模型更深且更易訓(xùn)練.在受到ResNet的啟發(fā),相繼提出了多種改進(jìn)的CNN 網(wǎng)絡(luò)[10-12]最近的研究工作中證明了CNN 與FV-CNN的組合比單獨(dú)使用CNN 可以獲得更高的準(zhǔn)確率,Lin 等通過雙線性池化代替全連接層,在視覺識(shí)別方面表現(xiàn)出色[13].而CNN 中的池化層是其重要的組成部分,最大值池化和平均值池化是常用的兩種池化方法,雖然它們有效簡單,但是不可避免的丟失了大量的特征信息[3,14].

在頻域方面,利用小波變換處理數(shù)字圖像已經(jīng)得到了廣泛的研究,并取得了很大的成果[15,16].Tian 等利用非向下采用小波變換實(shí)現(xiàn)了對(duì)微觀物體的三維形貌重建,將物體的頻域信息與三維空間建立關(guān)聯(lián),是小波變換在三維重構(gòu)領(lǐng)域的突出應(yīng)用[17].小波變換能輕松的獲得圖像的低頻信息和高頻信息,可將頻域信息集成到CNN 模型中,使得CNN 能夠同時(shí)學(xué)習(xí)空域和頻域特征.Liu 等[18]提出多級(jí)小波的U-Net 模型,將小波分解和小波重構(gòu)嵌入到U-Net 架構(gòu)中,用于圖像復(fù)原,但是它不僅對(duì)低頻分量進(jìn)行小波變換,同時(shí)也對(duì)高頻分量進(jìn)行小波變換,因此冗余的小波變換極大的增加了計(jì)算負(fù)擔(dān).

在病理圖像的良惡性分類中,Garud 等[19]通過175 張WSI 訓(xùn)練測試CNN 模型鑒別乳腺癌良惡性的可靠性,研究結(jié)果顯示,準(zhǔn)確率可達(dá)到0.89.Lu 等[20]提出基于聚類約束的弱監(jiān)督病理圖像良惡性分類,通過計(jì)算每個(gè)圖塊的注意力得分,對(duì)不同得分的圖塊進(jìn)行聚類操作,最后再訓(xùn)練一個(gè)有監(jiān)督的能夠區(qū)分正負(fù)樣本的線性分類器,以提高整個(gè)WSI 分類準(zhǔn)確率.Mercan等[21]研究證明以計(jì)算機(jī)為基礎(chǔ)的病理診斷方法具有良好的應(yīng)用前景,特別是在乳腺癌良惡性分類診斷上.目前,傳統(tǒng)的CNN 網(wǎng)絡(luò)對(duì)病理圖像進(jìn)行良惡性分類,主要是學(xué)習(xí)病理圖像中空域信息,鮮有將頻域信息引入到CNN 網(wǎng)絡(luò)中,并且傳統(tǒng)的池化層也不可避免的丟失了原特征圖中的細(xì)節(jié)信息.

2 方法

2.1 離散小波變換(Discrete Wavelet Transform,DWT)

經(jīng)典快速離散小波變換是二維離散小波變換一種高效實(shí)現(xiàn)方法[22],其分解與重構(gòu)過程如圖1所示,原始信號(hào)x={x0,x1,···,x2j-1}的長度為2j,可寫為xj=x,Hd(z),Ld(z),Hr(z)和Lr(z)是根據(jù)理想重構(gòu)條件設(shè)計(jì)的濾波器陣列.Hd(z)和Ld(z)稱為分解濾波器,Hr(z)和Lr(z)稱為重構(gòu)濾波器,↓2和↑2 表示下采樣和上采樣.圖像分解濾波器和下采樣后,可以獲得1 個(gè)低頻分量LL和3 個(gè)高頻分量LH,HL,HH.隨后的分解在低頻分量中進(jìn)行,然后遞歸計(jì)算下一級(jí)分解.由于在分解的過程中,使用了下采樣,因此實(shí)現(xiàn)了對(duì)圖像的池化.而重構(gòu)過程是分解過程的逆運(yùn)算,對(duì)分解后的圖像進(jìn)行上采樣,通過重構(gòu)濾波器進(jìn)行合并,再逐級(jí)遞歸恢復(fù)至原圖像.此外小波變換具有快速,簡單以及變換后無冗余信息的優(yōu)點(diǎn),已經(jīng)在圖像處理領(lǐng)域被廣泛應(yīng)用[23,24].

圖1 離散小波變換結(jié)構(gòu)框圖

二維離散小波變換在給定尺度函數(shù) φ(x)和小波函數(shù) ψ (x) 下,可以得到一個(gè)二維尺度函數(shù)和三個(gè)二維小波函數(shù):

其中,H,V,D分別表示水平高頻分量,垂直高頻分量和對(duì)角高頻分量.

M×N的圖像經(jīng)小波變換后的低頻系數(shù)和高頻系數(shù)如下:

其中,j0是一個(gè)任意的開始尺度,Wφi(j0,m,n)系數(shù)定義了圖像在尺度j0處的近似值,Wψi(j,m,n)系數(shù)對(duì)尺度j≥j0附加了水平、垂直和對(duì)角方向的細(xì)節(jié).φj0,m,n(x,y)是尺度函數(shù),ψij,m,n(x,y)是小波函數(shù),其定義如下:

從式(5)中可以看出,圖像經(jīng)過小波變換后能夠得到圖像的近似表達(dá),其作用與傳統(tǒng)的最大值池化和均值池化相同,在式(6)中小波變換后仍保留了低頻分量中丟失的高頻分量.

2.2 小波池化與傳統(tǒng)池化

傳統(tǒng)的CNN 專注于學(xué)習(xí)空間域信息,并且被廣泛使用的最大值池化和平均值池化存在丟失大量特征信息的現(xiàn)象,阻礙了網(wǎng)絡(luò)學(xué)習(xí)最優(yōu)參數(shù)的潛力.

從圖2中可以看出,在最大值池化中,當(dāng)重要特征幅度低于不重要特征時(shí),重要特征信息就會(huì)丟失.而在平均值池化中則接收了幅值大的特征和幅值小的特征,因此會(huì)減小幅值大的特征.

圖2 最大值池化和平均值池化的缺點(diǎn)

在給定具有n個(gè)輸入分量x=(x0,x1,···,xn-1)∈Rn,卷積層輸出相同分量y=(y0,y1,···,yn-1)∈Rn,卷積和池化可被簡單定義為:

其中,*表示卷積運(yùn)算符,w代表卷積核,P=(1/p,···,1/p)∈Rp表示均值濾波器,CNN 中平均池化是通過與P進(jìn)行卷積,然后再以步長p進(jìn)行下采樣.

在平均值池化中,其本質(zhì)就是將原圖像進(jìn)行均值濾波后再進(jìn)行下采樣,由于均值濾波屬于低通濾波器并且進(jìn)行了下采樣,這不可避免的丟失了原圖像中的細(xì)節(jié)信息.而利用小波分解后得到的高頻分量則能夠有效彌補(bǔ)這一信息.

以最簡單的Haar 小波為例,4 個(gè)濾波器定義為:

顯然,fLL,fLH,fHL,fHH彼此正交,形成4×4 可逆矩陣,DWT的運(yùn)算被定義為:

其中,*表示卷積運(yùn)算符,↓ 2表示步長為2的下采樣.根據(jù)Harr 小波變換的理論[25],二維的Harr 小波變換后的值可寫為:

從式(15)中可以看出Harr 小波變換后得到的低頻分量是與傳統(tǒng)CNN 中平均池化結(jié)果是一致的,此外還得到了在低頻分量中丟失的高頻分量.因此將小波變換的多尺度分析引入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中,以代替?zhèn)鹘y(tǒng)的池化方法,盡管這一想法很簡單,但是其對(duì)模型性能的提升是明顯的,正如本文的實(shí)驗(yàn)結(jié)果所示.

2.3 小波分解卷積神經(jīng)網(wǎng)絡(luò)(WDCNN)

由3.1和3.2 節(jié)可知,二維小波變換會(huì)沿行列方向?qū)D像進(jìn)行下采樣,因此經(jīng)過一次尺度變換后,圖像尺寸變?yōu)樵瓉淼乃姆种?實(shí)現(xiàn)了與傳統(tǒng)池化方法同樣的作用.從式(6)中看出小波變換后保留了低頻分量中丟失的高頻分量,能彌補(bǔ)池化過程中丟失的細(xì)節(jié)特征.因此本文在此基礎(chǔ)上提出一種基于小波分解卷積神經(jīng)網(wǎng)絡(luò)(WDCNN),利用小波分解具有多尺度分析的能力,實(shí)現(xiàn)對(duì)圖像的池化,以此代替?zhèn)鹘y(tǒng)的最大值池化和平均值池化,并將小波分解后的高頻分量引入到CNN中,使得CNN 能夠同時(shí)學(xué)習(xí)空域特征和頻域特征.圖像經(jīng)小波變換后分解為4 部分:LL 表示低頻分量,它是圖像的近似表示,HL是圖像的高頻水平分量,LH是圖像的高頻垂直分量,HH是圖像的高頻對(duì)角分量,如圖3所示.

圖3 小波變換示意圖

在本文中只對(duì)特征圖使用一級(jí)小波分解,以獲得圖像的低頻和高頻信息,低頻分量作為特征圖池化的結(jié)果,而3 個(gè)高頻分量相加后通過捷徑連接的方式,添加到下一層.在整個(gè)過程中不涉及小波重構(gòu).將小波分解引入到CNN 網(wǎng)絡(luò)中,可構(gòu)建小波分解模塊,如圖4所示.

圖4 小波分解模塊示意圖

WD 模塊的結(jié)構(gòu)簡單,主要可分為兩部分:低頻部分和高頻部分,將小波分解后的低頻部分作為池化的結(jié)果,然后通過一次常規(guī)的BN-ReLU-conv 操作,得到輸出結(jié)果L;小波分解后的3 個(gè)高頻分量的值相加,得到結(jié)果H;最后將L和H的值再次相加,并且通道數(shù)不變,得到WD 模塊的輸出結(jié)果.將WD 模塊代替?zhèn)鹘y(tǒng)的池化層嵌入到CNN 中,即可得到小波分解卷積神經(jīng)網(wǎng)絡(luò)(WDCNN),如圖5所示.

圖5 WDCNN 結(jié)構(gòu)示意圖

圖5中BN 表示批量標(biāo)準(zhǔn)化,Conv 表示卷積核大小為3×3,步距為1的卷積操作,FC 表示全連接層.

從圖5中可以看出,引入WD 模塊的CNN 網(wǎng)絡(luò)中沒有使用傳統(tǒng)的池化層來減小特征圖的大小,而是通過WD 模塊中的小波分解實(shí)現(xiàn)對(duì)特征圖大小的縮減.此外,為了充分利用小波分解后得到的圖像信息,本文使用捷徑連接[7]的方式,將小波分解得到的3 個(gè)高頻分量添加到下一層中,通過這種方式可以彌補(bǔ)低頻特征圖中丟失的細(xì)節(jié)信息.

3 實(shí)驗(yàn)與討論

3.1 數(shù)據(jù)集

Camelyon16 數(shù)據(jù)集[8](https://camelyon16.grandchallenge.org/Data/)由Radboud University Medical Center和University Medical Center Utrecht 提供乳腺癌患者的前哨淋巴結(jié)全視野數(shù)字切片(Whole Slide Image,WSI),共計(jì)400 張,大多數(shù)在10 萬×10 萬的分辨率,包含醫(yī)生標(biāo)注腫瘤區(qū)域的輪廓信息,如圖6所示.因此需要經(jīng)過一系列的預(yù)處理操作將其裁剪為256×256大小的圖像塊作為訓(xùn)練數(shù)據(jù).病理圖像的裁剪過程示意圖如圖7所示[26].數(shù)據(jù)集分布情況如表1所示.

表1 數(shù)據(jù)集的分布

圖6 全切片病理圖像

圖像預(yù)處理過程如下:

第1 步.將病理圖像從RGB 轉(zhuǎn)為HSV (Hue,Saturation,Value)表示色相,飽和度和亮度.

第2 步.利用閾值分割算法Otsu對(duì)病理圖像進(jìn)行背景與組織區(qū)域分割,以獲得病理圖像中的組織區(qū)域.使用Otsu 算法計(jì)算出每個(gè)通道的最佳分割閾值,通過實(shí)驗(yàn)表明使用H 通道和S 通道分割出來的組織區(qū)域的交集作為最終組織區(qū)域.

第3 步.利用病理醫(yī)生標(biāo)注的癌變區(qū)域的輪廓信息(如圖6中的深色曲線)分割出正常組織區(qū)域和癌變組織區(qū)域.

第4 步.以隨即撒點(diǎn)的方式,在正常區(qū)域和癌變區(qū)域進(jìn)行圖像塊采樣,圖像塊大小為256×256,如圖7所示.

圖7 數(shù)據(jù)集制作流程

3.2 評(píng)價(jià)指標(biāo)

為了全面評(píng)價(jià)WDCNN 模型在病理圖像分類任務(wù)中的優(yōu)勢,本文采用準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和平衡分?jǐn)?shù)(F1 值).具體公式如下:

其中,TP代表正樣本被正確識(shí)別為正樣本的數(shù)量;TN代表負(fù)樣本被正確識(shí)別為負(fù)樣本的數(shù)量;FP代表負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的數(shù)量;FN代表正樣本被錯(cuò)誤識(shí)別為負(fù)樣本的數(shù)量.

3.3 實(shí)驗(yàn)

為驗(yàn)證WD 模塊對(duì)傳統(tǒng)CNN 模型在病理圖像分類性能上的提升,本文統(tǒng)一搭建一個(gè)五層CNN 網(wǎng)絡(luò),如圖8所示,由于在CNN 中使用了全局平均池化,因此要求輸入圖像的大小一致均為256×256,為加快網(wǎng)絡(luò)訓(xùn)練防止梯度爆炸,在激活函數(shù)之前使用了批量歸一化[27].對(duì)于優(yōu)化函數(shù),我們使用Adam[28]代替SGD,并使用ReLU[29]作為激活函數(shù).

圖8(b)中可以看出包含5 個(gè)卷積層以及兩個(gè)Max/Average 池化層.由于WD 模塊在池化的同時(shí)也做了一次卷積操作,因此在圖8(a)中只顯示3 個(gè)卷積層,這樣做的目的是保證了WDCNN 與傳統(tǒng)CNN 模型的訓(xùn)練參數(shù)保持一致,從而充分驗(yàn)證WD 模塊對(duì)網(wǎng)絡(luò)性能的提升.經(jīng)過計(jì)算兩個(gè)模型的訓(xùn)練參數(shù)均為589 762.

圖8 5 層CNN 結(jié)構(gòu)框圖

此外不同的小波基函數(shù)在小波分解后會(huì)得到不同的低、高頻分量,因此為了選取最優(yōu)的小波基函數(shù),在WDCNN 中對(duì)經(jīng)典的Haar、Biorthogonal和Daubechies小波基函數(shù)也進(jìn)行了對(duì)比驗(yàn)證.

從表2的各項(xiàng)評(píng)價(jià)指標(biāo)中可以看出,相比于最大值池化和平均值池化而言,在網(wǎng)絡(luò)中引入WD 模塊,能夠明顯提升CNN 模型的分類性能.從不同小波基函的對(duì)比結(jié)果來看,使用Biorthogonal 小波基函數(shù)對(duì)CNN分類性能提升最大.

表2 Camelyon16 數(shù)據(jù)集上不同方法的評(píng)估

為了進(jìn)一步驗(yàn)證WD 模塊在深度卷積神經(jīng)網(wǎng)絡(luò)中的性能,本文將WD 模塊引入到經(jīng)典的VGG16 中,將VGG16 中的最大值池化層全部替換為WD 模塊,并在Camelyon16 數(shù)據(jù)集中進(jìn)行對(duì)比驗(yàn)證,證明本文方法的有效性和通用性.

從表3中可以看出,將傳統(tǒng)的最大值池化層替換為WD 模塊后,WD-VGG16在準(zhǔn)確率、召回率和F1 值上均優(yōu)于傳統(tǒng)的VGG16.從而說明了WD 模塊的引入,能夠顯著提升傳統(tǒng)CNN在病理圖像分類任務(wù)中的性能.圖9是WD-VGG16和VGG16的AUC-ROC曲線對(duì)比圖,從圖中可以看出WD-VGG16 具有更高的AUC 值,說明引入WD 模塊能夠提高分類器的穩(wěn)定性和魯棒性.

表3 WD-VGG16 與VGG16的評(píng)估結(jié)果

圖9 WD-VGG16和VGG16的ROC 曲線

4 結(jié)束語

本文提出的小波分解卷積神經(jīng)網(wǎng)絡(luò)(WDCNN),利用小波變換多尺度分析的能力,將特征圖分解為低頻分量和高頻分量,不僅實(shí)現(xiàn)了對(duì)特征圖的池化,也將特征圖中的細(xì)節(jié)特征信息通過捷徑連接的方式引入到傳統(tǒng)CNN 中,使得傳統(tǒng)CNN 能夠同時(shí)學(xué)習(xí)空域信息和頻域信息,提高了模型的泛化能力,并在病理圖像分類任務(wù)中表現(xiàn)優(yōu)異.最后在Camelyon16 數(shù)據(jù)進(jìn)行了充分的對(duì)比驗(yàn)證,并選取了最優(yōu)的小波基函數(shù),證明了本文方法在病理圖像分類任務(wù)中的優(yōu)勢.但是,相比與最大值池化和平均值池化而言,引入小波分解模塊會(huì)增加網(wǎng)絡(luò)的計(jì)算負(fù)擔(dān),因此需要優(yōu)化模型結(jié)構(gòu),在不影響網(wǎng)絡(luò)性能的同時(shí)減少網(wǎng)絡(luò)計(jì)算量.