基于雙重過(guò)濾殘差網(wǎng)絡(luò)的乳腺組織OCT圖像分類方法

丁李昊，高志山，朱丹，袁群，郭珍艷

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，南京 210094）

0 引言

近年來(lái)，乳腺癌已經(jīng)成為發(fā)病率最高的腫瘤，嚴(yán)重影響著女性的生理健康［1-2］。由于乳腺癌沒(méi)有特別好的預(yù)防方法，所以在目前的醫(yī)療領(lǐng)域中，保乳手術(shù)是早期（I 或II）乳腺癌的主要治療方法之一［3］。然而，乳腺癌組織的切緣診斷較為困難，導(dǎo)致手術(shù)的再切除率較高（高達(dá)15%～25%）［4-5］。目前主流的切片診斷技術(shù)存在三種缺陷：1）定位取材困難；2）乳腺的脂肪組織較多，導(dǎo)致制片困難；3）乳腺中高度散射的組織通?？雌饋?lái)極其相似，人為診斷具有主觀性，容易發(fā)生誤診［6-8］。

針對(duì)上述三種缺陷，研究人員嘗試將光學(xué)相干層析術(shù)（Optical Coherence Tomography，OCT）與計(jì)算機(jī)輔助診斷技術(shù)相結(jié)合，以實(shí)現(xiàn)對(duì)乳腺組織OCT 圖像的自動(dòng)分類。2014 年，伊利諾伊大學(xué)的SOUTH F A等［9］在ERICKSON-BHATT S J［10］的研究基礎(chǔ)上研制出了對(duì)生物組織雙折射敏感的偏振敏感型OCT（Polarization-Sensitive OCT，PS-OCT），能夠根據(jù)正常組織和浸潤(rùn)性導(dǎo)管癌（Invasive Ductal Carcinoma，IDC）之間的膠原含量差異，提供更明顯的顯微結(jié)構(gòu)信息，并且具有較好的實(shí)時(shí)性。2018 年，同是伊利諾伊大學(xué)的WANG Jianfeng 等［11］利用PS-OCT 的光強(qiáng)信息和偏振信息，結(jié)合統(tǒng)計(jì)學(xué)方法對(duì)纖維脂肪、基質(zhì)和IDC 圖像進(jìn)行分類，達(dá)到了89.4%的分類精度。2020 年，BUTOLA A 等［12］提出了一種新型卷積網(wǎng)絡(luò)模型“LightOCT”，整體網(wǎng)絡(luò)中只有兩個(gè)卷積層和一個(gè)全連接層。模型在分類44 張正常和44 張IDC 乳腺組織OCT 圖像時(shí)，達(dá)到98.9%的準(zhǔn)確度；在分類超過(guò)100 000 幅圖像的大型公共數(shù)據(jù)集時(shí)，達(dá)到了96%的測(cè)試準(zhǔn)確度。2021 年，ZHU Dan 等［13］利用機(jī)器學(xué)習(xí)和PS-OCT 技術(shù)對(duì)人類乳腺組織中腫瘤、纖維脂肪和基質(zhì)圖像自動(dòng)分類，模型總體準(zhǔn)確率達(dá)到93.5%。

在乳腺組織OCT 圖像中，基質(zhì)和腫瘤兩類組織在整體結(jié)構(gòu)上具有極高的相似性。而先前對(duì)乳腺組織OCT 圖像分類的研究中，大多使用傳統(tǒng)的機(jī)器學(xué)習(xí)或是層次結(jié)構(gòu)較淺的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）模型［14-16］，按照指定順序提取圖像特征，對(duì)高低頻分量沒(méi)有側(cè)重，導(dǎo)致模型可能提取較多的低頻分量，造成信息冗余，從而降低模型整體的分類精度。雖然可以通過(guò)增加CNN 模型的結(jié)構(gòu)層深度來(lái)解決特征提取不夠充分的問(wèn)題，但是一味地加深結(jié)構(gòu)層不僅會(huì)增加整體模型的參數(shù)計(jì)算量，還會(huì)造成梯度消失或梯度爆炸現(xiàn)象［17］。因此，本文將圖像中含有豐富結(jié)構(gòu)信息的高頻分量作為關(guān)鍵特征信息，以殘差網(wǎng)絡(luò)（Residual Network，ResNet）［18］為整體框架，使用八度卷積（Octave Convolution，OctConv）［19］和輕量的注意力模塊（Convolutional Block Attention Module，CBAM）［20］相互配合提取特征信息，構(gòu)建了一種改進(jìn)的“雙重過(guò)濾（Double Filtering）”殘差網(wǎng)絡(luò)（DF-ResNet）模型，該模型在特征提取時(shí)更側(cè)重于高頻分量，對(duì)于結(jié)構(gòu)近似的基質(zhì)和腫瘤兩類OCT 圖像表現(xiàn)出更好的分類識(shí)別能力。

1 網(wǎng)絡(luò)架構(gòu)組成

構(gòu)建的DF-ResNet 模型結(jié)構(gòu)和工作流程如圖1 所示。首先，DF-ResNet 模型整體采用ResNet-18 作為結(jié)構(gòu)框架，以免發(fā)生梯度消失或者梯度爆炸現(xiàn)象；其次，在保證感受野不變的情況下，用3 個(gè)級(jí)聯(lián)的3×3 小卷積層堆疊代替初始網(wǎng)絡(luò)結(jié)構(gòu)中7×7 的大卷積層，減少參數(shù)計(jì)算量并起到隱式正則化的作用；接著，分別在級(jí)聯(lián)的小卷積層和最后一層卷積層之后加入通道注意力模塊與空間注意力模塊相互結(jié)合的CBAM，實(shí)現(xiàn)圖像特征的自適應(yīng)細(xì)化；同時(shí)，利用OctConv 替換原始模型中大小為3×3 的卷積層，使網(wǎng)絡(luò)在提取圖像特征時(shí)具備調(diào)整高低頻分量占比的能力；最后，利用全局平均池化層（Global Average Pooling，GAP）［21］代替全連接層，減少網(wǎng)絡(luò)參數(shù)計(jì)算量，并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)做正則化處理，防止模型發(fā)生過(guò)擬合。

圖1 DF-ResNet 模型工作流程Fig.1 DF-ResNet model workflow

1.1 初始層結(jié)構(gòu)

DF-ResNet 模型中使用3 個(gè)級(jí)聯(lián)的3×3 小卷積層堆疊代替初始層中7×7 的大卷積層，目的是在保證感受野大小不變的情況下，利用小卷積層堆疊把原先大卷積層進(jìn)行非線性分解，不僅減少了模型參數(shù)計(jì)算量，還起到了隱式正則化的作用。接著，在級(jí)聯(lián)的小卷積層之后連接批量歸一化層（Batch Normalization，BN）［22］，并使用非線性激活函數(shù)ReLU［23］進(jìn)行激活，最后使用最大池化層進(jìn)行下采樣降維，去除冗余信息，提高模型整體的收斂速度。圖1 中綠色組合塊代表經(jīng)過(guò)修改后的初始層結(jié)構(gòu)。

1.2 CBAM 工作原理

DF-ResNet 模型分別在級(jí)聯(lián)的3×3 小卷積層和最后一層卷積層之后加入CBAM 過(guò)濾特征信息。CBAM 是一種用于前饋CNN 中的簡(jiǎn)單而有效的注意力模塊，相比于擠壓激勵(lì)網(wǎng)絡(luò)（Squeeze-and-Excitation Networks，SE-Net）［24］和高效通道注意力網(wǎng)絡(luò)（Efficient Channel Attention，ECA-Net）［25］，CBAM 不僅實(shí)現(xiàn)了通道和空間注意力的雙機(jī)制，而且模塊采用最大池化相加和平均池化堆疊代替單一的最大池化和平均池化。對(duì)于一張輸入的特征圖F，CBAM 機(jī)制先對(duì)其進(jìn)行通道維度計(jì)算，得到一個(gè)與原始特征圖大小相同的通道注意力權(quán)重矩陣，將通道注意力權(quán)重矩陣與原始特征圖F相乘得到權(quán)重修正后的特征圖F′；然后對(duì)特征圖F′進(jìn)行空間維度計(jì)算，得到一個(gè)與特征圖F′大小相同的空間注意力權(quán)重矩陣，將空間權(quán)重矩陣與經(jīng)過(guò)通道注意力機(jī)制修正后的特征圖F′相乘以進(jìn)行自適應(yīng)特征細(xì)化，最終得到經(jīng)過(guò)通道和空間注意力機(jī)制雙重修正后的特征圖F″。特征圖F′和F″的計(jì)算公式為

式中，Mc表示通道注意力圖，F(xiàn)′∈Rc×w×h，R表示實(shí)數(shù)空間，c、w、h分別表示輸入特征的長(zhǎng)度、寬度和高度，σ表示sigmoid 函數(shù)［24］，MLP 表示一個(gè)多層感知器，AvgPool 表示平均池化操作，MaxPool 表示最大池化操作，W0和W1分別為MLP 第一層和第二層的權(quán)重參數(shù)，W0∈Rc/r×c，W1∈Rc×c/r，r表示縮減率，表示通道注意力中的平均池化特征，表示通道注意力中的最大池化特征。

式中，Ms表示空間注意力圖，f7×7表示7×7 大小的卷積核，表示空間注意力中的平均池化特征，表示空間注意力中的最大池化特征。

1.3 OctConv 工作原理

一張圖像的中低頻分量代表圖像強(qiáng)度變換平緩的區(qū)域，通常是連續(xù)漸變處；高頻分量代表圖像強(qiáng)度變換劇烈的區(qū)域，通常是含有大量結(jié)構(gòu)信息的細(xì)節(jié)輪廓處。顯然特征圖也屬于圖像，可以認(rèn)為經(jīng)CNN 模型特征提取后得到的特征圖同樣具有高低頻分量信息。

CHEN Y 等［19］在2019 年以ResNet-18 為基礎(chǔ)框架，利用OctConv 替換部分卷積層，構(gòu)造出改進(jìn)的殘差模型Oct_ResNet-26 用于提取圖像中的高頻分量。OctConv 是一種新型卷積結(jié)構(gòu)，通過(guò)降低低頻分量占比，使卷積核更專注于提取特征圖中的高頻分量，減少了特征圖在空間維度上的信息冗余。OctConv 在進(jìn)行卷積操作之前，會(huì)先將特征圖分為高頻分量XH和低頻分量XL，再使低頻分量XL的分辨率降低至原來(lái)的二分之一。OctConv 的卷積核可根據(jù)其結(jié)構(gòu)中的低頻維度占比參數(shù)α分成4 個(gè)部分：高頻到高頻OH→H，高頻到低頻OH→L，低頻到高頻OL→H，低頻到低頻OL→L。其中α取值為［0，1］，并且應(yīng)為0.125 的整數(shù)倍。

OctConv 將輸入的高低頻分量經(jīng)過(guò)對(duì)應(yīng)的卷積核，通過(guò)調(diào)整各自分辨率和點(diǎn)加等操作最終可以得到低頻輸出特征圖YL和高頻輸出特征圖YH。

1.4 殘差單元

殘差單元是殘差神經(jīng)網(wǎng)絡(luò)最基本的結(jié)構(gòu)塊，殘差神經(jīng)網(wǎng)絡(luò)令殘差單元不直接學(xué)習(xí)目標(biāo)映射，而是學(xué)習(xí)殘差I(lǐng)(x)=E(x)-x，E(x)表示觀測(cè)值，x表示上一層輸出的特征映射，即為估計(jì)值。所以原始的殘差映射由一個(gè)線性映射x→x和一個(gè)非線性映射I(x)兩部分組成，最終變更為I(x)+x。殘差單元一般是由卷積層、批量歸一化層和激活函數(shù)ReLU 層構(gòu)成。

假設(shè)第l個(gè)殘差單元的輸入為xl，那么該層的輸出xl+1可以表示為

式中，fR表示激活函數(shù)ReLU，I(xl，Wl)表示殘差函數(shù)；Wl表示該殘差函數(shù)對(duì)應(yīng)的權(quán)重參數(shù)。式（3）是xl和I(xl，Wl)維度相同的情況，若是兩者維度不同，則可以通過(guò)連接一個(gè)線性映射WS來(lái)使兩者維度匹配，即

2 分類實(shí)驗(yàn)

2.1 數(shù)據(jù)集簡(jiǎn)介

本次分類任務(wù)的圖像數(shù)據(jù)來(lái)源于伊利諾伊大學(xué)香檳分校，包含41 位接受了保乳術(shù)、縮乳術(shù)或者乳房全切術(shù)的受試者。所有受試者在術(shù)前均簽署了知情同意書，允許對(duì)其組織進(jìn)行研究使用。術(shù)中切除的組織樣本浸泡在生理鹽水中，并放置于低溫保溫箱內(nèi)保存，在術(shù)后24 h 內(nèi)利用自建的OCT 系統(tǒng)［11］完成對(duì)其成像。利用墨水對(duì)已經(jīng)成像完全的樣本的成像區(qū)域進(jìn)行標(biāo)記，然后將樣本浸泡在10%福爾馬林溶液中并固定72 h 以上。固定完成后，由專業(yè)人員按組織學(xué)檢驗(yàn)標(biāo)準(zhǔn)流程對(duì)樣本進(jìn)行切片以及蘇木精和伊紅染色（Hematoxylin and Eosin stains，H&E stains）。對(duì)獲得的組織切片圖像與OCT 層析圖以組織切片的病理檢驗(yàn)結(jié)果作為黃金標(biāo)準(zhǔn)進(jìn)行相關(guān)性檢驗(yàn)。

2.2 數(shù)據(jù)集制作和預(yù)處理

本文挑選了3 類成像效果較好的樣本，每類樣本選取20 個(gè)主要包含纖維脂肪、基質(zhì)和腫瘤的感興趣區(qū)域進(jìn)行成像，獲得多組512×512×2 048（幀數(shù)，寬度×深度）的圖像數(shù)據(jù)集。由于前后幀圖像極為相似，為了保證圖像數(shù)據(jù)的獨(dú)立性，從圖像數(shù)據(jù)集中每隔32 幀截取一幀圖像，并選擇合適的深度方向區(qū)域進(jìn)行裁剪，這樣對(duì)于一個(gè)成像區(qū)域可以獲得16 張尺寸為512×256 的圖像，因此一共獲得了960 張乳腺組織OCT 圖像，將其作為初始數(shù)據(jù)集。其中包含320 張纖維脂肪（FibroAdipose）圖像，320 張基質(zhì)（Stroma）圖像和320 張腫瘤（Tumor）圖像，具體結(jié)果如圖2 所示，圖中比例尺代表400 μm。

圖2 三類原始數(shù)據(jù)圖像Fig.2 Three types of raw data images

在進(jìn)行分類實(shí)驗(yàn)之前，為了滿足CNN 模型訓(xùn)練對(duì)于數(shù)據(jù)量的要求，減少過(guò)擬合，對(duì)初始數(shù)據(jù)集中960 張乳腺組織OCT 圖像進(jìn)行數(shù)據(jù)預(yù)處理［26-27］。首先，從每一張OCT 圖像中隨機(jī)截取大小為224×224 的區(qū)域作為新數(shù)據(jù)集中的一幅圖像；接著，對(duì)新圖像添加高斯噪聲和椒鹽噪聲；最后，隨機(jī)改變新圖像的亮度、對(duì)比度和飽和度。對(duì)于原始數(shù)據(jù)集中的每一張OCT 圖像重復(fù)10 次上述數(shù)據(jù)增強(qiáng)操作［28］，使原始數(shù)據(jù)集數(shù)量擴(kuò)充10 倍，最終得到9 600 張乳腺組織OCT 圖像用于模型訓(xùn)練、驗(yàn)證和測(cè)試。

2.3 訓(xùn)練策略

考慮到數(shù)據(jù)集中每一類圖像以16 張為一組來(lái)自相同的成像區(qū)域，而同一成像區(qū)域中的圖像結(jié)構(gòu)具有相似性，模型在訓(xùn)練時(shí)會(huì)重復(fù)學(xué)習(xí)到相同的特征，容易出現(xiàn)過(guò)擬合現(xiàn)象，最終導(dǎo)致測(cè)試集的分類精確度虛高，因此不能隨機(jī)將數(shù)據(jù)集按比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。將從每類樣本的一塊成像區(qū)域中獲得的圖像分成一組，一共得到20 組圖像數(shù)據(jù)，因此使用二十折交叉驗(yàn)證法訓(xùn)練模型，按順序每次選擇18 組圖像數(shù)據(jù)作為訓(xùn)練集，剩下的2 組圖像數(shù)據(jù)分別作為驗(yàn)證集和訓(xùn)練集。

針對(duì)可能出現(xiàn)的過(guò)擬合問(wèn)題，所提的DF-ResNet 模型首先在訓(xùn)練前通過(guò)數(shù)據(jù)增強(qiáng)，使得數(shù)據(jù)集擴(kuò)充10 倍。其次，選擇ReLU 作為激活函數(shù)，ReLU 函數(shù)的特點(diǎn)會(huì)使網(wǎng)絡(luò)中部分神經(jīng)元的輸出為0，通過(guò)減少參數(shù)間的相互依存，增加網(wǎng)絡(luò)的稀疏性。另外，在模型中的卷積層之后加入BN 層以此對(duì)模型參數(shù)進(jìn)行歸一化，從而提高網(wǎng)絡(luò)泛化能力。最后，在訓(xùn)練過(guò)程中每經(jīng)過(guò)5 個(gè)周期就將驗(yàn)證集代入模型中驗(yàn)證并保存模型參數(shù)，若本次驗(yàn)證集的分類精確度高于上一次，便保存本次模型的參數(shù)；若低于上一次，便舍棄。這樣即使周期選的很大，模型也能保存最合適的參數(shù)，以此來(lái)緩解過(guò)擬合問(wèn)題。

2.4 實(shí)驗(yàn)環(huán)境

本次分類實(shí)驗(yàn)代碼均采用Python 語(yǔ)言編寫，選擇Pytorch（科學(xué)計(jì)算框架Torch 在Python 上的衍生）作為深度學(xué)習(xí)框架，Pytorch 可以看作是加入了GPU 支持的Numpy，因此PyTorch 允許實(shí)驗(yàn)人員利用GPU 的算力來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的加速?？傮w的實(shí)驗(yàn)環(huán)境如表1 所示。

表1 系統(tǒng)詳細(xì)參數(shù)Table 1 Detailed system parameters

2.5 評(píng)價(jià)指標(biāo)

為了能夠更加客觀且直觀地評(píng)價(jià)整體模型訓(xùn)練的性能，選擇敏感度（sen）、特異度（spe）、陽(yáng)性預(yù)測(cè)值（PPV）、陰性預(yù)測(cè)值（NPV）四個(gè)指標(biāo)對(duì)所訓(xùn)練的模型整體性能進(jìn)行評(píng)估。

敏感度表示在黃金標(biāo)準(zhǔn)判斷陽(yáng)性樣本中，檢測(cè)出真陽(yáng)性的概率，衡量對(duì)陽(yáng)性樣本的識(shí)別能力，公式為

特異度表示在黃金標(biāo)準(zhǔn)判斷陰性樣本中，檢測(cè)出真陰性的概率，衡量對(duì)陰性樣本的識(shí)別能力，公式為

陽(yáng)性預(yù)測(cè)值表示在黃金標(biāo)準(zhǔn)判斷陽(yáng)性樣本中，真正是陽(yáng)性的樣本比例，公式為

陰性預(yù)測(cè)值表示在黃金標(biāo)準(zhǔn)判斷陰性樣本中，真正是陰性的樣本比例，公式為

式（5）～（8）中，TP 表示為被正確分類為陽(yáng)性的樣本個(gè)數(shù)；TN 表示為被正確分類為陰性的樣本個(gè)數(shù)；EP表示為被錯(cuò)誤分類為陽(yáng)性的樣本個(gè)數(shù)；FN 表示為被錯(cuò)誤分類為陰性的樣本個(gè)數(shù)。

2.6 熱力圖可視化

目前，對(duì)于常見(jiàn)的CNN 模型，其整個(gè)訓(xùn)練及預(yù)測(cè)過(guò)程被認(rèn)為是個(gè)黑盒，可解釋性并不強(qiáng)。為了探究其內(nèi)在聯(lián)系，更清晰地展現(xiàn)出網(wǎng)絡(luò)所關(guān)注的特征信息，通過(guò)梯度加權(quán)類激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）［29］對(duì)輸入圖像生成類激活的熱力圖，可以分析網(wǎng)絡(luò)對(duì)于某個(gè)類別的關(guān)注區(qū)域；反之，根據(jù)網(wǎng)絡(luò)關(guān)注的區(qū)域同樣可以分析網(wǎng)絡(luò)是否學(xué)習(xí)到了正確的特征信息。Grad-CAM 首先會(huì)獲取模型最后一層卷積層的輸出梯度，然后表征出最后卷積層激活輸出各點(diǎn)位對(duì)于模型決策分類的重要程度，并進(jìn)行預(yù)處理，得到類激活圖；接著，將調(diào)節(jié)后的卷積激活輸出渲染為熱力效果；最后，將原始圖像與渲染后的熱力效果疊加后得到熱力圖。Grad-CAM 具體的原理公式為

式中，fR表示激活函數(shù)ReLU，表示針對(duì)Ak的權(quán)重，d表示類別d，A表示網(wǎng)絡(luò)中最后一個(gè)卷積層輸出的特征層，k表示特征層A中第k個(gè)通道，Ak表示特征層A中通道k的數(shù)據(jù)。

式中，Z表示特征圖的像素個(gè)數(shù)，yd表示網(wǎng)絡(luò)針對(duì)類別d預(yù)測(cè)的分?jǐn)?shù)，但沒(méi)有通過(guò)softmax 激活，表示特征層A在通道k中坐標(biāo)為(i，j)位置處的像素值。

3 實(shí)驗(yàn)結(jié)果與分析

首先分析低頻維度占比參數(shù)α對(duì)于模型性能的影響，為整體模型中八度卷積結(jié)構(gòu)確定合適的α參數(shù)值；然后改進(jìn)CHEN Y 提出的Oct_ResNet-26 模型，利用3 個(gè)級(jí)聯(lián)的3×3 卷積層替換Oct_ResNet-26 模型中第一層7×7 的卷積層，得到改進(jìn)的Oct_ResNet-28 模型；另外，將經(jīng)典的ResNet-34 模型結(jié)構(gòu)層深度減少至28 層，得到新模型ResNet-28。這兩種模型與DF-ResNet 具有相似的架構(gòu)特點(diǎn)，均為28 層的深度結(jié)構(gòu)并且采用了殘差網(wǎng)絡(luò)設(shè)計(jì)。選擇這兩種模型作為對(duì)比對(duì)象，有利于更直觀地比較各模型結(jié)構(gòu)在整體參數(shù)計(jì)算量方面的差異；同時(shí)，也有助于驗(yàn)證采用OctConv 和CBAM 進(jìn)行雙重特征信息過(guò)濾的有效性。

3.1 八度卷積中α 參數(shù)對(duì)于模型性能的影響

八度卷積核的結(jié)構(gòu)特點(diǎn)表明，參數(shù)α表示低頻維度的比例，其取值范圍為［0，1］，并且應(yīng)是0.125 的整數(shù)倍。當(dāng)α取0 時(shí)，意味著低頻成分占比為0，圖像僅提取高頻分量；而當(dāng)α取1 時(shí)，表示低頻成分占比為1，圖像僅提取低頻分量。這兩種α參數(shù)值都會(huì)導(dǎo)致特征圖中低頻或高頻成分的完全缺失。因此，僅討論α參數(shù)取值為0.125、0.25、0.375、0.5、0.625、0.75、0.875 時(shí)，對(duì)Oct_ResNet-28 模型整體性能的影響。相應(yīng)的實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 α 參數(shù)對(duì)于模型性能的影響Fig.3 Effect of α parameters on model performance

從圖3 中可以看出，α=0.25 時(shí)Oct_ResNet-28 模型的分類精確度最高，達(dá)到了96.05%。說(shuō)明低頻維度占比為0.25 時(shí)，高低頻分量的比例是最合適的，通過(guò)OctConv 能提取到更多的有效特征，減少特征空間冗余。在接下來(lái)的模型性能分析中，模型都以α=0.25 為標(biāo)準(zhǔn)進(jìn)行調(diào)參實(shí)驗(yàn)。

3.2 Oct_ResNet-28 模型性能分析

以α=0.25 為標(biāo)準(zhǔn)，設(shè)置批量大小batch 為16，學(xué)習(xí)率lr 為0.005，訓(xùn)練周期epochs 為100，并選擇帶動(dòng)量的隨機(jī)梯度下降算法（Stochastic Gradient Descent，SGD）［30］作為優(yōu)化器，在本數(shù)據(jù)集上對(duì)Oct_ResNet-28 模型進(jìn)行訓(xùn)練。同時(shí)，選擇結(jié)構(gòu)層深度相同的ResNet-28 模型以相同的條件在本數(shù)據(jù)集上訓(xùn)練，用雙縱坐標(biāo)表示兩種模型的損失函數(shù)值和分類精度，結(jié)果如圖4 所示。

圖4 模型性能訓(xùn)練曲線Fig.4 Training curve for model performance

從圖4 中可以發(fā)現(xiàn)，Oct_ResNet-28 模型初始的損失值較大，但兩種模型損失值幾乎都在訓(xùn)練了30 個(gè)周期后趨向于收斂，波動(dòng)幅度相似。說(shuō)明在殘差網(wǎng)絡(luò)中利用OctConv 代替普通卷積核這一操作不會(huì)影響整體模型的收斂速度，只是初始損失值較大，原因是OctConv 工作時(shí)會(huì)先將低頻信息的分辨率降低至原來(lái)的二分之一，導(dǎo)致模型訓(xùn)練初期識(shí)別單個(gè)訓(xùn)練樣本與真實(shí)值之間的誤差較大。兩者模型性能對(duì)比如表2 所示，表中FB表示纖維脂肪，S 表示基質(zhì)，T 表示腫瘤。

表2 三種模型性能對(duì)比Table 2 Comparison of performance among three models

從表2 中可以看出，Oct_ResNet-28 模型的總體分類精確度達(dá)到了95.42%，相比ResNet-28 模型總體分類性能提升了1.57%，其識(shí)別纖維脂肪圖像的能力與ResNet-28 模型相當(dāng)，對(duì)于基質(zhì)和腫瘤圖像的分類識(shí)別能力明顯優(yōu)于ResNet-28 模型。分析原因，ResNet-28 模型在提取圖像特征時(shí)沒(méi)有側(cè)重，特別是對(duì)于結(jié)構(gòu)十分相似的基質(zhì)與腫瘤圖像，容易產(chǎn)生信息冗余，這些冗余信息會(huì)干擾ResNet-28 模型最終對(duì)圖像的識(shí)別分類；而Oct_ResNet-28 模型在特征提取時(shí)會(huì)側(cè)重含有豐富結(jié)構(gòu)信息的高頻分量，這對(duì)于模型最終分類結(jié)構(gòu)近似的圖像將起到關(guān)鍵作用。實(shí)驗(yàn)結(jié)果表明：利用OctConv 替換部分卷積層這一操作的確能夠使模型在提取圖像特征時(shí)側(cè)重于高頻分量，增強(qiáng)模型對(duì)于結(jié)構(gòu)近似的圖像的分類識(shí)別能力，提高模型整體的分類精度，且使用OctConv 不會(huì)影響模型整體的收斂速度。

3.3 DF-ResNet 模型性能分析

以α=0.25 為標(biāo)準(zhǔn)，設(shè)置批量大小batch 為16，學(xué)習(xí)率lr 為0.005，訓(xùn)練周期epochs 為100，選擇SGD 作為優(yōu)化器，在本文數(shù)據(jù)集上對(duì)DF-ResNet 模型進(jìn)行訓(xùn)練，并做性能評(píng)測(cè)。最后將DF-ResNet 模型對(duì)三類OCT圖像的分類識(shí)別能力與Oct_ResNet-28 和ResNet-28 進(jìn)行比對(duì)。

從表2 中可以看出，DF-ResNet 模型的總體分類精確度達(dá)到了96.88%，相較于Oct_ResNet-28 模型總體分類性能提升了1.46%，不僅在結(jié)構(gòu)近似的基質(zhì)和腫瘤圖像分類實(shí)驗(yàn)中表現(xiàn)出更優(yōu)異的識(shí)別能力，而且對(duì)于纖維脂肪的分類精度也高于前兩種對(duì)比模型。實(shí)驗(yàn)結(jié)果表明：DF-ResNet 模型在首層和末層加入CBAM 并結(jié)合OctConv 的“雙重過(guò)濾”結(jié)構(gòu)能夠進(jìn)一步過(guò)濾低頻信息，提升模型對(duì)于高頻特征的提取能力，減少信息冗余，提高模型的分類精度。圖5 是DF-ResNet 模型對(duì)三種圖像分類的工作特性曲線（Receiver Operating Characteristic，ROC）。

圖5 DF-ResNet 模型ROC 曲線Fig.5 ROC curve of DF-ResNet model

當(dāng)以纖維脂肪、基質(zhì)和腫瘤為陽(yáng)性等級(jí)時(shí)，曲線下面積（Area Under the Curve，AUC）分別為0.990，0.965 和0.951。由此可以發(fā)現(xiàn)，DF-ResNet 模型對(duì)于纖維脂肪這一類具有獨(dú)特“蜂窩狀”結(jié)構(gòu)的OCT 圖像幾乎可以做到完全正確的識(shí)別分類，對(duì)于結(jié)構(gòu)相似性較高的基質(zhì)和腫瘤圖像也表現(xiàn)出較好的識(shí)別性能。為了進(jìn)一步具現(xiàn)化模型學(xué)習(xí)到的特征信息，通過(guò)Grad-CAM 繪制出ResNet-28 和DF-ResNet 兩種模型的熱力圖，并使用Matlab 設(shè)置閾值為70，對(duì)每幅熱力圖中大于該閾值的像素點(diǎn)進(jìn)行統(tǒng)計(jì)，將其除以總像素點(diǎn)數(shù)可以得到提取特征面積占總圖像面積的比例，從而定量分析模型在特征提取方面的是否產(chǎn)生冗余信息，具體結(jié)果如圖6 所示。圖中展示了對(duì)ResNet-28 和DF-ResNet 兩種模型在最后一層提取特征分量的比較結(jié)果，其中比例尺代表400 μm。括號(hào)內(nèi)的數(shù)據(jù)反映了兩種模型在最后一層提取到的特征面積所占原圖面積的比例。

圖6 兩種模型熱力圖Fig.6 The thermodynamic diagram of the two models

從圖中可以看出，ResNet-28 和DF-ResNet 兩種模型在提取特征時(shí)關(guān)注的圖像特征范圍所占比例存在較大差異。在ResNet-28 模型中，對(duì)于3 類乳腺組織OCT 圖像提取到的特征范圍占比均超過(guò)75%，其中包括大量無(wú)用的背景信息和蓋玻片陰影等。這表明ResNet-28 模型在特征提取時(shí)沒(méi)有側(cè)重，反而提取了較多的冗余信息，對(duì)最終的分類識(shí)別造成了干擾。相比之下，DF-ResNet 模型對(duì)于具有獨(dú)特的“蜂窩狀”結(jié)構(gòu)纖維脂肪圖像所提取的特征范圍與ResNet-28 相近；但對(duì)于沒(méi)有明顯結(jié)構(gòu)特征且結(jié)構(gòu)近似度高的基質(zhì)和腫瘤兩類圖像，該模型所提取的特征范圍分別僅為59.37%和67.67%，遠(yuǎn)小于ResNet-28。說(shuō)明DF-ResNet 模型在特征提取方面表現(xiàn)出更強(qiáng)的針對(duì)性和精細(xì)性，側(cè)重于對(duì)高頻分量的提取，關(guān)注圖像中含有豐富結(jié)構(gòu)信息的輪廓邊緣和細(xì)節(jié)處。以此進(jìn)一步證明了DF-ResNet 的“雙重過(guò)濾”結(jié)構(gòu)能夠使模型在特征提取時(shí)更側(cè)重于高頻分量，過(guò)濾掉較多無(wú)用的低頻分量，減少信息冗余。

最后，對(duì)DF-ResNet 模型的泛用能力進(jìn)行分析。使用預(yù)訓(xùn)練的DF-ResNet 模型對(duì)新的乳腺組織OCT圖像數(shù)據(jù)集進(jìn)行識(shí)別和分類。新的數(shù)據(jù)集共有153 張圖像，其中包括51 張纖維脂肪組織圖像、51 張基質(zhì)圖像和51 張腫瘤圖像。表3 展示了DF-ResNet 模型對(duì)新的乳腺組織OCT 圖像數(shù)據(jù)集的分類結(jié)果。

表3 DF-ResNet 對(duì)新數(shù)據(jù)集的識(shí)別分類性能Table 3 The recognition and classification performance of DF-ResNet on a new dataset

根據(jù)表3 所示數(shù)據(jù)，預(yù)訓(xùn)練的DF-ResNet 模型在識(shí)別纖維脂肪圖像方面展現(xiàn)出卓越性能，其敏感性（sen）、特異性（spe）、陽(yáng)性預(yù)測(cè)值（PPV）和陰性預(yù)測(cè)值（NPV）均達(dá)到了100%，意味著模型成功實(shí)現(xiàn)了對(duì)此類圖像的完全準(zhǔn)確分類。同時(shí)，該模型在識(shí)別結(jié)構(gòu)相似的基質(zhì)和腫瘤圖像上也表現(xiàn)出良好的性能。最終模型針對(duì)新的乳腺組織OCT 圖像數(shù)據(jù)集總體分類精度達(dá)到了94.12%，這表明預(yù)訓(xùn)練的DF-ResNet 模型不僅在本文使用的數(shù)據(jù)集上具有較好效果，還在新的乳腺組織OCT 圖像數(shù)據(jù)集上展現(xiàn)出優(yōu)秀的識(shí)別性能。這一結(jié)果證明了DF-ResNet 模型具備良好的泛化能力，因而可以適用于術(shù)中切緣診斷場(chǎng)景。

3.4 對(duì)比DF-ResNet 與其他網(wǎng)絡(luò)模型性能差異

將DF-ResNet 模型與當(dāng)前流行的經(jīng)典CNN 網(wǎng)絡(luò)，如DenseNet-169［31］、VGG-19［32］、和EfficientNet［33］等進(jìn)行參數(shù)計(jì)算量及性能的對(duì)比分析。在相同的訓(xùn)練條件下，將這些經(jīng)典模型應(yīng)用于本數(shù)據(jù)集進(jìn)行訓(xùn)練。表4 匯總了各模型具體分類精度和模型參數(shù)計(jì)算量，為了突出對(duì)比效果，將結(jié)果繪制成柱狀圖如圖7，這種比較方法有助于全面評(píng)估DF-ResNet 模型在實(shí)際應(yīng)用中的優(yōu)勢(shì)和局限。

表4 各模型參數(shù)量及分類精確度Table 4 model parameter quantity and classification accuracy

圖7 各模型參數(shù)量及分類精確度柱狀圖Fig.7 Bar chart of model parameter quantity and classification accuracy

根據(jù)表4 中的數(shù)據(jù)，模型最終的準(zhǔn)確率梯度為：DF-ResNet（96.88%）>DenseNet-169（95.72%）>Oct_ResNet-28（95.42%）>ResNet-28（93.85%）>EfficientNet（91.67%）>VGG-19（79.39%）。同時(shí)，模型整體的參數(shù)計(jì)算量梯度為：VGG-19（143.67 MiB）>ResNet-28（19.14 MiB）>DF-ResNet（16.52 MiB）>Oct_ResNet-28（15.99 MiB）>DenseNet-169（14.15 MiB）>EfficientNet（5.29 MiB）。盡管輕量化EfficientNet模型具有最少的參數(shù)計(jì)算量，但其圖像分類識(shí)別能力相對(duì)較弱。DF-ResNet 與ResNet-28 模型在結(jié)構(gòu)層深度上相同，然而DF-ResNet 的參數(shù)計(jì)算量比ResNet-28 減少了2.62 MiB，并且分類精度顯著高于ResNet 模型。說(shuō)明采用“雙重過(guò)濾”結(jié)構(gòu)對(duì)模型進(jìn)行改進(jìn)，既能降低整體參數(shù)計(jì)算量，同時(shí)還能提升近似結(jié)構(gòu)圖像的分類識(shí)別能力，使模型準(zhǔn)確率得到顯著提升。

此外，與未加入CBAM 機(jī)制的Oct_ResNet-28 相比，DF-ResNet 模型的參數(shù)計(jì)算量?jī)H增加了0.53 MiB，但分類準(zhǔn)確率提高了1.46%。這表明加入CBAM 注意力機(jī)制雖然會(huì)略微增加模型的復(fù)雜度，但可以較大幅度提升準(zhǔn)確率，這種權(quán)衡是可以接受的。

3.5 分析與討論

考慮到OCT 一般對(duì)于組織成像深度在2～3 mm，但針對(duì)切緣診斷，這種技術(shù)仍然是一種有效的工具。首先，OCT 可以用于大面積組織的快速掃描，尋找可疑的腫瘤生長(zhǎng)區(qū)域，跳過(guò)了對(duì)乳腺組織進(jìn)行廣泛組織學(xué)處理的繁瑣過(guò)程。第二，OCT 光束可以通過(guò)細(xì)針進(jìn)行最小程度的侵入性輸送，如細(xì)針穿刺或核心針生物檢查。這些技術(shù)運(yùn)用于圖像引導(dǎo)，以在活檢前將醫(yī)生引導(dǎo)至可疑區(qū)域，從而減少了采樣誤差。第三，手持OCT探頭是一種有效的實(shí)時(shí)無(wú)創(chuàng)性成像技術(shù)，通過(guò)結(jié)合使用深度學(xué)習(xí)算法，如DF-ResNet 算法模型，可以自動(dòng)識(shí)別和分析OCT 圖像中的特征，進(jìn)一步提高手持OCT 探頭在乳腺癌術(shù)中切緣診斷中的準(zhǔn)確性和效率，從而輔助醫(yī)生在手術(shù)過(guò)程中對(duì)乳腺癌切緣進(jìn)行更精確的評(píng)估。在訓(xùn)練階段，將大量帶有標(biāo)簽的OCT 圖像輸入到DF-ResNet 模型中對(duì)模型進(jìn)行訓(xùn)練，使其能夠識(shí)別正常組織與腫瘤組織之間的差異。雖然DF-ResNet模型的訓(xùn)練過(guò)程相對(duì)較長(zhǎng)，但在預(yù)訓(xùn)練完成后，該模型識(shí)別單幅尺寸為224×224 的乳腺組織OCT 圖像僅需6.67 ms，其識(shí)別速度足以滿足術(shù)中切緣診斷的實(shí)時(shí)性要求。在應(yīng)用階段，將手持OCT 探頭實(shí)時(shí)采集的圖像輸入到預(yù)訓(xùn)練的DF-ResNet 模型中，以快速確定探頭處乳腺組織的類別。結(jié)合手持OCT 探頭和深度學(xué)習(xí)的術(shù)中切緣診斷方法可以提高腫瘤完全切除的成功率，降低復(fù)發(fā)風(fēng)險(xiǎn)和減少二次手術(shù)的需求。此外，該方法還可以減輕醫(yī)生在術(shù)中判斷切緣狀態(tài)的壓力，使他們更專注于手術(shù)操作本身，從而提高手術(shù)效果和患者滿意度。

因此，使用手持OCT 探頭并結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行乳腺癌術(shù)中切緣診斷具有潛力。這種方法有助于提高手術(shù)效果，確?；颊攉@得更精確、安全的治療方案。

4 結(jié)論

本文提出了一種基于殘差網(wǎng)絡(luò)改進(jìn)的具有“雙重過(guò)濾”結(jié)構(gòu)的CNN 模型DF-ResNet，實(shí)現(xiàn)對(duì)乳腺組織OCT 圖像的自動(dòng)分類。DF-ResNet 模型以殘差網(wǎng)絡(luò)為整體框架，利用OctConv 替換部分卷積層并加入CBAM，使模型在特征提取時(shí)能夠更關(guān)注于高頻特征，減少低頻特征占比，實(shí)現(xiàn)“雙重過(guò)濾”結(jié)構(gòu)，在很大程度上減少了信息冗余，提高了模型整體性能。利用DF-ResNet 模型對(duì)乳腺組織OCT 圖像數(shù)據(jù)集中的3 類樣本數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)、分類測(cè)試及多次調(diào)參，并使用數(shù)據(jù)增強(qiáng)和批量歸一化等優(yōu)化方式，最終分類精確度達(dá)到96.88%。對(duì)DF-ResNet 模型的泛化能力進(jìn)行驗(yàn)證，該模型在分類識(shí)別新的153 張乳腺組織OCT 圖像實(shí)驗(yàn)中達(dá)到了94.12%的總分類精度。最后將DF-ResNet 模型與DenseNet-169、VGG-19 等經(jīng)典CNN 模型進(jìn)行性能比對(duì)，結(jié)果表明，DF-ResNet 模型在乳腺組織OCT 圖像分類實(shí)驗(yàn)中表現(xiàn)出更優(yōu)異的性能，識(shí)別一張乳腺組織OCT 圖像僅需6.67 ms，足以滿足術(shù)中切緣診斷的實(shí)時(shí)性要求，具有較好的魯棒性和實(shí)時(shí)性。在未來(lái)應(yīng)用階段，可以配合手持OCT 探頭，將實(shí)時(shí)采集的圖像輸入到預(yù)訓(xùn)練的DF-ResNet 模型中，以快速確定探頭處乳腺組織的類別，提高腫瘤完全切除的成功率，為乳腺癌切緣實(shí)時(shí)診斷提供技術(shù)支持。