眼底病變OCT 圖像的輕量化識別算法

侯小虎，賈曉芬，趙佰亭

(1.安徽理工大學(xué)第一附屬醫(yī)院(淮南市第一人民醫(yī)院)，安徽 淮南 232001；2.安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001；3.安徽理工大學(xué) 人工智能學(xué)院，安徽 淮南 232001)

眼底結(jié)構(gòu)復(fù)雜、病變類型多樣，如脈絡(luò)膜新生血管(choroidal neovascularization, CNV)、糖尿病性黃斑水腫(diabetic macular edema, DME)、玻璃膜疣(drusen)、老年性黃斑病變(age-related macular degeneration, AMD) 等.眼底病變多出現(xiàn)在黃斑區(qū)，它位于視網(wǎng)膜的中央，是視力最敏感的區(qū)域.黃斑區(qū)視網(wǎng)膜病變研究已成為重要課題[1].黃斑區(qū)病變是造成不可逆視力喪失的主要原因之一，DME 常引起不可逆的視力損害[2].光學(xué)相干斷層掃描技術(shù)(optical coherence tomography, OCT)是無創(chuàng)高分辨率光學(xué)成像技術(shù)，它能夠?qū)崟r(shí)生成物體的橫截面圖像[3-4]，被廣泛應(yīng)用于眼病診斷.

CNV 病變特征復(fù)雜多樣，病變區(qū)域邊界模糊；DME 病變特征明顯，病變區(qū)域較大；玻璃膜疣病變區(qū)域小，病變邊界模糊，病變特征不明顯；AMD 特征復(fù)雜，且不同病變程度可能會出現(xiàn)不同的病變特征，玻璃膜疣是早期AMD 的臨床表現(xiàn)之一.繁雜的OCT 圖像信息診斷需要醫(yī)生人工處理和分析，工作量大，耗時(shí)長.自動(dòng)分析OCT 圖像的模型有助于醫(yī)生篩查工作的進(jìn)行.由于深度學(xué)習(xí)在圖像領(lǐng)域出色的表現(xiàn)，學(xué)者們利用卷積神經(jīng)網(wǎng)絡(luò)提出了許多眼底OCT 圖像分類模型，實(shí)現(xiàn)了不同數(shù)量、不同類型的病變識別.Fang 等[5-8]研究3 種病變的識別，對CNV、DME、玻璃膜疣和正常眼底進(jìn)行了四分類.Fang 等[5]使用病變感知卷積網(wǎng)絡(luò)(lesion-aware convolutional neural network,LACNN)，在OCT 圖像中生成軟注意力圖，并將注意力圖并入分類網(wǎng)絡(luò)，以提高分類精度.Liu 等[6]提出基于onestage 注意力的視網(wǎng)膜OCT 圖像分類和分割模型，該模型克服分類任務(wù)學(xué)習(xí)的信息無法傳遞給分割任務(wù)的問題，實(shí)現(xiàn)分類和分割任務(wù)的同步進(jìn)行.Mishra 等[7]提出基于擾動(dòng)復(fù)合注意力的深度網(wǎng)絡(luò)，提取上下文感知診斷特征來提高分類精度.Das 等[8]使用深度多尺度卷積神經(jīng)網(wǎng)絡(luò)(deep multi-scale fusion convolutional neural network, DMF-CNN)，對多尺度疾病特征進(jìn)行編碼，對編碼后的疾病特征進(jìn)行組合并分類，同時(shí)使用聯(lián)合多損失優(yōu)化策略來加強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力.注意力機(jī)制的加入雖能加強(qiáng)提取現(xiàn)有特征的能力，但仍無法有效提取病變紋理信息，也無法解決特征提取過程中特征信息丟失的問題.

Thomas 等[9-10]實(shí)現(xiàn)對AMD、DME 和正常眼底圖像的三分類.Thomas 等[9]利用多尺度卷積層生成具有各種尺寸的局部結(jié)構(gòu)，提出多尺度卷積網(wǎng)絡(luò).To?a?ar 等[10]使用9 個(gè)遷移學(xué)習(xí)模型對同一數(shù)據(jù)集中的病變種類進(jìn)行分類，使用黏菌算法(slime mold algorithm, SMA)從模型中選取針對單一目標(biāo)分類準(zhǔn)確度最高的網(wǎng)絡(luò)進(jìn)行結(jié)果輸出.多尺度卷積層生成的局部結(jié)構(gòu)豐富了病變特征，但無法解決因網(wǎng)絡(luò)逐漸加深帶來的有用信息丟失的問題.現(xiàn)有模型組合的遷移學(xué)習(xí)模型參數(shù)量過大，對硬件要求過高.Sotoudeh-Paima 等[11]實(shí)現(xiàn)對CNV、玻璃膜疣和正常眼底圖像的三分類，提出多尺度卷積神經(jīng)網(wǎng)絡(luò)，通過捕獲尺度間的變化并使用快卷積塊的特征融合策略，提高了對AMD、DME 和正常眼底圖像的三分類性能.融合策略雖然加強(qiáng)了卷積塊間的信息交流，但是不能有效提取不同尺度的病變特征.

Fang 等[5-7]通過添加注意力機(jī)制加強(qiáng)了對現(xiàn)有特征的提取，豐富了局部病變特征信息，但研究者所提模型難以提取具有較小區(qū)域和較小病變紋理的小目標(biāo)特征，對病變區(qū)域小、病變特征模糊的玻璃膜疣病變種類的識別效果差.Das 等[8-11]通過不同形式的多尺度網(wǎng)絡(luò)加強(qiáng)信息交互，增強(qiáng)對病變特征信息的提取，但是研究者所提模型難以有效解決顯著病變特征（如病變邊緣、紋理）在特征提取過程中容易被忽略，造成的有用信息丟失問題.To?a?ar 等[10]通過組合現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)來加強(qiáng)對眼底病變種類的識別，但是模型參數(shù)量大，難以有效部署到嵌入式平臺.

本研究面向眼底的多種病變類型，致力于設(shè)計(jì)輕量化的高效分類模型，實(shí)現(xiàn)眼底病變類型的自動(dòng)識別.主要工作包括：1)設(shè)計(jì)多尺度卷積模塊，強(qiáng)化對不同病變特征特有的小目標(biāo)特征的提取能力，實(shí)現(xiàn)對不同大小病變特征的全面提取；2)構(gòu)建特征融合模塊，通過充分利用病變特征的顯著信息，加強(qiáng)淺層細(xì)節(jié)信息和深層語義信息的融合；3)設(shè)計(jì)輕量化主干網(wǎng)絡(luò)，從減少卷積核的使用數(shù)量和引入深度可分離卷積兩個(gè)方面，降低參數(shù)量，實(shí)現(xiàn)模型輕量化.

1 輕量化分類模型MB-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)

為了準(zhǔn)確識別多種病變，助力醫(yī)療診斷，必須緊扣病灶區(qū)域小、病變特征模糊的特性設(shè)計(jì)識別模型，同時(shí)降低模型參數(shù)量.針對眼底OCT 圖像設(shè)計(jì)如圖1 所示的輕量化分類模型MB-CNN，主要?jiǎng)?chuàng)新點(diǎn)如下：1）設(shè)計(jì)輕量化主干網(wǎng)絡(luò)L-Resnet，它通過減少卷積核使用、加深網(wǎng)絡(luò)深度，在有效降低網(wǎng)絡(luò)模型參數(shù)的同時(shí)減少對網(wǎng)絡(luò)精度的影響；2）設(shè)計(jì)多尺度卷積塊MultiBlock，它使用多尺度卷積核提取不同特征，加強(qiáng)特征提取的能力，引入深度可分離卷積大幅降低網(wǎng)絡(luò)模型參數(shù)；3）設(shè)計(jì)特征融合模塊(feature fusion module, FFM)，它通過融合淺層細(xì)節(jié)信息和深層語義信息加強(qiáng)網(wǎng)絡(luò)對小目標(biāo)和模糊特征的識別能力.

1.1 主 干 網(wǎng) 絡(luò)L-Resnet 設(shè) 計(jì)

Resnet18[12-13]的結(jié)構(gòu)簡單，復(fù)雜度低，隨著網(wǎng)絡(luò)的加深不會出現(xiàn)梯度消失的現(xiàn)象，解決了深層次的網(wǎng)絡(luò)退化問題.網(wǎng)絡(luò)模型須部署到移動(dòng)端進(jìn)行眼底OCT 圖像的分類，但嵌入式設(shè)備的存儲和計(jì)算能力有限，為了解決Resnet18 網(wǎng)絡(luò)模型參數(shù)大的問題，提出輕量化主干網(wǎng)絡(luò)L-Resnet.

網(wǎng)絡(luò)深度和卷積核的使用數(shù)量直接影響網(wǎng)絡(luò)精度[14-15].通過控制變量法，逐步對卷積核的使用個(gè)數(shù)和每個(gè)階段卷積塊的使用個(gè)數(shù)進(jìn)行實(shí)驗(yàn)，得到L-Resnet.L-Resnet 是 由1 個(gè)CBR 模 塊 和4 個(gè)Stagex×N(x=1, 2, 3, 4;N=2, 2, 6, 2)，x為 主 干 網(wǎng)絡(luò)的階段，N為測試后得到的每個(gè)階段使用卷積塊的數(shù)量.4 個(gè)階段卷積核的使用個(gè)數(shù)分別為64、128、192、256，使用卷積塊的個(gè)數(shù)為2、2、6、2，其比例為1∶1∶3∶1.S tage1 位于網(wǎng)絡(luò)淺層，卷積核個(gè)數(shù)設(shè)置為64，使網(wǎng)絡(luò)充分提取OCT 圖像中病變紋理細(xì)節(jié)信息； S tage4 位于網(wǎng)絡(luò)深層，卷積核的個(gè)數(shù)設(shè)置為256，使網(wǎng)絡(luò)充分降低模型參數(shù)的同時(shí)保證了網(wǎng)絡(luò)中冗余信息的存在；增加 S tage3 卷積塊的使用個(gè)數(shù)，增加網(wǎng)絡(luò)的深度，加強(qiáng)了網(wǎng)絡(luò)對深層語義信息的提取.

降低卷積核的使用數(shù)量能有效降低網(wǎng)絡(luò)模型參數(shù)量，增加網(wǎng)絡(luò)深度，加強(qiáng)了對病變特征的提取.

1.2 多尺度卷積模塊MultiBlock

眼底視網(wǎng)膜病變具有局部性，在OCT 圖像上往往占據(jù)較小的位置，且不同的病變之間的特征差異較大，CNV 的病變種類在OCT 圖像上表現(xiàn)為視網(wǎng)膜層間的脫離，D M E 的病變種類在OCT 圖像上表現(xiàn)為視網(wǎng)膜的撕拉變形.CNV 和DME 的病變種類病灶明顯，且病灶區(qū)域較大，而玻璃膜疣的病變種類在OCT 圖像上表現(xiàn)為視網(wǎng)膜層上的局部凸起，病灶較小，但較為集中.病灶特征大小不一致，使用單一卷積核難以有效提取不同尺寸的病變特征.為了更加充分、有效地提取OCT 圖像中不同尺寸的病變特征信息，設(shè)計(jì)如圖2 所示的多尺度卷積模塊MultiBlock，它由1 個(gè)1×1卷積模塊CBR、1 個(gè)多尺度卷積Multiconv 以及跳躍連接組成，其中Xi為輸入張量，Xo為輸出張量，Xm為經(jīng)Multiconv 的輸出張量，k為卷積核大小，s為卷積步長，p為單側(cè)填充數(shù)量，dim 為張量維度.

圖2 MultiBlock 結(jié)構(gòu)圖Fig.2 MultiBlock structure diagram

引入深度卷積[16]的思想，通過 1 ×1 大小的卷積核來調(diào)節(jié)輸出通道，同時(shí)使張量內(nèi)部進(jìn)行跨通道信息交互，豐富特征信息.經(jīng)歸一化和激活處理后送入多尺度卷積層.多尺度卷積層Multiconv先將輸入張量劃分成4 個(gè)子張量，再使用不同尺寸的卷積核進(jìn)行卷積操作.受文獻(xiàn)[14]、[17]的啟發(fā)，通過控制變量法測試不同大小卷積核的使用對分類精度的影響，經(jīng)試驗(yàn)后，選擇大小為1、3、5、7 的卷積核分別對4 個(gè)子張量進(jìn)行卷積.多尺度卷積Multiconv 的數(shù)學(xué)模型為

式中：Xm為 多尺度卷積輸出張量；fi(xi)(i=1,2,3,4)為不同卷積尺寸對應(yīng)的卷積操作， [x1,x2,x3,x4]∈Xi，Xi為輸入張量；J為拼接函數(shù)，C代表特征張量通道混洗； δ 為激活函數(shù).

深度可分離卷積由深度卷積和逐點(diǎn)卷積共同構(gòu)成，其中逐點(diǎn)卷積可以視為1 個(gè) 1 ×1 的普通卷積.深度可分離卷積和普通卷積參數(shù)量的比例為

式中：DK×DK×M×N為普通卷積的參數(shù)量，DK×DK×1×M為深度卷積的參數(shù)量，1×1×M×N為逐點(diǎn)卷積的參數(shù)量，DK為卷積核大小，DK×DK×1 為卷積核的參數(shù)量，M為特征張量輸入的通道數(shù)，N為點(diǎn)卷積核個(gè)數(shù)，DF為特征張量尺寸大小.由式（2）可知，當(dāng)點(diǎn)卷積核個(gè)數(shù)N遠(yuǎn)大于DK時(shí) ，深度卷積的參數(shù)量約是普通卷積的1 /DK，深度卷積的引入有效降低了網(wǎng)絡(luò)的模型參數(shù).使用多尺度卷積能夠通過不同尺寸的卷積核提取不同尺寸OCT 眼底病變特征，豐富特征表達(dá)，有效利用模型中存在的冗余信息[17]，既能提取CNV和DME 較為明顯的特征，也能通過較小卷積核加強(qiáng)對Drusen 病變小特征的提取.

1.3 特征融合模塊FFM

在OCT 圖像中，病灶大小、病變位置和病變特征都不同，因此較小的病變特征往往難以提取.由于玻璃膜疣的病變種類病灶小、邊界模糊，在網(wǎng)絡(luò)淺層的提取中，病變特征容易被忽略，無法有效提取.隨著網(wǎng)絡(luò)的加深，淺層局部細(xì)節(jié)信息逐步轉(zhuǎn)化為全局語義信息，病變特征細(xì)節(jié)信息無法表達(dá)，在特征提取中會造成有用特征信息的丟失，導(dǎo)致整體分類精度的下降.為此，構(gòu)建如圖3所示的特征融合模塊FFM，它由上采樣模塊和快速卷積空間金字塔模塊(convolution spatial pyramid polling-fast, CSPPF)組合而成.FFM 將主干網(wǎng)絡(luò)中的特征張量Xi(i=7,14,28,56) 分別輸入上采樣模塊和CSPPF 進(jìn)行處理，得到輸出張量Xu和Xc，再將輸出張量通道統(tǒng)一拓展到256，將輸出張量Xu和Xc進(jìn)行融合后得到輸出張量輸出XF14、XF28、和XF56.圖中，RF 為感受野.

圖3 2 種模塊的結(jié)構(gòu)圖Fig.3 Structure diagram of two modules

上采樣模塊先通過1 個(gè) 1 ×1 的卷積將輸入張量的通道維度拓展到256，再使用雙線性插值對特征尺寸進(jìn)行拓展，使特征尺寸與上一層特征尺寸保持一致.CSPPF 將空間金字塔模塊（SPPF）的最大池化換成深度卷積，在不改變特征張量尺寸的情況下降低模塊參數(shù)，同時(shí)實(shí)現(xiàn)特征的再提取.CSPPF 先通過1 個(gè)1 ×1 的卷積對通道進(jìn)行拓展，再使用3 個(gè)級聯(lián)的 3 ×3 卷積核實(shí)現(xiàn)卷積核大小為3、5、7 所能實(shí)現(xiàn)的感受野[18].將得到的輸出張量按通道維度進(jìn)行拼接，進(jìn)行通道打亂后再次使用1×1的卷積核進(jìn)行通道調(diào)整，將輸出張量通道限制在256.

FFM 通過上采樣模塊對深層特征進(jìn)行上采樣，通過CSPPF 再次進(jìn)行不同尺寸特征的提取，豐富了網(wǎng)絡(luò)中OCT 圖像中病變幾何信息和病變空間信息的表達(dá)，能夠?qū)\層提取到的OCT 圖像中特異度不同的特征傳遞到深層，實(shí)現(xiàn)淺層紋理信息和深層語義信息的融合.強(qiáng)化對OCT 病變特征的提取和表達(dá)能力，實(shí)現(xiàn)精度的提升.

1.4 分類輸出

將主干網(wǎng)絡(luò)輸出的特征張量X7和特征融合模塊得到的特征張量XF14、XF28、和XF56，依次經(jīng)平均池化和Concate 拼接后，再經(jīng)過2 次全連接層，得到最終的分類結(jié)果.平均池化得到的張量經(jīng)拼接后輸入第一個(gè)全連接層，將得到的特征信息進(jìn)行降維操作，使卷積輸出的二維特征張量轉(zhuǎn)化為一維的向量.將得到的一維向量輸入到第二個(gè)全連接層中進(jìn)行端到端的輸出，實(shí)現(xiàn)目標(biāo)種類的分類輸出.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在CPU 型號為Inter Core i9-10900K@3.70 GHz，GPU 型號為NVIDIA GeForce RTX 3080Ti, 12G 顯存，32G 內(nèi)存的個(gè)人計(jì)算機(jī)上開展.使用Pytorch 搭建網(wǎng)絡(luò)框架，使用Cuda11.6 和Cudnn11.2 加速GPU.相關(guān)實(shí)驗(yàn)參數(shù)配置如下：批尺寸為32，圖片尺寸為224，訓(xùn)練周期為150，動(dòng)量因子為0.9，權(quán)重衰減為0.000 5，學(xué)習(xí)率為0.000 1～0.100 0.

2.2 數(shù)據(jù)集和評價(jià)指標(biāo)

實(shí)驗(yàn)采用3 個(gè)數(shù)據(jù)集，其中數(shù)據(jù)集UCSD[19]由CNV、DME、玻璃膜疣、正常眼底4 類共84 484張OCT 圖像組成；杜克數(shù)據(jù)集(Duke)[20]由AMD、DME、正常眼底3 類共3 231 張OCT 圖像組成；德黑蘭努爾眼科醫(yī)院(NEH)[11]收集的匿名OCT 圖像數(shù)據(jù)集由CNV、玻璃膜疣、正常眼底3 類共12 649 張圖片組成.如圖4 所示為3 種眼底病變和正常眼底的OCT 圖例，圖中箭頭所指的為病變位置.使用混淆矩陣對網(wǎng)絡(luò)模型進(jìn)行評估.通過網(wǎng)絡(luò)模型對樣本數(shù)據(jù)進(jìn)行分類，判斷樣本數(shù)據(jù)的正（positive），負(fù)（negative），并根據(jù)樣本的正負(fù)得到4 個(gè)一級指標(biāo)：真實(shí)值為正，模型預(yù)測為正TP；真實(shí)值為正，模型預(yù)測值為負(fù)FN；真實(shí)值為負(fù)，模型預(yù)測為正FP；真實(shí)值為負(fù)，模型預(yù)測為負(fù)TN.根據(jù)這4 個(gè)一級指標(biāo)得到4 種評價(jià)指標(biāo)：準(zhǔn)確率Acc、精確率P、召回率R、特異度Spe.

圖4 OCT 例圖Fig.4 OCT example diagram

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證MB-CNN 設(shè)計(jì)的合理性，在數(shù)據(jù)集UCSD 上，基于Resnet18 展開6 個(gè)實(shí)驗(yàn)，分別為Resnet18、深度可分離卷積和MultiBlock的對比實(shí)驗(yàn)以及依次引入的3 種策略：1)使用L-Resnet 輕量化主干，2)將普通卷積替換成MultiBlock，3)加入特征融合模塊FFM.實(shí)驗(yàn)結(jié)果如表1 所示，其中√表示采用對應(yīng)策略，記錄實(shí)驗(yàn)中的模型參數(shù)NP和準(zhǔn)確率.數(shù)據(jù)集中訓(xùn)練集、驗(yàn)證集、測試集的比例為7∶2∶1.實(shí)驗(yàn)1 為Resnet18 的分類結(jié)果.實(shí)驗(yàn)2 在實(shí)驗(yàn)1 的基礎(chǔ)上將主干網(wǎng)絡(luò)換成L-Resnet，沒有更換卷積操作.由實(shí)驗(yàn)2 的結(jié)果可知，在更換完主干網(wǎng)絡(luò)后，模型參數(shù)降低了38.81%，精度降低了0.17 個(gè)百分點(diǎn).實(shí)驗(yàn)3、4 在實(shí)驗(yàn)1 的基礎(chǔ)上將卷積分別更換為深度可分離卷積和MultiBlock.由實(shí)驗(yàn)結(jié)果可知，使用深度可分離卷積使模型參數(shù)降低了97.21%，精度降低了1.38 個(gè)百分點(diǎn)；當(dāng)卷積核換為MultiBlock 時(shí)，相較于實(shí)驗(yàn)3，模型參數(shù)量增加了0.044×106，精度增加了0.44 個(gè)百分點(diǎn).實(shí)驗(yàn)5 在實(shí)驗(yàn)2 的基礎(chǔ)上添加M u l t i B l o c k卷積模塊.相較于實(shí)驗(yàn)2，模型參數(shù)量降低了92.8%，精度降低了0.13 個(gè)百分點(diǎn).實(shí)驗(yàn)6 在實(shí)驗(yàn)5的基礎(chǔ)上加入特征融合模塊，在加入特征融合模塊后模型參數(shù)量增加了0.829×106，精度增加了0.46 個(gè)百分點(diǎn).

表1 MB-CNN 組成部分的消融實(shí)驗(yàn)Tab.1 Ablation experiment of MB-CNN components

L-Resnet 主干網(wǎng)絡(luò)通過減少個(gè)卷積階段卷積核的使用減少了模型參數(shù)量，加深網(wǎng)絡(luò)模型能加強(qiáng)模型對深層語義信息的提取，能夠在模型降低參數(shù)量的同時(shí)減少對識別精度的影響.實(shí)驗(yàn)3、4 的結(jié)果顯示，MultiBlock 卷積模塊能夠通過能夠使用不同尺寸的卷積核來提取不同的特征信息，豐富模型的特征表達(dá)，提高分類精度.實(shí)驗(yàn)5 使用L-Resnet 主干網(wǎng)絡(luò)，減少卷積核的使用、加深網(wǎng)絡(luò)深度，同時(shí)使用MultiBlock 替換普通卷積，相較于實(shí)驗(yàn)1，參數(shù)量下降了95.34%，精度下降了0.3 個(gè)百分點(diǎn).相較于實(shí)驗(yàn)1，加入L-Resnet、MultiBlock 能夠更好地平衡模型的參數(shù)和精度.加入FFM 模塊的實(shí)驗(yàn)6，通過融合深層語義信息和淺層細(xì)節(jié)信息，提高了對OCT 圖像中小目標(biāo)特征的信息提取能力，提高了分類精度.由表1 可知，在MB-CNN 中提出的3 種改進(jìn)策略設(shè)計(jì)合理，有助于降低模型參數(shù)量、提高精度.還可看出，MB-CNN模型具有較好的分類效果.

2.4 輕量化分類模型MB-CNN 的性能驗(yàn)證

消融實(shí)驗(yàn)充分驗(yàn)證了MB-CNN 的合理性.為了進(jìn)一步驗(yàn)證模型的分類效果，將MB-CNN與現(xiàn)階段具有代表性的視網(wǎng)膜OCT 分類網(wǎng)絡(luò)進(jìn)行對比.采用交叉驗(yàn)證法在UCSD、Duke 和NEH3 個(gè)數(shù)據(jù)集上開展對比實(shí)驗(yàn).UCSD 采用10 倍交叉驗(yàn)證最后取平均值，Duke 和NEH 均使用5 倍交叉驗(yàn)證最后取平均值.3 個(gè)數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果如表2～4，其中對比數(shù)據(jù)均來自于網(wǎng)絡(luò)模型的原始論文，OAcc 為總體準(zhǔn)確率.

表2 不同模型在UCSD 數(shù)據(jù)集上的性能對比實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of performance comparison of different models in UCSD dataset

由表2 可知，MB-CNN 在參與對比的模型中獲得了最高的總體準(zhǔn)確率，比位居第二的Resnet18提高了0.72 個(gè)百分點(diǎn)，同時(shí)參數(shù)量降低了87.92%.LACNN 通過將生成的軟注意力圖并入網(wǎng)絡(luò)以加權(quán)局部卷積，并利用病變局部信息來改善分類，但專注于局部細(xì)節(jié)信息會導(dǎo)致全局語義信息的丟失進(jìn)而影響分類精度.Liu 等[6]通過添加注意力強(qiáng)化對病灶的定位，放大病灶區(qū)域，提取放大后的病灶區(qū)域的病變特征，但病灶定位及放大會造成病灶邊緣信息的丟失，難以有效提取特征信息（如病變形狀、紋理），影響分類效果.PCAM添加2 種不同的注意力機(jī)制，加強(qiáng)了模型在空間和通道維度對病變特征的提取，同時(shí)將提取到的特征傳遞到深層，加強(qiáng)了對網(wǎng)絡(luò)深淺層信息的交流，雖參數(shù)量比Resnet18 低了0.1×106，但單一尺寸的卷積核的使用沒有提高模型的病變分類能力.DMF-CNN 通過組合多個(gè)不同感受野大小的卷積來有效提取不同大小的病變特征，使用聯(lián)合多損失優(yōu)化策略加強(qiáng)了模型對病變特征的識別能力，但沒有解決顯著特征在特征提取過程中丟失的問題.可以看出，在UCSD 數(shù)據(jù)集中，MB-CNN的改進(jìn)達(dá)到預(yù)期的效果，相比Resnet18，對比模型的表現(xiàn)均不夠出色.

由表3 可知，MB-CNN 在Duke 數(shù)據(jù)集上的分類效果超越了對比模型.Mesut 的分類準(zhǔn)確率位居第二，略優(yōu)于Resent18，Anju 的分類效果最差.Thomas 等[9]提出的多尺度卷積網(wǎng)絡(luò)僅包含7 個(gè)卷積層，只有一層使用了3 種不同尺度的卷積核，難以有效的提取不同尺度的病變特征，且網(wǎng)絡(luò)較淺提取到的語義信息較低，難以實(shí)現(xiàn)病變種類的有效分類.To?a?ar 等[10]的模型使用9 個(gè)現(xiàn)有模型進(jìn)行遷移學(xué)習(xí)，在輸出結(jié)果中擇優(yōu)輸出，多種網(wǎng)絡(luò)同時(shí)工作保證了病變特征的提取和利用，減弱了單一模型帶來的方差，因而在Duke 數(shù)據(jù)集上表現(xiàn)較好.

表3 不同模型在Duke 數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of performance comparison of different models in Duke dataset

由表4 可知，在NEH 數(shù)據(jù)集上，MB-CNN 的表現(xiàn)依然最好，Sotoudeh-Paima 等[11]的模型的總體準(zhǔn)確率比Resnet18 低0.65 個(gè)百分點(diǎn).Sotoudeh-Paima 等[11]的模型通過連接深淺層網(wǎng)絡(luò)加強(qiáng)了不同大小特征圖之間的信息間交流，保證了淺層細(xì)節(jié)信息能夠傳遞到網(wǎng)絡(luò)深層當(dāng)中并充分利用病變特征信息，但單一大小卷積核難以有效的學(xué)習(xí)不同尺度的病變特征，因而在NEH 數(shù)據(jù)集上表現(xiàn)不佳.

表4 不同模型在NEH 數(shù)據(jù)集上的實(shí)驗(yàn)對比結(jié)果Tab.4 Experimental results of performance comparison of different models in NEH dataset

Resnet18 網(wǎng)絡(luò)使用單一大小卷積核難以提取不同尺度的病變特征，但通過使用殘差連接實(shí)現(xiàn)特征信息跨卷積塊的傳遞，在保證網(wǎng)絡(luò)能夠充分利用原有特征的同時(shí)學(xué)習(xí)新的有用的病變特征，有效地解決了病變特征丟失的問題，因而在3 個(gè)數(shù)據(jù)集上都有相對較好的表現(xiàn).MB-CNN 保留了殘差連接，同時(shí)使用多尺度卷積模塊來提取不同尺度的病變特征，使用特征融合模塊融合淺層細(xì)節(jié)信息和深層語義信息，加強(qiáng)病變特征提取的同時(shí)，將淺層細(xì)節(jié)信息傳遞到網(wǎng)絡(luò)深層，使得信息得到充分的利用.因而在3 個(gè)數(shù)據(jù)集上的表現(xiàn)最好.

為了進(jìn)一步論證的MB-CNN 的分類能力，展示MB-CNN 在UCSD 數(shù)據(jù)集上識別的病灶區(qū)域的熱力圖如圖5 所示.可以看出，MB-CNN 能夠準(zhǔn)確關(guān)注不同疾病的病灶區(qū)域，通過病灶區(qū)域幾何拓?fù)浣Y(jié)構(gòu)的準(zhǔn)確提取，實(shí)現(xiàn)對OCT 圖像中病灶位置的有效識別.對于正常的眼底，MB-CNN 主要關(guān)注中心凹區(qū)域.

圖5 OCT 熱力圖Fig.5 Heatmap of OCT

3 結(jié) 語

為了實(shí)現(xiàn)不同眼底病變類型的自動(dòng)識別，提出輕量化眼底OCT 圖像分類網(wǎng)絡(luò)MB-CNN.主干網(wǎng)絡(luò)L-Resnet 中使用更少的卷積核，MultiBlock 模塊引入深度卷積能夠有效地降低模型參數(shù).在MultiBlock 中使用不同尺寸的卷積核有效學(xué)習(xí)不同尺寸的特征信息，豐富了特征表達(dá).通過特征融合模塊將淺層細(xì)節(jié)信息和深層語義信息相融合，使網(wǎng)絡(luò)既保留了前期的病變細(xì)節(jié)信息又能夠豐富后期病變的語義信息，提高了網(wǎng)絡(luò)對較小病變種類的分類能力.MB-CNN 的分類準(zhǔn)確率較主流模型提升0.36～7.10 個(gè)百分點(diǎn)，獲得了更好的分類效果.未來計(jì)劃將MB-CNN 模型部署到嵌入式設(shè)備中，以實(shí)現(xiàn)眼底疾病的快速分類.