基于增強(qiáng)LetNet-5的非霍奇金淋巴瘤輔助診斷

張劍飛，崔文升，王 真，杜曉昕

(齊齊哈爾大學(xué)計(jì)算機(jī)與控制工程學(xué)院，齊齊哈爾 161006)

據(jù)數(shù)據(jù)統(tǒng)計(jì)中國淋巴瘤患病率具有逐年遞增的趨勢并對人們生活產(chǎn)生了許多不利的影響，因此對于該疾病確診精度的提升有著重要的社會(huì)意義和實(shí)用價(jià)值[1]。在傳統(tǒng)淋巴癌診斷的過程中，主要由相關(guān)領(lǐng)域的醫(yī)師結(jié)合自身經(jīng)驗(yàn)、醫(yī)療設(shè)備和化驗(yàn)結(jié)果等多方面因素進(jìn)行決策，具有摻雜一定的主觀性和多種不確定因素的問題，與此同時(shí)在患病人數(shù)不斷增加和醫(yī)療設(shè)備匱乏的條件下，很大程度會(huì)出現(xiàn)誤診和漏診的問題[2]。隨著計(jì)算機(jī)軟硬件不斷的更新?lián)Q代以及以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)深度學(xué)習(xí)算法的飛速發(fā)展，深度學(xué)習(xí)算法在醫(yī)學(xué)輔助診斷分析中的應(yīng)用已成為了模式識別和人工智能領(lǐng)域研究的熱點(diǎn)之一[3-4]。將深度學(xué)習(xí)方法用于醫(yī)學(xué)數(shù)據(jù)輔助診斷上，不僅可以挽救無數(shù)患者生命，而且對降低醫(yī)療成本也具有重要的現(xiàn)實(shí)意義。為此，中外研究人員進(jìn)行大量的研究工作，唐思源等[5]采用深度卷積神經(jīng)網(wǎng)絡(luò)模型對來自肺影像數(shù)據(jù)庫(LIDC)中的1 018組肺部病理圖像中的肺結(jié)節(jié)進(jìn)行了檢測和分類，取得了良好的進(jìn)展；王亞平等[6]基于深度卷積神經(jīng)網(wǎng)絡(luò)用于人體周血白細(xì)胞的分類識別并給出了一種基于特征集數(shù)據(jù)增強(qiáng)方法，最終通過8 400組進(jìn)行模型泛化能力的評估，達(dá)到了95%平均分類正確率；褚晶輝等[7]通過使用一次、二次遷移學(xué)習(xí)分別對公開的乳腺X光DDSM和MRI數(shù)據(jù)集提取特征，并使用支持向量機(jī)作為分類器實(shí)現(xiàn)了CAD系統(tǒng)。

目前主流的網(wǎng)絡(luò)模型在非霍奇金淋巴瘤輔助診斷方面具有較低的適用性，為此本文給出了增強(qiáng)的LetNet-5模型用于非霍奇金淋巴瘤輔助診斷，對LetNet-5模型進(jìn)行了如下改進(jìn)：加強(qiáng)了卷積特征提取的強(qiáng)度和密度；調(diào)整了部分模型的超參數(shù)配置和網(wǎng)絡(luò)結(jié)構(gòu)；使用全局平均池化層代替了全連接層。

1 LetNet-5網(wǎng)絡(luò)模型

在1988年LetNet-5網(wǎng)絡(luò)模型被首次提出，作為首個(gè)卷積神經(jīng)網(wǎng)絡(luò)被用于手寫字體的自動(dòng)識別上并達(dá)到了95%以上的正確識別率[8]。LetNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1 LetNet-5網(wǎng)絡(luò)模型Fig.1 LetNet-5 network model

圖1中LetNet-5模型包含6層網(wǎng)絡(luò)結(jié)構(gòu)，主要由輸入層、2組卷積池化組合層、2組全連接層和輸出層組成，為之后設(shè)計(jì)功能更為強(qiáng)大優(yōu)秀模型提供了有價(jià)值的參考。在LetNet-5模型中，輸入圖像規(guī)格為32×32×1，其中32為數(shù)據(jù)集樣本圖像像素的長和寬，1代表RGB顏色通道中的灰度通道。在卷積和池化過程中LetNet-5未使用零填充，因此圖像規(guī)格會(huì)遵循式(1)的計(jì)算規(guī)則逐漸減少[9]。

N=(O-C)/S+1

(1)

式(1)中：N為現(xiàn)在輸出圖像規(guī)格；O為輸入圖像規(guī)格；C為卷積核或池化規(guī)格；S為卷積核或池化移動(dòng)的步長。LetNet-5模型中每層之間的激活函數(shù)為SIGMOID，池化層的類型為平均池化層，在2012年ALEXNET被提出后，在深度卷積神經(jīng)網(wǎng)絡(luò)中很少使用SIGMOID作為激活函數(shù)，為了獲得良好的效果，將SIGMOID全部替換為RELU[10]。

2 基于增強(qiáng)LetNet-5的非霍奇金淋巴瘤輔助診斷

2.1 數(shù)據(jù)集介紹

所使用數(shù)據(jù)集為網(wǎng)絡(luò)公開的非霍奇金淋巴瘤數(shù)據(jù)集，該數(shù)據(jù)包括慢性淋巴細(xì)胞白血病(chronic lymphocytic leukemia，CLL)、濾泡淋巴瘤(follicular lymphoma，F(xiàn)L)和地幔細(xì)胞淋巴瘤(mantle cell lymphoma，MCL)三類，數(shù)據(jù)集更為詳細(xì)的介紹請?jiān)L問數(shù)據(jù)集的官方網(wǎng)址http://www.andrewjanowczyk.com/deep-learning/。三種淋巴瘤樣本例圖如圖2所示。

淋巴瘤數(shù)據(jù)集共包含374張病理圖像，每組圖像像素規(guī)格為1 388×1 040×3。首先將獲取的數(shù)據(jù)集先分割為訓(xùn)練集和測試集，再從訓(xùn)練集中分割出驗(yàn)證集，其中訓(xùn)練集、驗(yàn)證集和測試集三者之間的比例為0.72∶0.08∶0.2，三者具體數(shù)量分別為269、30和75。訓(xùn)練集是用來訓(xùn)練網(wǎng)絡(luò)中的權(quán)重和偏置，進(jìn)而提升網(wǎng)絡(luò)性能；驗(yàn)證集是用來評估模型中超參配置的合理性；測試集評估模型泛化能力的強(qiáng)弱。研究的數(shù)據(jù)圖像規(guī)格過大且數(shù)量過少不適合使用深度學(xué)習(xí)算法進(jìn)行研究，同時(shí)如圖2所示淋巴瘤樣本圖像不具有感興趣區(qū)域，可以根據(jù)實(shí)際需求進(jìn)行不同比例圖像分割操作。為了提升淋巴瘤的輔助診斷效果，將數(shù)據(jù)圖像以步長為48像素切分為規(guī)格為48×48×3，接著對切分后的數(shù)據(jù)集中訓(xùn)練集、驗(yàn)證集和測試集的類分布和數(shù)量進(jìn)行了統(tǒng)計(jì)，如表1所示。

表1 切分后各數(shù)據(jù)集類分布Table 1 Distribution of data sets after segmentation

如表1所示可知，切分后數(shù)據(jù)集總數(shù)量將近20萬并且在訓(xùn)練集、驗(yàn)證集和測試集中每類樣本數(shù)量分布較為均勻。接著對數(shù)據(jù)集進(jìn)行歸一化預(yù)處理操作，將數(shù)據(jù)范圍壓縮至-1～1，計(jì)算公式為

(2)

本文方法是基于PC端Win10操作系統(tǒng)進(jìn)行模型的設(shè)計(jì)和系統(tǒng)的開發(fā)，主要軟硬件環(huán)境為PyChram-2018、Python3.5.0、CUDA9.0、CUDNN7.0、Tensorflow-GPU=1.5.0、Anaconda3.5、Keras-GPU版本、4G GTX1050Ti GPU和16G Intel-i7-8750H CPU。

圖2 淋巴瘤樣本Fig.2 Lymphoma sample illustration

2.2 算法描述

2.2.1 LetNet-5算法

LetNet-5模型為現(xiàn)今多數(shù)網(wǎng)絡(luò)模型的雛形，其中包括卷積層、非線性映射層、平均池化層和全連接層，總訓(xùn)練網(wǎng)絡(luò)參數(shù)約為44 190，相比使用神經(jīng)網(wǎng)絡(luò)搭建模型的參數(shù)量有著明顯的降低并且泛化能力也較強(qiáng)[11]。LetNet-5模型結(jié)構(gòu)如表2所示。

模型中的超參數(shù)不是所訓(xùn)練的常規(guī)參數(shù)，需要人工根據(jù)經(jīng)驗(yàn)進(jìn)行配置并對模型最終的性能有著至關(guān)重要的作用。LetNet-5模型超參數(shù)配置情況如表3所示。

表2 LetNet-5模型結(jié)構(gòu)Table 2 LetNet-5 model structure

表3 LetNet-5模型超參數(shù)配置情況Table 3 LetNet-5 model hyperparameter configuration

接著，采用KERAS搭建網(wǎng)絡(luò)模型并將數(shù)據(jù)輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練和評估，其中輸入圖像規(guī)格為48×48×3，輸出層神經(jīng)元數(shù)目設(shè)置為3。隨著迭代次數(shù)的增加，訓(xùn)練集和驗(yàn)證集準(zhǔn)確率和損失變化曲線如圖3所示。

TA代表訓(xùn)練集準(zhǔn)確率；EA代表驗(yàn)證集準(zhǔn)確率；TL代表訓(xùn)練集損失值；EL代表驗(yàn)證集損失值圖3 LetNet-5 準(zhǔn)確率和損失函數(shù)變化曲線Fig.3 LetNet-5 accuracy and loss function curve

在30次迭代期內(nèi)，模型收斂速度較慢并且準(zhǔn)確率有著逐步提升的趨勢，訓(xùn)練集和驗(yàn)證集的擬合效果較好，但驗(yàn)證集最好的分類識別率為76%左右，得出了LetNet-5模型在30次迭代期內(nèi)對于該疾病輔助診斷效果具有較低的適用性結(jié)論，為此對LetNet-5模型網(wǎng)絡(luò)結(jié)構(gòu)的深度和廣度進(jìn)行增強(qiáng)操作并對部分超參數(shù)和模型結(jié)構(gòu)進(jìn)行調(diào)整。

2.2.2 增強(qiáng)的LetNet-5算法

對LetNet-5模型的特征提取能力和泛化能力進(jìn)行了增強(qiáng)，使其能在30次迭代次數(shù)內(nèi)對淋巴瘤具有更好的輔助診斷效果且模型收斂速度更快，具體進(jìn)行了如下幾點(diǎn)改進(jìn)。

(1) 增加原各層卷積核數(shù)量，減少卷積核規(guī)格并額外添加一組卷積池化組合。

(2) 將原有卷積和池化層的填充方式設(shè)置為零填充。

(3) 將平均池化層替換為最大池化層。

(4) 通過使用全局平均池化層來代替原有的全連接和平鋪層[12]。

改進(jìn)點(diǎn)1加大了卷積層特征提取的強(qiáng)度和密度，使得能獲取到利于分類的高級特征；改進(jìn)點(diǎn)2避免在特征提取的過程中因填充方式的不合理設(shè)置導(dǎo)致過多信息的丟失；改進(jìn)點(diǎn)3有效解決了因平均池化層使得特征映射圖模糊化的問題；改進(jìn)點(diǎn)4通過全局平均池化層能有效地保留圖像的空間特征，代替了全連接層，同時(shí)降低模型擬合參數(shù)量，有效提升了模型的泛化能力。增強(qiáng)LetNet-5的模型參數(shù)配置和模型結(jié)構(gòu)設(shè)計(jì)由多次的實(shí)驗(yàn)得出，因?qū)嶒?yàn)次數(shù)過多無法將其全部展現(xiàn)出來，將最終增強(qiáng)后的網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行展示，如表4所示。

不僅對LetNet-5的模型結(jié)構(gòu)進(jìn)行調(diào)整，而且對部分超參數(shù)配置也進(jìn)行修改，將優(yōu)化器由SGD調(diào)整為主流調(diào)優(yōu)器Adam，將學(xué)習(xí)速率由10-3調(diào)整為10-4，其他超參數(shù)配置與表3相同，將數(shù)據(jù)輸入至增強(qiáng)的LetNet-5模型中進(jìn)行30次的迭代訓(xùn)練，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率和損失值變化情況如圖4所示。

將測試集分別輸入至已訓(xùn)練完畢的LetNet-5和增強(qiáng)后的LetNet-5模型中進(jìn)行預(yù)測和評估同時(shí)對每種類別的準(zhǔn)確率進(jìn)行統(tǒng)計(jì)，結(jié)果如表5所示。

表4 增強(qiáng)的LetNet-5模型結(jié)構(gòu)Table 4 Enhanced LetNet-5 model structure

TA代表訓(xùn)練集準(zhǔn)確率；EA代表驗(yàn)證集準(zhǔn)確率；TL代表訓(xùn)練集損失值；EL代表驗(yàn)證集損失值圖4 增強(qiáng)LetNet-5準(zhǔn)確率和損失值變化曲線Fig.4 Accuracy and loss curve of Enhance LetNet-5

表5 模型增強(qiáng)前后各類準(zhǔn)確率Table 5 Various types of accuracy before and after model enhancement

由表5所示，增強(qiáng)的LetNet-5在各類識別率有著顯著的提升，特別是在慢性淋巴細(xì)胞白血病該類上，準(zhǔn)確率提升了25.16%，較原始LetNet-5多出了4 272個(gè)正確識別的樣本。地幔細(xì)胞淋巴瘤得識別準(zhǔn)確率達(dá)到了97.99%，其中該類總體數(shù)量為11 172個(gè)，識別正確數(shù)量為10 947，僅識別錯(cuò)誤225組樣本。通過提高模型的特征提取強(qiáng)度和使用全局平均池化層取代全連接層，提高了LetNet-5在該類疾病輔助診斷的適用性。

2.3 模型性能評估

2.3.1 泛化能力驗(yàn)證

驗(yàn)證模型泛化能力強(qiáng)弱的最好方式是在具有相同概率分布基礎(chǔ)上，使用小樣本數(shù)據(jù)集去訓(xùn)練模型，接著使用大樣本數(shù)據(jù)對模型性能進(jìn)行評估。將訓(xùn)練集和測試集兩者互相調(diào)換，此時(shí)訓(xùn)練集、驗(yàn)證集和測試集三者之間的比例為0.2∶0.16∶0.64，即通過4×104樣本訓(xùn)練模型對近16×104樣本進(jìn)行預(yù)測。將訓(xùn)練集輸入至增強(qiáng)的LetNet-5網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，訓(xùn)練完畢之后將驗(yàn)證集和測試集輸入至模型中進(jìn)行評估，隨著迭代次數(shù)的增加，準(zhǔn)確率和損失值的變化曲線如圖5所示。

圖5中，在30次迭代內(nèi)，因訓(xùn)練集數(shù)量很小出現(xiàn)的過擬合問題是不可避免的。在準(zhǔn)確率變化曲線上，驗(yàn)證集的準(zhǔn)確率已經(jīng)有著收斂的趨勢，正確識別率在65%左右。在損失變化曲線上，驗(yàn)證集的損失值有逐漸上升的趨勢，該現(xiàn)象是網(wǎng)絡(luò)過擬合所導(dǎo)致的問題。將測試集輸入至該模型中進(jìn)行評估，得到的評估結(jié)果如表6所示。

TA代表訓(xùn)練集準(zhǔn)確率；EA代表驗(yàn)證集準(zhǔn)確率；TL代表訓(xùn)練集損失值；EL代表驗(yàn)證集損失值圖5 增強(qiáng)后泛化能力驗(yàn)證結(jié)果Fig.5 Enhanced generalization ability verification result

表6 測試集中各類識別結(jié)果Table 6 Various types of recognition results in the test set

表5中，發(fā)現(xiàn)模型在濾泡淋巴瘤的泛化能力較強(qiáng)，達(dá)到了83.94%的準(zhǔn)確率并且在慢性淋巴細(xì)胞白血病分類識別上超越了原始LetNet-5模型，在測試集的準(zhǔn)確率與原始LetNet-5模型相差2%的識別精度，由此證明了本文模型具有良好泛化能力。

2.3.2 模型穩(wěn)定性驗(yàn)證

交叉驗(yàn)證是將數(shù)據(jù)集分割成n組，其中n-1組的數(shù)據(jù)作為訓(xùn)練集，1組作為驗(yàn)證集，進(jìn)行n次循環(huán)實(shí)驗(yàn)(如果n等于數(shù)據(jù)集數(shù)量，則為留一法，否則為K折交叉驗(yàn)證)[13]。交叉驗(yàn)證是一種驗(yàn)證模型穩(wěn)定性的常用方法，可以有效避免模型處于局部最優(yōu)。采用5折交叉驗(yàn)證，將數(shù)據(jù)集分成5份，其中約300組為訓(xùn)練集，約75組為測試集。以步長為48像素對數(shù)據(jù)集進(jìn)行切分操作，將數(shù)據(jù)切分為含有176 988組訓(xùn)練集和42 924組測試集的不同5種數(shù)據(jù)集用于增強(qiáng)的LetNet-5穩(wěn)定性驗(yàn)證，其中5折交叉驗(yàn)證模型結(jié)構(gòu)與參數(shù)配置與增強(qiáng)的LetNet-5模型相同，實(shí)驗(yàn)結(jié)果如表7所示。

表7中，每折交叉驗(yàn)證的識別準(zhǔn)確率都在90%左右并且正確識別率均值為91.20%。該結(jié)果與增強(qiáng)LetNet-5的準(zhǔn)確率91.30%差值為0.1%，經(jīng)過交叉驗(yàn)證充分證明了增強(qiáng)LetNet-5模型的穩(wěn)定性，同時(shí)也反映出本文實(shí)驗(yàn)在數(shù)據(jù)采樣的科學(xué)性。

表7 5折交叉驗(yàn)證結(jié)果Table 7 5 of fold cross validation result

3 結(jié)論

在LetNet-5的基礎(chǔ)上給出了增強(qiáng)的LetNet-5模型用非霍奇金淋巴瘤輔助診斷。通過實(shí)驗(yàn)得出以下結(jié)論。

(1)相比于原始LetNet-5模型，增強(qiáng)后的模型具有更高的分類精度、更快的模型收斂速度。

(2)增強(qiáng)后的LetNet-5具有良好的穩(wěn)定性和泛化能力。

在今后的研究中，將嘗試采用深度學(xué)習(xí)中遷移學(xué)習(xí)對非霍奇金淋巴瘤數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練操作，進(jìn)一步改善該疾病的輔助診斷效果。綜上所述，為淋巴瘤的輔助診斷提供了較好的研究思路和方法，提升了LetNet-5用于B細(xì)胞淋巴瘤輔助診斷的適用性并一定程度提高該病的確診效率和精度,具有實(shí)用價(jià)值和臨床意義。