一種改進(jìn)FCN的舌象分割方法：雙支FCN2s

黃留揮，程輝

（江漢大學(xué)人工智能學(xué)院，武漢 430056）

0 引言

舌象分割是中醫(yī)現(xiàn)代化的重要研究方向之一，它在臨床當(dāng)中為中醫(yī)的發(fā)展和診斷起到重要的作用，將舌象數(shù)字化和客觀化，能為醫(yī)師在診斷的過(guò)程中提供極大的便利。中醫(yī)診斷四步法——望、聞、問(wèn)、切，從表面的特征出發(fā)，一步一步深入到人體神經(jīng)脈絡(luò)，全面了解人體內(nèi)的病情狀況，其中第一步望診，是通過(guò)觀察人的舌頭診斷，因?yàn)樯囝^上神經(jīng)連著人體內(nèi)的五臟六腑，能夠很好反映出體內(nèi)的情況，但是舌頭易受外界環(huán)境的影響，給醫(yī)師的診斷帶來(lái)極大的困難，并且醫(yī)師的診斷也受限于醫(yī)師的中醫(yī)水平和臨床經(jīng)驗(yàn)。因此，對(duì)舌象進(jìn)行客觀化、數(shù)字化是一項(xiàng)重要的研究。

在2015年，Xu Qiang，Zeng Yu等人［1］首次利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分割技術(shù)對(duì)舌象進(jìn)行分割，提出一種基于多任務(wù)聯(lián)合學(xué)習(xí)（multi-task joint learning，MTL）的舌圖像分割分類方法，該方法很好地解決了傳統(tǒng)分割自動(dòng)化弱的問(wèn)題；Lin Bingqian，Qu Yanyun等人［2］針對(duì)舌象收到光線和大小等原因限制，提出一種基于ResNet的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練分割舌圖像方法；張新峰、郭宇桐等人［3］提出一種基于DCNN和全連接CRF的舌圖像分割算法，很大程度上提升分割精度；Zhou Changen等人［4］提出一種新的端到端多任務(wù)學(xué)習(xí)模型TongueNet，利用像素級(jí)先驗(yàn)信息對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練；顏建軍、徐姿、郭睿等人［5］針對(duì)傳統(tǒng)技術(shù)分割精度不高、分割難度大等問(wèn)題，首次提出一種基于Mask R-CNN的舌圖像分割研究；Li Lei，Luo Zhiming等人［6］注意到基于深度學(xué)習(xí)的方法在不同分布式數(shù)據(jù)集上退化顯著等問(wèn)題，提出一種迭代跨區(qū)域舌象分割模型；Zeng Xinxi等人［7］提出一種新穎的端到端邊界引導(dǎo)分層網(wǎng)絡(luò)（BGHNet）；Cai Yuanzheng等人［8］提出一種新的輔助損失函數(shù)來(lái)提高深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）的分割性能；Zhou Chengen等人［9］首次提出一種基于半監(jiān)督舌象分割的重建增強(qiáng)概率模型。

基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的舌象分割方法研究，目前相對(duì)比較少，盧運(yùn)西、李曉光等人［10］在文獻(xiàn)《醫(yī)舌象分割技術(shù)研究進(jìn)展：方法、性能與展望》當(dāng)中，把當(dāng)前舌象分割進(jìn)行總結(jié)分析，并把舌象分割應(yīng)用到FCN8s當(dāng)中；但是分割效果不理想，分割精度較低，分割結(jié)果當(dāng)中噪聲較多，對(duì)于邊緣分割不夠精準(zhǔn)。因此，本文提出一種FCN2s_2結(jié)構(gòu)模型，通過(guò)實(shí)驗(yàn)驗(yàn)證，相比較FCN8s分割模型，改進(jìn)的FCN2s_2在評(píng)價(jià)指標(biāo)iou和Dice上都有所提升，分割效果比FCN8s優(yōu)。

1 相關(guān)知識(shí)

FCN是Long J、Shelhamer E和Darrell T等人在2014年提出的，它的網(wǎng)絡(luò)結(jié)構(gòu)是基于VGG網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)而得的，也具備VGG識(shí)別網(wǎng)絡(luò)的一些多層結(jié)構(gòu)自動(dòng)獲取功能，并且可獲取不同層次的特征，在淺層的卷積層中感受野較少只能獲取局部特征，在深層的卷積層獲取感受野增大，可獲取抽象特征，抽象特征在識(shí)別當(dāng)中，對(duì)物體的表層信息敏感度較低，因此可提高網(wǎng)絡(luò)模型對(duì)目標(biāo)區(qū)域的識(shí)別能力。但是該方法也有不足，比如需要對(duì)圖像當(dāng)中某一個(gè)像素進(jìn)行分類，則需要訓(xùn)練測(cè)試該像素周圍一塊區(qū)域，大大地增加計(jì)算量，導(dǎo)致計(jì)算效率低下，并且存儲(chǔ)的需求也增大，再識(shí)別過(guò)程中會(huì)導(dǎo)致物體細(xì)節(jié)丟失嚴(yán)重。因此針對(duì)這些問(wèn)題，Long等人［11］提出Fully Convolutional Networks，它是將VGG網(wǎng)絡(luò)當(dāng)中的全連接層改為卷積層，從而讓網(wǎng)絡(luò)模型可以接受任意大小的輸入圖，不需要求訓(xùn)練圖和側(cè)視圖具有同樣的尺寸，并通過(guò)反卷積進(jìn)行上采樣恢復(fù)圖像的分辨率，可以實(shí)現(xiàn)給每一個(gè)像素進(jìn)行分類，實(shí)現(xiàn)像素之間進(jìn)行端到端學(xué)習(xí)，從而實(shí)現(xiàn)語(yǔ)義分割。

全連接層輸入，如圖1所示，將一個(gè)2×2的矩陣通過(guò)全連接得到一個(gè)4維向量的過(guò)程。卷積層和全連接層的相同之處在于卷積層和全連接層都是進(jìn)行一個(gè)點(diǎn)乘操作，它們的函數(shù)形式相同，但是全連接層的權(quán)值是固定的，因此要求特征圖的大小和網(wǎng)絡(luò)模型開(kāi)始輸入的圖像大小也需固定，而全連接層提取特征圖的局部特征，使用滑動(dòng)窗口對(duì)特征進(jìn)行提取，因此對(duì)特征圖的大小和網(wǎng)絡(luò)模型開(kāi)始輸入大小不需固定。

圖1 全連接層輸入

反卷積上采樣實(shí)際上也是一種卷積，一般普通的卷積在特征提取階段會(huì)使得圖像分辨率降低，如圖2所示的卷積核去卷積4×4得到2×2的輸出。但是反卷積上采樣在卷積時(shí)，需要在圖像在像素之間補(bǔ)零，通過(guò)在像素之間進(jìn)行補(bǔ)零，然后使用卷積核進(jìn)行特征提取，從而得到一個(gè)高分辨的特征圖。

圖2 卷積和反卷積示意圖

2 改進(jìn)FCN的網(wǎng)絡(luò)模型

2.1 改進(jìn)的FCN2s模型

由于FCN8s模型分割圖像時(shí)，準(zhǔn)確率較低，提出一種FCN2s_2網(wǎng)絡(luò)模型分割方法。首先對(duì)FCN8s模型結(jié)構(gòu)進(jìn)行改變，如圖3所示，F(xiàn)CN2s在FCN8s的基礎(chǔ)上，進(jìn)一步進(jìn)行特征融合，把FCN8s最后一步對(duì)特征圖8倍上采樣改為2倍上采樣，和pool2最大池化得到的特征圖進(jìn)行融合，進(jìn)行2倍上采樣，得到的特征圖，繼續(xù)和pool1最大池化得到的特征圖進(jìn)行融合，最后2倍上采樣輸出。以此對(duì)每一個(gè)經(jīng)過(guò)卷積層提取特征最大池化后得到的特征圖都進(jìn)行融合，極大的豐富了語(yǔ)義信息。

圖3 FCN2s模型

2.2 改進(jìn)的雙支FCN2s網(wǎng)絡(luò)模型

針對(duì)FCN2s當(dāng)中，特征提取卷積層比較少，提取的特征不夠全面和詳細(xì)，改進(jìn)雙支FCN2s網(wǎng)絡(luò)模型分割方法流程如圖4所示。該方法當(dāng)中，含有兩個(gè)FCN2s子模型，在個(gè)子模型當(dāng)中，將兩個(gè)子模型的pool1—pool5和conv7得到的特征圖分別進(jìn)行融合，再把融合的特征，從conv7開(kāi)始，反向進(jìn)行2倍上采樣，分別與前一個(gè)融合的特征再進(jìn)行融合，把所有特征融合以后，最后進(jìn)行2倍上采樣，最后輸出分類分割圖。

圖4 雙支FCN2S_2模型

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集和平臺(tái)

本文采取網(wǎng)上公開(kāi)和手機(jī)收集的舌象數(shù)據(jù)集2000張，構(gòu)成TongueImages數(shù)據(jù)集，樣本如圖5所示。數(shù)據(jù)集分為90%為訓(xùn)練集，10%作為測(cè)試集，在使用本數(shù)據(jù)訓(xùn)練模型時(shí)，為了提高模型的泛化能力，需對(duì)數(shù)據(jù)集進(jìn)行像素級(jí)標(biāo)注，分為背景和舌體。由于基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分割，數(shù)據(jù)集樣本數(shù)量的大小直接影響到深度模型的性能，樣本太少，模型會(huì)出現(xiàn)過(guò)擬合，因此為了防止過(guò)擬合，則需采取常用的方法進(jìn)行增強(qiáng)處理，對(duì)樣本進(jìn)行旋轉(zhuǎn)角度為0.2的隨機(jī)轉(zhuǎn)動(dòng)、圖像寬度和高度偏移的幅度為0.05、剪切變換的程度為0.05、隨機(jī)縮放幅度為0.05、隨機(jī)水平翻轉(zhuǎn)和模式填充為最近鄰插值。

圖5 部分舌象數(shù)據(jù)集

3.2 實(shí)驗(yàn)設(shè)置和評(píng)價(jià)指標(biāo)

為了更好的對(duì)模型進(jìn)行訓(xùn)練和評(píng)估，在訓(xùn)練中對(duì)網(wǎng)絡(luò)參數(shù)設(shè)置為：batch_size=2、迭代次數(shù)為500、優(yōu)化器為Adam、損失函數(shù)為dice_coef_loss、調(diào)正學(xué)習(xí)率為reduce_lr（對(duì)val_loss的值進(jìn)行監(jiān)測(cè)，學(xué)習(xí)率的值將0.1*lr的形式被減少，當(dāng)2epoch過(guò)去而模型不能提升時(shí)，學(xué)習(xí)率減少的工作將會(huì)被觸發(fā)）。

該方法使用當(dāng)前語(yǔ)義分割中比較流行的兩個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。

k為數(shù)據(jù)集中的總類數(shù)，p ii表示被正確分類的數(shù)量，p ij表示第i類數(shù)據(jù)被標(biāo)記為第j類的數(shù)量，p j i表示第j類數(shù)據(jù)被標(biāo)記為第i類的數(shù)量。

Dice系數(shù)是一種計(jì)算集合相似度度量的函數(shù)，通常用于GAN網(wǎng)絡(luò)分割模型的準(zhǔn)確率評(píng)價(jià)，它主要計(jì)算真實(shí)特征X和生成特征Y的相似度，值的范圍為［0，1］。X∩Y表示集合X和Y的交集，|X|和 |Y|表示對(duì)應(yīng)集合的元素個(gè)數(shù)。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 總損失函數(shù)結(jié)果分析

如圖6所示，為模型在迭代過(guò)程中的損失總函數(shù)變化趨勢(shì)圖，該圖橫軸為模型的迭代次數(shù)，縱軸為損失函數(shù)的值，總損失函數(shù)為（loss-1），因此損失函數(shù)越小表示擬合程度越好。從圖中可以看出，三個(gè)模型的損失函數(shù)相差不多，迭代次數(shù)在130前，F(xiàn)CN8s和FCN2s損失函數(shù)比FCN2s_2低，迭代次數(shù)在130后，F(xiàn)CN2s_2的就比這兩個(gè)低。并且從中可以看出，F(xiàn)CN2s一直都比FCN8s低。

圖6 總損失函數(shù)趨勢(shì)

3.3.2 評(píng)價(jià)指標(biāo)分析

為了更好地分析不同模型之間的分割精度，該實(shí)驗(yàn)采取IoU和Dice評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)分析。為了保證公平性，在訓(xùn)練過(guò)程中，模型迭代次數(shù)、訓(xùn)練過(guò)程和實(shí)驗(yàn)設(shè)置都應(yīng)一樣，各模型的差異性主要是模型不一致，評(píng)價(jià)加過(guò)如表1所示，從中可以看出，不管是IoU評(píng)價(jià)指標(biāo)還是Dice評(píng)價(jià)指標(biāo)，F(xiàn)CN2s_s模型都為最優(yōu)，F(xiàn)CN8s分割精度最低，從改進(jìn)的模型來(lái)看，改進(jìn)的FCN2s比FCN8s模型好，評(píng)價(jià)指標(biāo)IoU提高2.27%，評(píng)價(jià)指標(biāo)Dice提高1.33%。改進(jìn)的FCN2s_s比FCN8s模型評(píng)價(jià)指標(biāo)IoU提高9.31%，評(píng)價(jià)指標(biāo)Dice提高5.94%，比FCN2s模型評(píng)價(jià)指標(biāo)IoU提高7.04%，評(píng)價(jià)指標(biāo)Dice提高4.61%。

表1 實(shí)驗(yàn)平臺(tái)

表2 評(píng)價(jià)指標(biāo)

3.3.3 可視化分割結(jié)果分析

如圖2所示為不同模型分割結(jié)果可視化和原圖像與標(biāo)簽圖像對(duì)比圖，第一行為原圖像，圖像取自TongueImages數(shù)據(jù)集，第二行為標(biāo)簽圖像，第三行到第五行為模型分割結(jié)果可視圖。從圖7可以看出，F(xiàn)CN8s分割結(jié)果存在一些不足，對(duì)舌象邊緣的分割不夠精準(zhǔn)，F(xiàn)CN2s和FCN2s_2基本上可以把舌體分割出來(lái)。

圖7 分割結(jié)果可視化

4 結(jié)語(yǔ)

本文提出一種新的雙支FCN2s_2的舌象分割算法。通過(guò)增加低級(jí)語(yǔ)義信息融合的程度，從而豐富特征提取的語(yǔ)義信息，獲取到更多的邊界細(xì)節(jié)，再結(jié)合雙支的網(wǎng)絡(luò)結(jié)果，增強(qiáng)特征提取能力，實(shí)現(xiàn)了對(duì)舌象的準(zhǔn)確的提取。為了驗(yàn)證算法的有效性，文中采用TongueImages數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，和FCN8s相比，該方法在分割當(dāng)中，分割精度更高，分割邊緣更準(zhǔn)確。