改進(jìn)PSPNet網(wǎng)絡(luò)的舌圖像分割方法研究

陳鑫 王薇 朱銀東

關(guān)鍵詞：舌體分割；PSPNet；輕量化模型；注意力機(jī)制；遷移學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

0 引言

望診是中醫(yī)四大治療手法之一，主要通過觀察患者面部、舌部進(jìn)行初步診斷。而舌診作為中醫(yī)辨證論治的主要依據(jù)之一[1]，在中醫(yī)望診中發(fā)揮著重要作用。它通過觀察舌苔的顏色和形態(tài)變化對(duì)患者的疾病有初步的感知及判斷，具有診斷便利、參考價(jià)值高的特殊優(yōu)勢(shì)[2]。但是，由于醫(yī)生的主觀經(jīng)驗(yàn)不同且診療的客觀條件參差不齊，導(dǎo)致診療結(jié)果在一定程度上存在誤差，“人工智能+中醫(yī)舌診”因此應(yīng)運(yùn)而生。人工智能的本質(zhì)是通過大量計(jì)算分析輔助決策，所以舌診的智能化臨床診斷離不開持續(xù)且規(guī)模龐大的數(shù)據(jù)支持，以達(dá)到計(jì)算機(jī)輔助分析舌象的效果[3]。近年來，隨著中醫(yī)計(jì)算機(jī)輔助診斷和舌診客觀化的加速發(fā)展，在中醫(yī)舌象的提取、分析和研究方面圖像處理技術(shù)和深度學(xué)習(xí)理論已廣泛應(yīng)用，有效地實(shí)現(xiàn)了舌象特征的準(zhǔn)確識(shí)別與分析和量化結(jié)果，建立簡(jiǎn)單的舌象量化特征與中醫(yī)癥狀的映射標(biāo)準(zhǔn)，初步實(shí)現(xiàn)了舌象特征分析與智能診斷[4-6]。

作為舌診辯證化的重要環(huán)節(jié)，舌圖像分割想達(dá)到的效果是將舌體與背景分離，使其不受面部、嘴唇的干擾，只保留可用于分析舌體細(xì)節(jié)和有效的舌體部位，使患者的舌體信息不受外界環(huán)境影響，準(zhǔn)確將干擾舌體特征分析的背景分割出去是后續(xù)所有研究分析的基礎(chǔ)[7]。

舌體分割方法主要包括：基于閾值的分割、基于能量泛函的分割以及深度學(xué)習(xí)方法等[8]。張靈等[9]采用Ostu法，確定舌體區(qū)域后自動(dòng)選取閾值再進(jìn)行分割，但準(zhǔn)確率較低；陳宇等[10]提出改進(jìn)Snake模型的舌體分割算法，引入了信息熵和Kapur的概念對(duì)經(jīng)典的細(xì)菌覓食優(yōu)化算法（BFOA） 進(jìn)行優(yōu)化，利用計(jì)算得出的最佳閾值將舌體圖像二值化，在舌體對(duì)稱的基礎(chǔ)上對(duì)二值化圖像的邊緣輪廓進(jìn)行關(guān)鍵點(diǎn)提取，最后將關(guān)鍵點(diǎn)的集合差值形成的B-樣條曲線確定為Snake模型的初始輪廓，進(jìn)一步計(jì)算出舌體輪廓，但不足之處在于計(jì)算量大，處理效率較低。

隨著深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域被廣泛應(yīng)用，為特征圖像中每個(gè)像素點(diǎn)打標(biāo)簽分類的基本思想貫穿于許多場(chǎng)景解析過程中，并取得了不錯(cuò)的效果[11]-[13]。深度學(xué)習(xí)與舌體分割結(jié)合本質(zhì)上是基于舌體圖像的語(yǔ)義分類，將舌體圖像中不同的區(qū)域差異化處理，在利用卷積神經(jīng)網(wǎng)絡(luò)（CNN） 進(jìn)行模型訓(xùn)練，實(shí)現(xiàn)在卷積和池化過程中集合并進(jìn)一步增強(qiáng)語(yǔ)義特征，實(shí)現(xiàn)語(yǔ)義分割。顏建軍等提出基于CNN的Mask-R-CNN的舌體圖像分割方法。在邊緣點(diǎn)識(shí)別過程中添加一個(gè)分模塊，用來預(yù)測(cè)目標(biāo)掩碼，再分別對(duì)每個(gè)類別預(yù)測(cè)對(duì)應(yīng)的二元掩碼，并引入RoIAlign層，較少計(jì)算量，提高準(zhǔn)確率。

目前來看，傳統(tǒng)的分割方法仍然需要人為監(jiān)督，進(jìn)行干預(yù)以及控制迭代運(yùn)算，從而導(dǎo)致自動(dòng)化效果差、計(jì)算過程冗余性高、分割效果差等。而機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的出現(xiàn)雖說在一定程度上彌補(bǔ)了傳統(tǒng)方法的不足，但相關(guān)研究方法均存在邊緣分割粗糙、分割準(zhǔn)確度低、模型可解釋性差等問題。針對(duì)以上問題，本文提出一種基于MobilNet的改進(jìn)PSPNet的舌體圖像分割方法。

本文工作的創(chuàng)新之處在于：

使用輕量化且經(jīng)過預(yù)訓(xùn)練的MoblieNet神經(jīng)網(wǎng)絡(luò)建立模型主干網(wǎng)絡(luò)，并引入改進(jìn)后的注意力機(jī)制，保證準(zhǔn)確度的條件下減少計(jì)算量，然后進(jìn)行多次疊加的卷積操作后得到特征層；再通過PSPNet的金字塔模塊搭建加強(qiáng)特征提取網(wǎng)絡(luò)，對(duì)輸入的特征圖進(jìn)行分層級(jí)的特征提取，得到不同尺寸的特征圖后進(jìn)行融合，充分保留圖像有效信息特征。

利用遷移學(xué)習(xí)的理論特征，為模型設(shè)置預(yù)訓(xùn)練的權(quán)重參數(shù)，并對(duì)特定層參數(shù)進(jìn)行凍結(jié)，極大減少了所需的計(jì)算資源，減少訓(xùn)練時(shí)間。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該模型在相對(duì)較少的訓(xùn)練時(shí)間的情況下分割效果仍然有保證。

1 網(wǎng)絡(luò)模型概述

1.1 PSPNet

語(yǔ)義分割的本質(zhì)是為圖像中每一個(gè)像素點(diǎn)分類，目前主流的場(chǎng)景解析分析框架主要是基于全卷積網(wǎng)絡(luò)（FCN） ，但由于場(chǎng)景的多樣性以及信息特征連貫性，語(yǔ)義分割的應(yīng)用目前仍存在許多不足。基于空洞卷積的金字塔場(chǎng)景解析網(wǎng)絡(luò)（PSPNet） 發(fā)表于計(jì)算機(jī)視覺領(lǐng)域頂級(jí)會(huì)議（CVPR 2017） [14]。為有效解決銜接上下文信息特征的問題，該網(wǎng)絡(luò)提出了融合不同尺度特征的金字塔池化模塊，如圖1所示。

該模塊主要分為4個(gè)層級(jí)：第一層處理過程較為粗略，將輸入的特征層全局平均池化，生成單個(gè)數(shù)據(jù)流輸出；之后的第二、三層分別將特征層劃分為2×2、3×3個(gè)子區(qū)域，再對(duì)每個(gè)子區(qū)域平均池化（Avgpool） ；第四層的處理過程最為細(xì)化，將特征層劃分為6×6個(gè)子區(qū)域，再對(duì)每個(gè)子區(qū)域池化。而由于模塊中層級(jí)不同輸出的特征圖尺度也不同，為了保證全局特征的權(quán)重，在每個(gè)層級(jí)的最后都使用一次1×1卷積核，即降維處理計(jì)算。最后再將低維的特征圖上采樣（upsample） ，使其與原始的特征圖尺度相同。最后將不同的層級(jí)的特征圖拼接成為模塊的全局特征。

1.2 MobileNet

本文模型基于MoblieNet輕量級(jí)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)并保留其預(yù)訓(xùn)練權(quán)重參數(shù)實(shí)現(xiàn)遷移學(xué)習(xí)，MoblieNet網(wǎng)絡(luò)如圖2所示。

該神經(jīng)網(wǎng)絡(luò)主要由卷積層、批量歸一化、relu激活函數(shù)組成的瓶頸模塊與引入注意力機(jī)制的相同結(jié)構(gòu)模塊交替堆疊組成，因所需計(jì)算資源少且性能較高被稱為輕量化模型。

MobileNet 的預(yù)訓(xùn)練數(shù)據(jù)來自開源的VOC 數(shù)據(jù)集。數(shù)據(jù)集（訓(xùn)練集和測(cè)試集）中包括21個(gè)類別的共21504張標(biāo)注清晰，分割標(biāo)簽完整有效的圖像。因此，得到的預(yù)訓(xùn)練權(quán)重具備較強(qiáng)的泛化性，在小樣本數(shù)據(jù)圖像處理任務(wù)方面可以達(dá)到遷移學(xué)習(xí)效果，從而提高特征提取的效率和精準(zhǔn)率。

1.3 注意力機(jī)制

在認(rèn)知領(lǐng)域，人類注意力會(huì)下意識(shí)地關(guān)注想要關(guān)注的部分，同時(shí)忽略掉其他部分，而這也為合理利用信息處理資源提供的理論基礎(chǔ)。目前注意力機(jī)制需重點(diǎn)解決兩個(gè)問題：確定需要關(guān)注的部分、如何將有限的資源分配到需要處理的重要部分。如圖3所示，注意力機(jī)制主要可以分為Soft Attention與Hard Atten?tion，進(jìn)一步可以繼續(xù)分為基于通道、多模態(tài)、聚類等多個(gè)角度的模塊。

本文將討論基于通道的幾種模塊類型：SE注意力模塊通過全連接網(wǎng)絡(luò)根據(jù)損失函數(shù)計(jì)算值（loss） 學(xué)習(xí)每個(gè)特征通道的重要程度（特征權(quán)重），并對(duì)特征進(jìn)行提升且一直當(dāng)前進(jìn)程任務(wù)中不重要的特征；由于獲取SE模塊獲取所有通道效率較低，ECA注意力模塊完成了跨通道間信息交互且只需少量的參數(shù)，性能依然有明顯提升；CBAM注意力模塊在通道注意力機(jī)制的基礎(chǔ)上引入了空間注意力機(jī)制（spatial） ，可以使神經(jīng)網(wǎng)絡(luò)更加關(guān)注圖像中對(duì)分類起決定作用的部分，進(jìn)一步提升了模型性能。

1.4 本文網(wǎng)絡(luò)結(jié)構(gòu)

受現(xiàn)實(shí)因素影響，醫(yī)療圖像樣本有限，因此在小樣本分割任務(wù)的基礎(chǔ)上，本文網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，整體網(wǎng)絡(luò)由主干網(wǎng)絡(luò)（結(jié)構(gòu)如圖5所示）、加強(qiáng)特征提取及基于特征進(jìn)行預(yù)測(cè)共三個(gè)部分來實(shí)現(xiàn)。在本文提出的網(wǎng)絡(luò)結(jié)構(gòu)s-PSPNet中，主干網(wǎng)絡(luò)在卷積和池化簡(jiǎn)單堆疊的基礎(chǔ)上融入逆殘差思想，引入改進(jìn)的注意力機(jī)制使得模型輕量化，并使用h-swishj函數(shù)代替swish 函數(shù)提高模型性能；加強(qiáng)特征提取采用PSP模塊，實(shí)現(xiàn)將不同的區(qū)域的上下文信息特征聚合，提高獲取全局信息特征的能力；最后對(duì)每一個(gè)像素點(diǎn)進(jìn)行分類預(yù)測(cè)。

主干網(wǎng)絡(luò)在卷積基礎(chǔ)上使用具備線性瓶頸的逆殘差結(jié)構(gòu)（bneck） ，先利用1×1卷積進(jìn)行維度提升，再進(jìn)行3×3與5×5的深度分離可卷積，使主干網(wǎng)絡(luò)具備殘差邊，通過卷積、批歸一化、激活函數(shù)減少梯度消失的可能，加速網(wǎng)絡(luò)收斂，模塊交替進(jìn)行特征融合。再通過對(duì)注意力機(jī)制進(jìn)行改進(jìn)來降低通道數(shù)，減少計(jì)算量；加強(qiáng)特征提取網(wǎng)絡(luò)中將輸入進(jìn)的特征層劃分為6×6、3×3、2×2、1×1 的區(qū)域，然后每個(gè)區(qū)域進(jìn)行平均池化；最后先通過3×3的卷積核對(duì)特征進(jìn)行整合，再利用1×1的卷積操作調(diào)整通道數(shù)匹配數(shù)據(jù)集，最后調(diào)整大?。╮esize） 進(jìn)行上采樣使最后的輸出層的寬、高保持與數(shù)據(jù)集圖像一致，再對(duì)最后一個(gè)特征層的每一個(gè)特征點(diǎn)進(jìn)行分類，將背景和舌體區(qū)分開來，精準(zhǔn)完成舌圖像的分割。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)準(zhǔn)備

2.1.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)集為Github網(wǎng)站的開源數(shù)據(jù)集，均使用標(biāo)準(zhǔn)舌象采集設(shè)備，數(shù)據(jù)完整且有效。數(shù)據(jù)集共300張舌象圖片，分辨率為768×576，且包含相對(duì)應(yīng)的掩膜圖像。為提升模型的泛化效率，本文在原數(shù)據(jù)集基礎(chǔ)上隨機(jī)進(jìn)行旋轉(zhuǎn)、縮放等圖像增強(qiáng)操作，最后得到400張圖像，其中380張以8∶2分為訓(xùn)練集和驗(yàn)證集，而其余20張作為測(cè)試集驗(yàn)證模型，各數(shù)據(jù)集之間不存在重復(fù)數(shù)據(jù)。

圖像分割方面，模型訓(xùn)練效果取決于舌體掩膜圖像是否有效且符合醫(yī)學(xué)規(guī)范，因此采用深度學(xué)習(xí)領(lǐng)域使用廣泛的監(jiān)督學(xué)習(xí)方法，對(duì)數(shù)據(jù)集進(jìn)行人工標(biāo)注。具體包括：將圖像顏色深度統(tǒng)一為8位bit（像素值范圍為0～255） ，僅僅保留0和1兩個(gè)像素點(diǎn)，舌體部分為1像素點(diǎn)，其他無關(guān)背景由0像素點(diǎn)表示。本文使用LabelMe圖像標(biāo)注工具對(duì)數(shù)據(jù)集中舌體部分輪廓進(jìn)行標(biāo)注，從而得到圖像的有效分割標(biāo)簽（GroudTruth） ，標(biāo)記過程如圖6所示。

2.1.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)硬件環(huán)境：CPUIntel（R）Core（TM）i5-10200HCPU @ 2.40GHz、GPU NVIDIA GeForce GTX1650 Ti、顯存8GB、內(nèi)存16GB；軟件環(huán)境：Windows10、Keras2.8.0 深度學(xué)習(xí)框架、TensorFlow 2.4.0、CUDA10.0。

2.2 實(shí)驗(yàn)設(shè)置

2.2.1 遷移學(xué)習(xí)

由于醫(yī)療數(shù)據(jù)集在數(shù)量規(guī)模小，影響模型訓(xùn)練效果，為了提高小樣本模型學(xué)習(xí)效率，本文將在VOC 數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí)。同時(shí)使用微調(diào)（fine-tune） 的訓(xùn)練方法，預(yù)訓(xùn)練權(quán)重參數(shù)載入之后對(duì)神經(jīng)網(wǎng)絡(luò)特征提取層的網(wǎng)絡(luò)參數(shù)采取凍結(jié)操作，在根據(jù)效果不斷調(diào)整學(xué)習(xí)率訓(xùn)練未凍結(jié)層的參數(shù)，完成加碼層訓(xùn)練后，將所有參數(shù)解凍訓(xùn)練，遷移學(xué)習(xí)可使得模型訓(xùn)練效率以及圖像分割精度都有顯著提升。

在本文提出的模型中，將學(xué)習(xí)時(shí)期個(gè)數(shù)設(shè)置為100（Epoch） ，在前50個(gè)Epoch中，將模型的前3個(gè)小模塊（bneck1-3） 的參數(shù)凍結(jié)，將主要的訓(xùn)練資源集中到bneck3后的s-Mobilenet模型未訓(xùn)練的神經(jīng)網(wǎng)絡(luò)參數(shù)，提取出與當(dāng)前數(shù)據(jù)集相關(guān)度更高的特征。而在后50 個(gè)Epoch中解凍所有神經(jīng)網(wǎng)絡(luò)參數(shù)，且當(dāng)前數(shù)據(jù)集中進(jìn)行一個(gè)微調(diào)操作，已達(dá)到提升分割精度的效果，以重新分配計(jì)算資源的方式平衡了網(wǎng)絡(luò)訓(xùn)練時(shí)間，并提高了特征提取準(zhǔn)確度。

2.2.2 訓(xùn)練參數(shù)設(shè)置

在本文模型中，首先將圖像尺寸大小調(diào)整（resize） 為（224，224，3） ，以免造成網(wǎng)絡(luò)對(duì)圖像尺寸不兼容。模型訓(xùn)練的過程中，Epoch設(shè)置為100，由于計(jì)算機(jī)顯卡計(jì)算性能有限，批尺寸（BatchSize） 設(shè)為2，初始學(xué)習(xí)率為0.0001，根據(jù)內(nèi)存需求，選擇呢Adam優(yōu)化算法，除初始學(xué)習(xí)率外均使用默認(rèn)參數(shù)。本文使用的損失函數(shù)（Loss） 包含兩部分：交叉熵?fù)p失（Cross Entropy Loss） 與集合相似度度量函數(shù)（Dice Loss） ，計(jì)算方式如下：

可以看出，網(wǎng)絡(luò)損失與訓(xùn)練次數(shù)呈正相關(guān)并逐漸趨于穩(wěn)定。

2.2.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)選取平均像素精度（MPA） 和平均交并比比（MIOU） 兩個(gè)指標(biāo)作為分割模型的評(píng)價(jià)指標(biāo)[15]。兩個(gè)指標(biāo)是語(yǔ)義分割任務(wù)的經(jīng)典評(píng)價(jià)指標(biāo)，其中MPA 表示每個(gè)類別中得到準(zhǔn)確預(yù)測(cè)像素點(diǎn)的比例，MIOU 在混淆矩陣的基礎(chǔ)上提出，指真實(shí)值與預(yù)測(cè)值兩個(gè)集合的交集和并集的比例，計(jì)算公式如下：

其中，N為分割過程中需要被分割部分的類別，本文中1（舌體）、nii為第i 類語(yǔ)義類別的真實(shí)像素點(diǎn)的數(shù)量、nij 為第i 類被模型錯(cuò)誤預(yù)測(cè)為j 類的像素點(diǎn)的數(shù)量。

2.3 結(jié)果分析

為驗(yàn)證本文提出的模型在舌象上方法的有效性以及分割表現(xiàn)，采取進(jìn)行多次實(shí)驗(yàn)進(jìn)行對(duì)比，選擇傳統(tǒng)的PSPNet網(wǎng)絡(luò)、MobileV3-Net網(wǎng)絡(luò)與本文提出的神經(jīng)網(wǎng)絡(luò)在相同數(shù)據(jù)集下進(jìn)行分割效果評(píng)估的對(duì)比實(shí)驗(yàn)。采用MPA、MIOU 作為評(píng)估指標(biāo)，結(jié)果如表1 所示。由于傳統(tǒng)PSPNet網(wǎng)絡(luò)的特征提取層無法準(zhǔn)確地勾勒出舌體外廓，丟失了很多邊緣信息，導(dǎo)致精度下降，分割效果較差；MobileNetV3由于其輕量級(jí)的特點(diǎn)模型參數(shù)顯著減少，但準(zhǔn)確率與本文方法相比較低。本文的實(shí)驗(yàn)?zāi)Ｐ蛷哪Ｐ蛥?shù)規(guī)模、模型訓(xùn)練時(shí)間、分割精準(zhǔn)率方面經(jīng)過對(duì)比均有提升，客觀證明實(shí)驗(yàn)有效可行。

可以看出，本文方法在保證分割精度不受較大影響的情況下，顯著降低了訓(xùn)練時(shí)間。

3 結(jié)束語(yǔ)

舌象分割是否精準(zhǔn)對(duì)后期識(shí)別分析有決定性作用，是進(jìn)行舌象自動(dòng)化研究與輔助中醫(yī)診療的基本條件。本文針對(duì)傳統(tǒng)舌象分割自動(dòng)化程度低，將背景與舌體分割開后舌體邊緣細(xì)節(jié)嚴(yán)重丟失等問題，在深度學(xué)習(xí)和經(jīng)典語(yǔ)義分割模型（PSPNet） 的基礎(chǔ)上提出了針對(duì)舌象的改進(jìn)PSPNet 分割模型。本文使用Mo?bileNet網(wǎng)絡(luò)的輕量化特征提取結(jié)構(gòu)代替原有的卷積模塊，并使用了遷移學(xué)習(xí)提高模型學(xué)習(xí)效率，再通過注意力機(jī)制的改進(jìn)，降低了特征提取過程中的通道數(shù)及參數(shù)量，融入金字塔模塊有效保留了特征提取全過程的特征層信息。經(jīng)過實(shí)驗(yàn)對(duì)比證明，本文提出的網(wǎng)絡(luò)模型在中醫(yī)舌象數(shù)據(jù)集分割具有良好表現(xiàn)，在保證了精度的前提下，訓(xùn)練時(shí)間降低了23%。但是該模型在處理特殊舌象，例如舌體齒痕嚴(yán)重，強(qiáng)曝光等，存在邊緣細(xì)節(jié)處理不當(dāng)?shù)那闆r。因此，未來將從多個(gè)角度對(duì)非標(biāo)準(zhǔn)舌體的分割進(jìn)行研究，有效提高識(shí)別率是重中之重。