一種基于深度學(xué)習(xí)的二階段舌象分割網(wǎng)絡(luò)模型

劉東華，張偉，顧旋，梁富娥，呂珊珊

（甘肅中醫(yī)藥大學(xué)信息工程學(xué)院，甘肅 蘭州 730000）

舌診是指醫(yī)生觀察病人的舌質(zhì)和舌苔來進(jìn)行診斷的一種方法，屬于中醫(yī)“望、聞、問、切”四診中望診的重要方法，也是中醫(yī)特色診法［1］。應(yīng)用現(xiàn)代分析手段分析舌象，首先要從圖像中將舌體分割出來才能繼續(xù)對舌象進(jìn)行分類識別和診斷，所以舌象分割是后續(xù)研究的前提和關(guān)鍵。由于舌象分割的復(fù)雜性和特殊性，人們提出了各種各樣的分割方法。閾值法［2］分割舌體，利用舌體顏色像素值的差別來進(jìn)行劃分，分割速度快但精度不高；邊緣檢測算法［3］，根據(jù)圖像邊緣像素值變化劇烈這一特點(diǎn)來進(jìn)行定位，但舌體背景環(huán)境復(fù)雜，出現(xiàn)錯誤分割率高；以主動輪廓模型［4］為主的算法，模型算法過度依賴輪廓線的好壞，很容易進(jìn)行錯誤的分割。因?yàn)檫@些算法都是利用的舌體的顏色，紋理等淺層的特征，以上傳統(tǒng)圖像處理方法在精度上很難有較大的提升，想要提高舌體的分割精度就需要利用舌象更深層次的特征信息。

近幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛的應(yīng)用，這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)可以提取圖像深層次抽象的語義特征。卷積神經(jīng)網(wǎng)絡(luò)從R_CNN［5］發(fā)展到Faster R_CNN［6］，從CNN到FCN［7］，在圖像目標(biāo)檢測、分類、分割領(lǐng)域都得到了廣泛的應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像領(lǐng)域已經(jīng)取得了不錯的成果，但應(yīng)用在舌象領(lǐng)域還不是很成熟。本文在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)了一個二階段舌象分割網(wǎng)絡(luò)模型，網(wǎng)絡(luò)分為粗分割（Rsnet）和精分割（Psnet）兩部分級聯(lián)組成，兩部分網(wǎng)絡(luò)可以單獨(dú)訓(xùn)練，減輕整體網(wǎng)絡(luò)的復(fù)雜度，降低對計(jì)算機(jī)硬件的要求。

1 舌象分割網(wǎng)絡(luò)及方法

本算法的整體網(wǎng)絡(luò)結(jié)構(gòu)見圖1，網(wǎng)絡(luò)結(jié)構(gòu)主要可以分為粗分割和精分割。粗分割階段，將圖像進(jìn)行卷積后提取不同尺度的特征圖融合，傳入全連接層從臉部圖像中提取出感興趣區(qū)域，定位舌體，去除無關(guān)干擾信息。精分割階段，利用深度卷積神經(jīng)網(wǎng)絡(luò)處理上一階段提取出的感興趣區(qū)域，傳入特征增強(qiáng)網(wǎng)絡(luò)強(qiáng)化特征信息，然后分類器對圖像每一個像素點(diǎn)進(jìn)行分類，實(shí)現(xiàn)舌體精分割。形態(tài)學(xué)優(yōu)化，利用腐蝕膨脹操作對精分割后的圖像進(jìn)行優(yōu)化處理，進(jìn)一步優(yōu)化分割的結(jié)果。

圖1 舌象分割算法網(wǎng)絡(luò)結(jié)構(gòu)

1.1 粗分割階段

舌體分割的本質(zhì)就是對舌象圖像中的每一像素點(diǎn)進(jìn)行分類，舌象圖像中無關(guān)因素越多就會影響分類器的效率，影響分割的精度。所以減少舌象中無關(guān)因素的影響，準(zhǔn)確地提取出感興趣區(qū)域，定位舌體區(qū)域是關(guān)鍵。

粗分割階段網(wǎng)絡(luò)的主干部分由帶深度可分離卷積［8］的Mobilenet_v1［9］組成，對舌象圖片進(jìn)行卷積和池化操作，提取圖像深層次的抽象特征。舌象經(jīng)過卷積池化后，筆者取出網(wǎng)絡(luò)的最后3 個有效特征層來構(gòu)建特征金字塔，不同尺度的特征圖包含了不同層次的特征信息，將這些不同尺度的特征圖進(jìn)行有效融合，融合舌象不同層次的特征信息，進(jìn)行特征增強(qiáng)處理。特征增強(qiáng)后的圖像傳入全連接層，全連接層利用這3 個增強(qiáng)后的特征進(jìn)一步分類回歸預(yù)測結(jié)果。

深度可分離卷積可以實(shí)現(xiàn)普通卷積一樣的結(jié)果，但其所需要的參數(shù)和運(yùn)算量大大減少。深度可分離卷積模塊可以分為逐深度卷積和逐點(diǎn)卷積，逐深度卷積對輸入特征圖的每個通道分別使用一個卷積核，然后將所有卷積核的輸出再進(jìn)行拼接得到它的最終輸出。逐點(diǎn)卷積實(shí)際為1×1卷積，在深度可分離卷積中主要起兩個方面的作用，一個作用是能夠自由改變輸出通道的數(shù)量，另一個作用是對逐深度卷積輸出的特征圖進(jìn)行通道融合。

假設(shè)輸入特征圖的尺寸為Dk×Dk×M，卷積核的尺寸為DF×DF×M，數(shù)量為N。假設(shè)對應(yīng)特征圖空間位置中的每一個點(diǎn)都會進(jìn)行一次卷積操作，那么可知單個卷積共需要進(jìn)行Dk×Dk×DF×DF×M次計(jì)算。這是因?yàn)樘卣鲌D空間維度共包含Dk×Dk個點(diǎn)，而對每個點(diǎn)進(jìn)行卷積操作的計(jì)算量與卷積核的尺寸一致，即DF×DF×M，所以對單個卷積而言，其總計(jì)算量為Dk×Dk×DF×DF×M，對N個卷積的總計(jì)算量為Dk×Dk×DF×DF×M×N。對逐深度卷積計(jì)算量為Dk×Dk×DF×DF×M，逐點(diǎn)卷積計(jì)算量為Dk×Dk×M×N，所以深度可分離總計(jì)算量為Dk×Dk×DF×DF×M+Dk×Dk×M×N。對比可知深度可分離卷積的計(jì)算量與普通卷積的比為，可知深度可分離卷積計(jì)算效率遠(yuǎn)優(yōu)于普通卷積。

1.2 精分割階段

本文的精分割網(wǎng)絡(luò)模型是編碼-解碼結(jié)構(gòu)，編碼部分網(wǎng)絡(luò)由帶空洞卷積的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）模塊［10］和帶空洞卷積的空間金字塔模塊［11］組成。深度卷積神經(jīng)網(wǎng)絡(luò)模塊對粗分割網(wǎng)絡(luò)傳入的圖像進(jìn)行下采樣特征提取，然后特征金字塔模塊對特征層利用不同rate 的空洞卷積進(jìn)行特征提取，特征金字塔融合后再進(jìn)行1×1 卷積壓縮特征。解碼部分主要作用就是將編碼模塊中的低維特征與空間特征金字塔融合的高維特征進(jìn)行有效合并，然后進(jìn)行上采樣恢復(fù)圖像大小并分割預(yù)測。

在圖像分割領(lǐng)域，DCNN 通常會多次使用卷積和池化操作，這樣可以提取圖像深層次的高維特征，但是經(jīng)過卷積池化后特征圖會不斷變小，低層的邊界信息和語義信息會丟失，這樣就會降低分割的精度。為了解決類似問題，人們提出了空洞卷積模塊，它能代替下采樣和上采樣操作，且不會造成精度損失。

空洞卷積可以不丟棄任何信息并增大特征圖的感受野，讓每個輸出特征圖都包含大范圍信息?？斩淳矸e與正常的卷積相比，空洞卷積加入了一個叫作擴(kuò)張率（dilation rate）的參數(shù)，該參數(shù)定義了卷積核處理數(shù)據(jù)時各值的間距。

圖2 中三幅3×3 卷積圖像中（a）為普通卷積，（b）（c）為不同擴(kuò)張率的空洞卷積，圖像最外層的大框表示輸入圖像，黑色的圓點(diǎn)表示3×3 的卷積核，灰色框格表示的是卷積后的感受野。圖中（a）是普通的卷積過程（dilation rate= 1），卷積后的感受野為3，（b）是擴(kuò)張率（dilation rate=2）的空洞卷積，卷積后的感受野為5，（c）是擴(kuò)張率（dilation rate = 3）的空洞卷積，卷積后的感受野為8。從圖中可以看出，普通卷積可以看作空洞卷積的一種特殊情況，同樣一個3×3 的卷積，空洞卷積卻可以起到5×5、7×7 等卷積的效果，以上可以看出空洞卷積能夠不增加網(wǎng)絡(luò)的參數(shù)量，卻可以增大特征圖的感受野。

圖2 普通卷積和空洞卷積對比圖

空洞卷積感受野的計(jì)算公式如下，假設(shè)空洞卷積的卷積核大小為k，空洞數(shù)為d，則其等效卷積核大小k'：

k'=k+(k-1) ×(d-1)

當(dāng)前層網(wǎng)絡(luò)感受野計(jì)算，其中，RFi+1表示當(dāng)前層的感受野，RFi表示上一層的感受野，k'表示卷積核的大?。?/p>

RFi+1=RFi+(k'-1) ×Si

Si表示之前所有層的步長的乘積（不包含本層）：

1.3 形態(tài)學(xué)優(yōu)化

形態(tài)學(xué)優(yōu)化的主要作用是利用形態(tài)學(xué)圖像處理算法來進(jìn)行圖像優(yōu)化處理，分割后的圖像背景中會出現(xiàn)一些細(xì)小噪聲和小的連通域，邊緣會產(chǎn)生毛刺和不平整，經(jīng)過形態(tài)學(xué)算法優(yōu)化處理后會消除噪聲并平滑邊緣。形態(tài)學(xué)圖像優(yōu)化算法常被用于圖像的預(yù)處理和后處理中，是一種不錯的圖像增強(qiáng)技術(shù)。

形態(tài)學(xué)優(yōu)化算法過程：

（1）首先將分割后的圖像做二值化處理，然后選取適合舌體形狀大小的結(jié)構(gòu)元素對二值化處理后的圖像進(jìn)行多次腐蝕膨脹操作。

（2）將上一步腐蝕膨脹處理后的圖像轉(zhuǎn)換為布爾類型數(shù)組，以舌體為主要部分，消除舌體周圍小的連通區(qū)域即可以消除被誤分割的背景噪聲并平滑邊緣。

（3）將舌體分割輸入的原圖與布爾類型數(shù)組相乘就可以得到形態(tài)學(xué)優(yōu)化后的分割圖像。

2 實(shí)驗(yàn)研究與分析

2.1 數(shù)據(jù)集

為了提高算法模型的泛化能力，本文的數(shù)據(jù)主要來源于兩種方式：（1）專業(yè)舌象儀在標(biāo)準(zhǔn)光源環(huán)境下對受試者進(jìn)行舌象數(shù)據(jù)采集；（2）智能手機(jī)在非標(biāo)準(zhǔn)環(huán)境下對受試者進(jìn)行舌象數(shù)據(jù)采集。最終通過篩選從數(shù)據(jù)庫中選取了1 025 張舌象圖片，然后隨機(jī)將這1 025 張圖片分成5等份，205張圖片作為測試集，820張圖片作為訓(xùn)練集。

2.2 實(shí)驗(yàn)環(huán)境

本文為了訓(xùn)練分割網(wǎng)絡(luò)模型，應(yīng)用tensorflow 框架搭建分割網(wǎng)絡(luò)，代碼實(shí)驗(yàn)全在如下計(jì)算機(jī)上完成：Windows 10 系統(tǒng)，AMD R7 5800H Cpu，16 G Ram，NVIDIA GeForce GTX1660 4G Gpu，使用的編程語言為python。

2.3 算法評判標(biāo)準(zhǔn)

圖像分割算法效果評價，一般是把算法網(wǎng)絡(luò)自動分割的圖像與實(shí)際分割圖像對比分析，計(jì)算出分割算法的好壞。本文采用像素精度（PA）、平均像素精度（MPA）和平均交并比（MIOU）3 個標(biāo)準(zhǔn)來對算法進(jìn)行評判。計(jì)算公式如下：

式中：Pii為將第i類正確地分割為第i類的像素點(diǎn)數(shù)量，Pij為將第i類錯誤地分割為第j類的像素點(diǎn)數(shù)量，Pji為將第j類錯誤地分割為第i類的像素點(diǎn)數(shù)量，m+1 是類別個數(shù)。這三個評判指標(biāo)取值都在0～1 之間，值越大說明分割精度越好。

2.4 結(jié)果分析

將本文方法與Otsu算法、Grabcut算法［12］等傳統(tǒng)圖像分割方法以及基于深度學(xué)習(xí)思想的Segnet算法［13］進(jìn)行對比分析，見圖3。第一列5 張舌象圖片中的前3 張為標(biāo)準(zhǔn)環(huán)境下舌象儀采集的數(shù)據(jù)，后2 張為智能手機(jī)在非標(biāo)準(zhǔn)環(huán)境下采集的數(shù)據(jù)，通過不同類型的數(shù)據(jù)集來驗(yàn)證算法的魯棒性。

由圖3可以看出，Otsu算法根據(jù)自適應(yīng)閾值來分割圖像，選取一個適當(dāng)?shù)拈撝祦韺D像進(jìn)行像素級分類，此方法在標(biāo)準(zhǔn)環(huán)境下采集的圖像中分割效果不錯，但在非標(biāo)準(zhǔn)環(huán)境下采集的圖像中效果較差，由此可知Otsu算法在不同類型的數(shù)據(jù)集上魯棒性較差。Grabcut算法需要手動標(biāo)記出分割目標(biāo)區(qū)域，然后進(jìn)行多次算法迭代運(yùn)算分割出結(jié)果，算法不能自動進(jìn)行，需要人為干預(yù)，分割效率也較低。Otsu 算法和Grabcut 算法都是傳統(tǒng)的圖像分割算法，利用的是舌象最底層的像素特征，顏色、形狀、紋理等。根據(jù)底層特征進(jìn)行分割速度快，但精度不高，像舌體的顏色有時會和嘴唇的顏色相近，所以分割時會把嘴唇誤分割為舌體，并且算法在不同類型的舌象數(shù)據(jù)集上魯棒性較差。Segnet算法是基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型，由圖3和表1數(shù)據(jù)可以看出其分割效率比傳統(tǒng)圖像分割算法要高出許多，而且可以在不同類型的舌象數(shù)據(jù)集上運(yùn)行，并保持分割精度基本不變，所以其分割精度和魯棒性都較傳統(tǒng)的圖像分割算法精度更優(yōu)。本文分割算法平均交并比達(dá)到了95.25%，比Segnet算法高3.10%，在不同類型的數(shù)據(jù)集上可以有效地避免多數(shù)像素的錯誤分類和漏分類，在大部分圖像上可以實(shí)現(xiàn)理想的分割效果，有較好的分割精度和魯棒性，可以滿足后續(xù)分類識別的精度要求。

表1 不同分割算法的結(jié)果（%）

圖3 不同分割算法結(jié)果對比

本文提出的分割算法網(wǎng)絡(luò)是二階段的，其中粗分割（Rsnet）提取感興趣區(qū)域減少背景因素干擾，精分割（Psnet）通過對舌體像素級的分類來實(shí)現(xiàn)精準(zhǔn)分割，后接形態(tài)學(xué)優(yōu)化算法來消除細(xì)小噪聲和平滑舌體邊緣信息，并通過實(shí)驗(yàn)來驗(yàn)證每部分在整體網(wǎng)絡(luò)中的作用大小，將各部分拆裝后再進(jìn)行有效拼接，進(jìn)行實(shí)驗(yàn)對比分析。MIOU 越高表明像素分類正確率高，舌體分割精度高。從表2 可以看出直接使用精分割網(wǎng)絡(luò)，不經(jīng)過粗分割網(wǎng)絡(luò)提取感興趣區(qū)域的分割精度有所下降，直接進(jìn)入精分割網(wǎng)絡(luò)分割舌體，圖像中的背景因素會產(chǎn)生干擾，增大像素錯誤分類的概率。經(jīng)過形態(tài)學(xué)優(yōu)化算法處理后，舌體邊緣因背景因素引起的錯誤分割像素點(diǎn)被消除，減少了被錯誤分類的像素點(diǎn)數(shù)量，整體分割精度又得到了提升。從表2 中也可以看出經(jīng)過粗分割后再精分割的算法精度比直接進(jìn)行精分割的平均交并比高0.42%，說明經(jīng)過粗分割提取目標(biāo)區(qū)域，去除無關(guān)因素干擾對網(wǎng)絡(luò)整體精度的提升有很大幫助。形態(tài)學(xué)優(yōu)化二階段分割出來的舌象平均交并比提升了0.05%，可以看出二階段分割網(wǎng)絡(luò)的整體效率高，基本不會出現(xiàn)較大區(qū)域的錯分像素點(diǎn)。

表2 不同拼接算法的結(jié)果（%）

3 結(jié)論

本文針對傳統(tǒng)圖像分割算法需要預(yù)處理，人為干預(yù)、分割精度低等問題，提出了基于深度學(xué)習(xí)的二階段舌象分割網(wǎng)絡(luò)模型。首先對圖像目標(biāo)進(jìn)行感興趣區(qū)域提取，減少背景區(qū)域的干擾，然后利用空洞卷積在不損失信息的情況下增大特征圖感受野的方法來對圖像進(jìn)行精準(zhǔn)分割，提高分割精度，最后采用形態(tài)學(xué)優(yōu)化算法對分割后的舌體圖像進(jìn)行優(yōu)化處理，消除細(xì)小噪聲和平滑邊緣。本文網(wǎng)絡(luò)采用級聯(lián)的方法來對舌象進(jìn)行自動分割，分割精度高而且模型靈活并對計(jì)算機(jī)硬件要求低。與傳統(tǒng)圖像分割算法相比，本文網(wǎng)絡(luò)分割精度高、魯棒性好且自動化程度高。與其他主流分割算法相比，本文網(wǎng)絡(luò)在分割精度上比其有所提升，能夠滿足后續(xù)分類識別的條件要求。在接下來的研究工作中，我們可以在高精度分割網(wǎng)絡(luò)的基礎(chǔ)上，進(jìn)一步研究舌象的分類識別，根據(jù)舌象識別相應(yīng)病癥。