基于深度遷移學(xué)習(xí)的舌象特征分類方法研究*

宋 超，王 斌，許家佗

(1.南京財(cái)經(jīng)大學(xué)信息工程學(xué)院，江蘇 南京 210023；2.上海中醫(yī)藥大學(xué)基礎(chǔ)醫(yī)學(xué)院，上海 201203)

1 引言

中醫(yī)講究“望、聞、問、切”，而舌診作為中醫(yī)望診中一個(gè)重要組成部分，在中醫(yī)臨床診斷中起著重要的作用。舌診是指醫(yī)生通過觀察患者的舌質(zhì)和舌苔形態(tài)的變化來判斷診查病癥的方法。舌象指的是舌的表象，從計(jì)算機(jī)的角度來看就是舌體圖像的特征信息，一般可以觀察到的舌象種類有舌色、舌苔、裂紋、點(diǎn)刺和瘀點(diǎn)等。

傳統(tǒng)中醫(yī)舌診過程是醫(yī)生通過肉眼觀察舌體的形態(tài)特征加以診斷，所以經(jīng)常受環(huán)境因素和醫(yī)生主觀經(jīng)驗(yàn)的影響，難以達(dá)到標(biāo)準(zhǔn)化和客觀化。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，人們嘗試通過計(jì)算機(jī)技術(shù)來解決中醫(yī)診斷客觀化問題?；谟?jì)算機(jī)技術(shù)的舌象分類方法主要由2部分組成：舌體分割和舌象識(shí)別。傳統(tǒng)方法對(duì)舌體的分割多采用手工或閾值法等方式，在面對(duì)大量數(shù)據(jù)時(shí)會(huì)耗費(fèi)很大的成本，所以如何精確高效地將舌體部分從大量面部圖像中分割出來存在一定的困難。同時(shí)，傳統(tǒng)的舌象分類方法是從舌體的顏色和紋理等特征入手，通過統(tǒng)計(jì)學(xué)的方法進(jìn)行特征分類，這些分類方法存在準(zhǔn)確度低、泛化能力差的問題。如何更加精確地進(jìn)行舌象特征分類是推進(jìn)中醫(yī)舌診標(biāo)準(zhǔn)化和客觀化的一個(gè)亟需解決的問題。

自Hinton等[1]提出深度信念網(wǎng)絡(luò)的概念，深度學(xué)習(xí)一直是研究者們研究的熱點(diǎn)。2012年，Krizhevsky等[2]在ImageNet大賽上提出了AlexNet并獲得冠軍，再次證明深度學(xué)習(xí)在圖像識(shí)別與分類任務(wù)中的表現(xiàn)優(yōu)異。而之后出現(xiàn)的深度網(wǎng)絡(luò)如VGG(Visual Geometry Group Network)[3]、GoogLeNet[4,5]和殘差網(wǎng)絡(luò)ResNet(Residual Network)[6]在圖像識(shí)別的能力都已經(jīng)接近甚至超越了人類。隨著深度學(xué)習(xí)的發(fā)展，各種各樣的深度學(xué)習(xí)框架被研發(fā)出來，包括 TensorFlow[7]、Theano[8]、Cuda-Convnet[9]、Caffe[10]和Torch[11]等。近年來，一些學(xué)者嘗試將深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像分析，如將深度學(xué)習(xí)應(yīng)用于腫瘤檢測(cè)任務(wù)，在腫瘤的預(yù)防、早期發(fā)現(xiàn)、診斷和干預(yù)、預(yù)后評(píng)估等方面都取得了成果[12]。

本文重點(diǎn)研究用深度學(xué)習(xí)解決中醫(yī)舌象特征分類問題，以提高中醫(yī)舌象的機(jī)器識(shí)別性能，促進(jìn)中醫(yī)自動(dòng)診療技術(shù)的發(fā)展。值得指出的是，盡管深度學(xué)習(xí)已成功應(yīng)用于許多領(lǐng)域，但是醫(yī)學(xué)圖像本身樣本數(shù)量不足的問題阻礙了深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分析領(lǐng)域的應(yīng)用。針對(duì)傳統(tǒng)舌體分割方法費(fèi)時(shí)費(fèi)力以及深度學(xué)習(xí)在小樣本數(shù)據(jù)上分類效果差的問題，本文提出了一種基于深度遷移學(xué)習(xí)的舌象分類方法，即通過基于LBP(Local Binary Pattern)特征[13]的級(jí)聯(lián)分類器[14]的方法來實(shí)現(xiàn)舌體的自動(dòng)定位分割，再在不同的卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)，實(shí)現(xiàn)對(duì)不同舌象特征的分類識(shí)別，達(dá)到了94%以上的準(zhǔn)確度。

本文的主要?jiǎng)?chuàng)新與貢獻(xiàn)有如下幾點(diǎn)：(1)雖然已有工作將深度學(xué)習(xí)方法應(yīng)用于舌象特征分類問題，但由于舌象樣本的稀缺所帶來的訓(xùn)練樣本不足的問題，該類方法的分類性能并不理想。本文首次提出用深度遷移學(xué)習(xí)的方法來進(jìn)行舌象特征分類，有效地克服了訓(xùn)練樣本不足的局限性，大幅提升了分類性能。(2)舌體目標(biāo)的定位是舌象分類的重要一環(huán)，為提高分類準(zhǔn)確度，在現(xiàn)有的舌象分類方法中，為了提高分類的準(zhǔn)確度，一般采用手工定位的方式，從而不能達(dá)到舌象分類的全自動(dòng)化。而傳統(tǒng)的圖像分割方法在應(yīng)用于舌體分割時(shí)，其分割效果依賴于大量的參數(shù)設(shè)置和圖像質(zhì)量，且計(jì)算復(fù)雜，不具有穩(wěn)定性和魯棒性。本文首次提出用基于級(jí)聯(lián)分類器的機(jī)器學(xué)習(xí)方法來實(shí)現(xiàn)舌體目標(biāo)的精確定位，保證了舌象分類的準(zhǔn)確度，減少了舌象分類系統(tǒng)的人工干預(yù)。(3)跟其它醫(yī)學(xué)圖像一樣，舌象數(shù)據(jù)也存在稀缺性的問題，在樣本采集過程中會(huì)出現(xiàn)樣本量不足的情況。而本文建立了一個(gè)有2 245幅圖像的舌象數(shù)據(jù)庫，用于舌象特征分類的研究。數(shù)據(jù)庫中的圖像從專門中醫(yī)診療機(jī)構(gòu)采集，并由專家標(biāo)定。

2 相關(guān)工作

舌象分類主要分為舌體分割和舌象識(shí)別2個(gè)階段，其中傳統(tǒng)的舌體分割方法主要依據(jù)舌體的顏色、紋理和形狀等特征進(jìn)行目標(biāo)分割。有效分割的舌體圖像數(shù)據(jù)是提升舌象識(shí)別準(zhǔn)確率的前提條件，而舌象識(shí)別算法的設(shè)計(jì)又是決定識(shí)別準(zhǔn)確率的關(guān)鍵。

舌體圖像分割的主要任務(wù)是將舌體部位從人的臉部、嘴巴及牙齒等背景中分割出來，對(duì)分割后的舌象區(qū)域進(jìn)行特征提取，可以有效地提升分類準(zhǔn)確度。傳統(tǒng)的舌體定位分割方法有GrabCut[15]、Otsu閾值法[16]和圖論法[17]。舌體與相鄰區(qū)域(尤其是嘴唇)之間有著相似的顏色特征，傳統(tǒng)方法通常僅使用單一的顏色分量和先驗(yàn)知識(shí)來進(jìn)行舌體分割，這導(dǎo)致了分割結(jié)果的不穩(wěn)定與不準(zhǔn)確。為了解決這一問題，結(jié)合稀疏表示和顏色分解等技術(shù)的舌象分割方法相繼出現(xiàn)[18,19]。

2003年，許家倫等[20]為探討舌診客觀化的方法，應(yīng)用灰度差分統(tǒng)計(jì)方法，結(jié)合對(duì)比度(CON)、角度方向二階矩(ASM)、熵(ENT)、平均值(MEAN)4個(gè)參數(shù)對(duì)舌象紋理進(jìn)行識(shí)別。2006年，張衡翔等[21]提出把HSV顏色空間中極坐標(biāo)系的H、S分量轉(zhuǎn)化為直角坐標(biāo)系的X、Y分量，并以此作為顏色特征，比較了這2種顏色特征表達(dá)方法對(duì)分類結(jié)果的影響，實(shí)驗(yàn)結(jié)果表明，(X，Y，V)顏色特征表示方法具有更好的分類效果。

近年來隨著計(jì)算機(jī)設(shè)備的更新和互聯(lián)網(wǎng)技術(shù)的進(jìn)步，人工智能得到快速發(fā)展，目前在醫(yī)學(xué)影像學(xué)和臨床診斷領(lǐng)域取得了一定成果。2000年，王愛民等[22]提出了基于學(xué)習(xí)矢量量化LVQ(Learning Vector Quantization)神經(jīng)網(wǎng)絡(luò)分類器，實(shí)現(xiàn)了舌象分析中的舌色、苔色自動(dòng)分類。在分類器的設(shè)計(jì)中，提出了基于“2σ”準(zhǔn)則的訓(xùn)練樣本篩選方法，有效提高了分類準(zhǔn)確率。2007年，肖洪濤等[23]分析了現(xiàn)有舌象顏色分析方法的不足之處，設(shè)計(jì)了基于像素的舌顏色分類系統(tǒng)結(jié)構(gòu)，提出了一個(gè)基于半監(jiān)督學(xué)習(xí)的像素分類算法，解決了基于像素的苔色質(zhì)色分布模型的建立問題。同年，張新峰等[24]采用一種基于粗糙集與支撐向量機(jī)概率輸出相結(jié)合的方法研究中醫(yī)舌象的多特征融合。

本文提出的方法與上述方法不同:(1)在舌體分割方面,本文提出了一種基于LBP特征的級(jí)聯(lián)分類器方法來實(shí)現(xiàn)舌體區(qū)域的自動(dòng)定位分割，有效避免了傳統(tǒng)分割方法針對(duì)不同數(shù)據(jù)需要單獨(dú)提取圖像特征的問題；同時(shí)也提升了方法的穩(wěn)定性和性能，自動(dòng)化程度高，在面對(duì)不同環(huán)境下采集的舌體圖像定位分割任務(wù)時(shí)魯棒性較高。(2)在舌體分類方面,為了解決傳統(tǒng)舌體分類方法識(shí)別率較低以及深度學(xué)習(xí)方法所需要的大樣本數(shù)據(jù)的困難，本文采用深度遷移學(xué)習(xí)的方法來解決中醫(yī)舌象特征分類的問題，在拓寬深度學(xué)習(xí)的應(yīng)用范圍的同時(shí)進(jìn)一步提高了智能中醫(yī)舌象分類的準(zhǔn)確度。

3 舌體圖像預(yù)處理

通過圖像采集設(shè)備獲取的人的面部原始圖像，除含有舌體目標(biāo)外,還有其他跟舌體目標(biāo)無關(guān)的信息，如圖1所示。因此，本文提出一種基于LBP特征的級(jí)聯(lián)分類器的舌體區(qū)域自動(dòng)定位分割方法。

Figure 1 Original tongue images圖1 舌體原始圖像數(shù)據(jù)

3.1 LBP特征描述算子

局部二值模式LBP是一種用來描述圖像局部紋理特征的算子，LBP特征描述的是圖像在局部范圍內(nèi)對(duì)應(yīng)的紋理信息，如圖2所示，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)勢(shì)。由于舌體在紋理上與面部的其他器官有著顯著的區(qū)別，所以本文通過提取原始圖像的LBP特征來對(duì)舌體圖像進(jìn)行特征提取。

Figure 2 Tongue image and LBP feature extraction effect圖2 舌體圖像及其LBP特征提取效果圖

原始的LBP算子定義在3×3的區(qū)域內(nèi)，以區(qū)域中心像素為閾值，相鄰的8個(gè)像素的灰度值與區(qū)域中心的像素值進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣，3×3區(qū)域內(nèi)的8個(gè)點(diǎn)經(jīng)過比較可產(chǎn)生8位二進(jìn)制數(shù)，將這8位二進(jìn)制數(shù)依次排列形成一個(gè)二進(jìn)制數(shù)字，這個(gè)二進(jìn)制數(shù)字就是中心像素的LBP值。中心像素的LBP值反映了該像素周圍區(qū)域的紋理信息。

LBP算子的公式如式(1)所示：

(1)

其中，(xc,yc)為中心像素的坐標(biāo)，p為區(qū)域中的第p個(gè)像素，ic是中心像素的灰度值，ip為鄰域像素的灰度值，s(x)為符號(hào)函數(shù)，具體定義如式(2)所示：

(2)

3.2 基于LBP特征的級(jí)聯(lián)分類器

為了降低人工提取舌體特征進(jìn)行目標(biāo)檢測(cè)的成本，實(shí)現(xiàn)舌體部位的自動(dòng)定位分割，本文提出將LBP特征與AdaBoost(Adaptive Boosting)算法相結(jié)合，組合成一個(gè)篩選式的級(jí)聯(lián)分類器對(duì)舌體圖像像素進(jìn)行二分類。

本文提出的級(jí)聯(lián)分類器工作流程為：將舌體部分標(biāo)定為正樣本，非舌體部位標(biāo)定為負(fù)樣本，訓(xùn)練級(jí)聯(lián)分類器，生成強(qiáng)分類器。然后通過小窗口在目標(biāo)圖像上不斷地滑動(dòng)，每滑動(dòng)到一個(gè)位置，就對(duì)該小窗口內(nèi)的區(qū)域進(jìn)行特征提取，設(shè)置大小為50×50的最小窗口和大小為300×300的最大窗口，按1.1倍的比例遞增地對(duì)小窗口進(jìn)行增大，以獲取不同區(qū)域的圖像特征。若提取的特征通過了訓(xùn)練好的強(qiáng)分類器的判定，則判定該小窗口所在的區(qū)域中含有舌體部分。最終將檢測(cè)到的舌體區(qū)域分割出來。具體流程如圖3所示。

Figure 3 Workflow of cascade classifier圖3 級(jí)聯(lián)分類器工作流程

本文選取了預(yù)先截取好的300幅舌體區(qū)域圖像作為正樣本和1 000幅不包含舌體區(qū)域的圖像作為負(fù)樣本，其中正樣本圖像的像素統(tǒng)一為40×40，負(fù)樣本圖像大小不一。

通過以下幾個(gè)指標(biāo)來評(píng)判分類器的性能：

(3)

(4)

(5)

(6)

其中,TP表示正樣本被正確檢測(cè)的數(shù)量，F(xiàn)N表示正樣本被漏檢的數(shù)量，TN表示負(fù)樣本被正確檢測(cè)的數(shù)量，F(xiàn)P表示負(fù)樣本被誤檢的數(shù)量；precision表示精度，即所有被檢測(cè)到的目標(biāo)中正樣本所占的比例；recall表示召回率，度量檢測(cè)器對(duì)正樣本的通過能力，越接近1越好；hitRate表示命中率，定義與召回率recall相同；falseAlarmRate表示誤檢率，表示負(fù)樣本被誤檢為目標(biāo)的概率。在訓(xùn)練分類器時(shí)，需要設(shè)定hitRate的最小值和falseAlarmRate的最大值，以保證訓(xùn)練具有較高的效率。本文將minHitRate設(shè)定為0.999，maxFalseAlarmRate設(shè)定為0.2。在進(jìn)行舌體定位分割實(shí)驗(yàn)之前，本文預(yù)先將原始圖像的長(zhǎng)和寬均縮小10倍，以適配級(jí)聯(lián)分類器訓(xùn)練產(chǎn)生的模型。

4 基于深度遷移學(xué)習(xí)的舌象特征分類方法

對(duì)舌體區(qū)域進(jìn)行目標(biāo)檢測(cè)的預(yù)處理后，用深度學(xué)習(xí)的方法來提取舌體區(qū)域的特征。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)依賴大規(guī)模的數(shù)據(jù)樣本，這為數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練2個(gè)階段都帶來了巨大的困難。在某些特殊的領(lǐng)域，數(shù)據(jù)不足更是不可避免的，比如醫(yī)學(xué)圖像，很多疾病的案例本身就比較特殊，能采集到的數(shù)據(jù)比較少，而做好標(biāo)簽的醫(yī)學(xué)圖像數(shù)據(jù)就更加難以獲取。為了解決因樣本量不足而帶來的深度網(wǎng)絡(luò)無法提取到有效特征的問題，本文提出通過改進(jìn)3種不同的具有代表性的卷積神經(jīng)網(wǎng)絡(luò)(Inception_v3、ResNet18和ResNet50)并分別進(jìn)行深度遷移學(xué)習(xí)訓(xùn)練來實(shí)現(xiàn)舌象特征的分類，如圖4所示。

Figure 4 Flow chart of tongue feature classification圖4 舌象特征分類流程圖

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中，卷積層和池化層是順序連接的。通常有2種方式提高神經(jīng)網(wǎng)絡(luò)的性能，即增加網(wǎng)絡(luò)的深度和寬度。其中，深度指的是網(wǎng)絡(luò)層次數(shù)量，寬度指的是網(wǎng)絡(luò)中神經(jīng)元的數(shù)量。舌象數(shù)據(jù)具有豐富的特征，因此需要一個(gè)足夠深的神經(jīng)網(wǎng)絡(luò)來提取舌體圖像上的特征。但是，隨著網(wǎng)絡(luò)深度的增加會(huì)產(chǎn)生以下問題：(1)參數(shù)過多，在訓(xùn)練集有限的情況下，很容易產(chǎn)生過擬合；(2)網(wǎng)絡(luò)越大、參數(shù)越多，計(jì)算的復(fù)雜度就越大，使得網(wǎng)絡(luò)本身難以應(yīng)用；(3)網(wǎng)絡(luò)越深，容易出現(xiàn)梯度彌散的問題。

為了解決上述問題，本文選取了Inception_v3、ResNet18和ResNet50 3種不同的神經(jīng)網(wǎng)絡(luò)，它們既擁有較深的網(wǎng)絡(luò)層次，可以提取足夠豐富的圖像特征，同時(shí)它們又具有不同的網(wǎng)絡(luò)優(yōu)化策略，可以進(jìn)一步提升網(wǎng)絡(luò)的性能。

4.1 用于遷移學(xué)習(xí)的3種深度神經(jīng)網(wǎng)絡(luò)

為了在增加網(wǎng)絡(luò)深度和寬度的同時(shí)能夠減少參數(shù)，GoogLeNet團(tuán)隊(duì)提出了Inception網(wǎng)絡(luò)結(jié)構(gòu)，即構(gòu)造一種“基礎(chǔ)神經(jīng)元”結(jié)構(gòu)來搭建一個(gè)具有稀疏性且具有高計(jì)算性能的網(wǎng)絡(luò)。如圖5所示，Inception模塊由4個(gè)主要結(jié)構(gòu)組成：1×1卷積核、3×3卷積核、5×5卷積核和3×3池化，核心思想是通過多個(gè)卷積核提取圖像不同尺度的信息，最后進(jìn)行融合，從而得到圖像更好的表征。

Figure 5 Inception module圖5 Inception模塊

由級(jí)聯(lián)分類器定位分割的舌體圖像中，舌體部分占整幅圖像的比例不定，會(huì)干擾神經(jīng)網(wǎng)絡(luò)對(duì)舌象特征的學(xué)習(xí)訓(xùn)練，而Inception_v3網(wǎng)絡(luò)采用不同的卷積核來代替單一的卷積核，可以提取不同尺度的圖像信息，有效地避免了因舌體在圖像中所占比例的不同而帶來的識(shí)別準(zhǔn)確度下降的問題。

與Inception_v3相似，ResNet也是一種較深的網(wǎng)絡(luò)結(jié)構(gòu)，如圖6所示，但與Inception_v3采用多種卷積核提取不同尺度信息不一樣，殘差網(wǎng)絡(luò)利用殘差模塊的思想來解決隨著網(wǎng)絡(luò)加深，網(wǎng)絡(luò)準(zhǔn)確度反而下降的問題。殘差網(wǎng)絡(luò)借鑒了Highway Network思想，相當(dāng)于開了個(gè)“捷徑”使得輸入矩陣X可以直達(dá)輸出，優(yōu)化的目標(biāo)由原來的擬合輸出變成輸出和輸入的差。因此，殘差網(wǎng)絡(luò)可以很好地解決隨著網(wǎng)絡(luò)層數(shù)的加深而導(dǎo)致網(wǎng)絡(luò)退化的問題。

Figure 6 Residual module圖6 殘差模塊

殘差網(wǎng)絡(luò)主要有5種不同深度的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，深度分別為18，34，50，101，152層。這些殘差網(wǎng)絡(luò)不僅在網(wǎng)絡(luò)深度上不同，在網(wǎng)絡(luò)結(jié)構(gòu)上也有區(qū)別，它們由不同的基本模塊構(gòu)成。其中ResNet18和ResNet34由BasicBlock(如圖7a所示)組成，而ResNet50及更深的殘差網(wǎng)絡(luò)由BottleNeck(如圖7b所示)組成。與BasicBlock不同，BottleNeck分別使用1×1,3×3和1×1的卷積核來壓縮維度、卷積處理和恢復(fù)維度，因?yàn)殡S著網(wǎng)絡(luò)層數(shù)的加深，需要考慮網(wǎng)絡(luò)模型的計(jì)算效率，而引用BottleNeck結(jié)構(gòu)可以有效節(jié)省網(wǎng)絡(luò)的計(jì)算成本。

Figure 7 BasicBlock and BottleNeck圖7 BasicBlock和BottleNeck

這3種深度神經(jīng)網(wǎng)絡(luò)不僅在網(wǎng)絡(luò)深度上有所不同，在網(wǎng)絡(luò)結(jié)構(gòu)上也有著各自的優(yōu)化策略。因此，本文通過改進(jìn)這3種網(wǎng)絡(luò)來進(jìn)行舌象特征分類的深度遷移學(xué)習(xí)訓(xùn)練，既驗(yàn)證了不同的網(wǎng)絡(luò)在解決舌象特征分類問題上的有效性，也分析了神經(jīng)網(wǎng)絡(luò)的深度對(duì)分類準(zhǔn)確度的影響。

4.2 基于深度遷移學(xué)習(xí)的舌象特征分類方法

本文將深度遷移學(xué)習(xí)和舌象特征分類問題相結(jié)合，通過改進(jìn)上述3種不同的神經(jīng)網(wǎng)絡(luò)，提出了基于深度遷移學(xué)習(xí)的舌象特征分類方法。將經(jīng)過分割后的舌體圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，再用不同的深度神經(jīng)網(wǎng)絡(luò)對(duì)舌象特征進(jìn)行提取，最后訓(xùn)練生成舌象特征分類模型，實(shí)現(xiàn)對(duì)3種不同舌象特征的分類預(yù)測(cè)。本文將深度遷移學(xué)習(xí)應(yīng)用于舌象特征分類問題，有效避免了因樣本量不足導(dǎo)致分類模型性能下降的問題，提高了網(wǎng)絡(luò)模型的穩(wěn)定性和分類準(zhǔn)確度。

Figure 8 Tongue feature classification based on deep transfer learning圖8 基于深度遷移學(xué)習(xí)的舌象特征分類

本文選取的3種深度神經(jīng)網(wǎng)絡(luò)有不同的網(wǎng)絡(luò)優(yōu)化設(shè)計(jì)，能夠?qū)D像數(shù)據(jù)進(jìn)行有效的特征提取。但由于本文選取的舌體圖像數(shù)據(jù)集與原網(wǎng)絡(luò)使用的ImageNet數(shù)據(jù)集在樣本規(guī)模和分布上存在較大差異，因此這些網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練參數(shù)設(shè)置上無法適應(yīng)本文的舌象特征分類問題，容易出現(xiàn)過擬合和梯度消失的情況，從而導(dǎo)致網(wǎng)絡(luò)模型無法得到有效收斂。為了實(shí)現(xiàn)網(wǎng)絡(luò)模型的有效收斂以及提升網(wǎng)絡(luò)的穩(wěn)定性和性能，本文在原有的神經(jīng)網(wǎng)絡(luò)上進(jìn)行了如下改進(jìn)：(1)保留原網(wǎng)絡(luò)的特征提取層，刪除網(wǎng)絡(luò)原有的輸出層，加上一層全局池化層(Global Average Pooling Layer)和一層全連接層(Fully-connected Layer)并通過Softmax函數(shù)進(jìn)行輸出；(2)選用隨機(jī)梯度下降SGD(Stochastic Gradient Desent)算法來優(yōu)化網(wǎng)絡(luò)訓(xùn)練；(3)針對(duì)不同的網(wǎng)絡(luò)模型，設(shè)置不同的學(xué)習(xí)率以實(shí)現(xiàn)有效的特征擬合。通過對(duì)網(wǎng)絡(luò)的改進(jìn)，有效防止了網(wǎng)絡(luò)模型過擬合的發(fā)生，提高了網(wǎng)絡(luò)的穩(wěn)定性和分類準(zhǔn)確度。

如圖8所示，首先將預(yù)處理后的舌體圖像數(shù)據(jù)按照神經(jīng)網(wǎng)絡(luò)輸入層所需要的數(shù)據(jù)輸入尺寸進(jìn)行縮放，將輸入圖像的大小分別改為224×224(ResNet)和299×299 (Inception_v3)，再通過3種不同的神經(jīng)網(wǎng)絡(luò)對(duì)舌象特征進(jìn)行特征提取，根據(jù)本文的舌象特征分類需求重寫原網(wǎng)絡(luò)的輸出層并進(jìn)行深度遷移學(xué)習(xí)訓(xùn)練，最終更新了網(wǎng)絡(luò)的模型參數(shù)，建立了新的舌象特征分類模型。

本文使用分割后的舌體圖像數(shù)據(jù)作為深度遷移學(xué)習(xí)的數(shù)據(jù)集，有效降低了使用原始圖像數(shù)據(jù)時(shí)背景區(qū)域?qū)ι嘞筇卣鞣诸愖R(shí)別的干擾。同時(shí)采用遷移學(xué)習(xí)的方法可以有效避免因舌體圖像樣本量的不足對(duì)網(wǎng)絡(luò)訓(xùn)練帶來的影響。由于原有網(wǎng)絡(luò)中全連接層參數(shù)量過大，降低了訓(xùn)練的速度，同時(shí)容易產(chǎn)生過擬合，因此，本文采用全局池化層代替原有的全連接層輸出，改進(jìn)了原有的網(wǎng)絡(luò)結(jié)構(gòu)，使整個(gè)網(wǎng)絡(luò)在結(jié)構(gòu)上實(shí)現(xiàn)正則化，從而防止過擬合的發(fā)生。針對(duì)每一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，選擇3種不同的舌象特征分類問題對(duì)網(wǎng)絡(luò)性能進(jìn)行測(cè)試，以分析神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)不同舌象特征時(shí)的表現(xiàn)。同時(shí)，在3種不同深度的神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)，通過對(duì)比3種網(wǎng)絡(luò)的分類準(zhǔn)確度，分析了不同的網(wǎng)絡(luò)結(jié)構(gòu)在解決舌象特征分類問題時(shí)的性能，同時(shí)也分析了神經(jīng)網(wǎng)絡(luò)的深度對(duì)舌象特征分類結(jié)果的影響。

5 實(shí)驗(yàn)

為了驗(yàn)證本文提出的基于深度遷移學(xué)習(xí)的舌象特征分類方法的有效性，使用從專業(yè)中醫(yī)醫(yī)療機(jī)構(gòu)獲取的舌體圖像作為數(shù)據(jù)集并進(jìn)行測(cè)試。首先通過級(jí)聯(lián)分類器對(duì)舌體圖像進(jìn)行分割處理，然后將分割好的舌體圖像數(shù)據(jù)在不同深度的神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)訓(xùn)練，并針對(duì)3種不同的舌象特征分類問題進(jìn)行了對(duì)比實(shí)驗(yàn)。

5.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)數(shù)據(jù)由上海中醫(yī)藥大學(xué)許家佗教授實(shí)驗(yàn)室提供，這些圖像數(shù)據(jù)來自多個(gè)醫(yī)院采集點(diǎn)，通過許家佗實(shí)驗(yàn)室自主研發(fā)的中醫(yī)舌診儀進(jìn)行采集，并由中醫(yī)專家進(jìn)行分類標(biāo)定。其中包括：齒痕舌516幅，非齒痕舌566幅，裂紋舌391幅，非裂紋舌250幅，厚苔舌392幅，薄苔舌130幅，原始舌象圖像的大小固定為5568×3172像素。在進(jìn)行分類實(shí)驗(yàn)之前，對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，包括旋轉(zhuǎn)角度、平移、翻轉(zhuǎn)等操作，以保證不同舌象特征的舌象數(shù)據(jù)具有相同規(guī)模的訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練數(shù)據(jù)800例，測(cè)試數(shù)據(jù)100例，驗(yàn)證數(shù)據(jù)100例。

本文用于分類的舌象特征分別是：齒痕舌與非齒痕舌、裂紋舌和非裂紋舌以及厚薄舌苔，它們的基本特征如圖9所示。

Figure 9 Six typical tongue features圖9 6類典型舌象特征

5.2 性能評(píng)估指標(biāo)

在機(jī)器學(xué)習(xí)領(lǐng)域，對(duì)模型的測(cè)量和評(píng)估是至關(guān)重要的，只有選擇與問題相匹配的評(píng)估方法，才能快速地發(fā)現(xiàn)在模型選擇和訓(xùn)練過程中可能出現(xiàn)的問題，迭代地對(duì)模型進(jìn)行優(yōu)化。而在分類問題上，通常用分類準(zhǔn)確度來評(píng)估網(wǎng)絡(luò)模型的好壞，根據(jù)分類器在測(cè)試數(shù)據(jù)集上的預(yù)測(cè)或正確或不正確可以分為4種情況：TP指將正類預(yù)測(cè)為正類的數(shù)目；FN指將正類預(yù)測(cè)為負(fù)類的數(shù)目；FP指將負(fù)類預(yù)測(cè)為正類的數(shù)目；TN指將負(fù)類預(yù)測(cè)為負(fù)類的數(shù)目；P表示所有正類的數(shù)目；N表示所有負(fù)類的數(shù)目。模型的準(zhǔn)確度計(jì)算方法如式(7)所示：

(7)

由式(7)可知，模型準(zhǔn)確度指的是測(cè)試集中的樣本被正確預(yù)測(cè)的比例。通過分析準(zhǔn)確度可以評(píng)估一個(gè)網(wǎng)絡(luò)模型是否具有良好的識(shí)別性能。

5.3 實(shí)驗(yàn)結(jié)果與分析

本文在3種網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)，訓(xùn)練參數(shù)如表1所示。

Table 1 Training parameters of deep transfer learning network proposed in this paper表1 本文提出的深度遷移學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練參數(shù)表

為了研究網(wǎng)絡(luò)深度對(duì)舌象特征分類性能的影響，將本文方法與另外3種具有不同深度的神經(jīng)網(wǎng)絡(luò)(LeNet-5[25]、AlexNet、VGG16)進(jìn)行對(duì)比。同時(shí)直接在ResNet18、ResNet50和Inception_v3上進(jìn)行特征學(xué)習(xí)，與改進(jìn)后的遷移學(xué)習(xí)方法進(jìn)行比較，進(jìn)一步分析神經(jīng)網(wǎng)絡(luò)深度和網(wǎng)絡(luò)結(jié)構(gòu)對(duì)網(wǎng)絡(luò)分類性能的影響。

本文對(duì)不同深度的神經(jīng)網(wǎng)絡(luò)采用非遷移學(xué)習(xí)和遷移學(xué)習(xí)的方式來進(jìn)行特征提取和分類，由表2所示的分類準(zhǔn)確度對(duì)比可見，對(duì)于淺層的網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)層數(shù)的加深，特征分類的準(zhǔn)確度總體呈現(xiàn)上升的趨勢(shì)，這是因?yàn)榫W(wǎng)絡(luò)層數(shù)越深，網(wǎng)絡(luò)能夠?qū)W習(xí)到更加抽象的特征，有利于對(duì)不同舌象進(jìn)行分類識(shí)別。然而，當(dāng)網(wǎng)絡(luò)層數(shù)繼續(xù)加深時(shí)，網(wǎng)絡(luò)的分類準(zhǔn)確度卻陡然下降，這是因?yàn)橛?xùn)練樣本量少，網(wǎng)絡(luò)產(chǎn)生了過擬合的情況。

Table 2 Comparison of accuracy of tongue feature classification between deep transfer learning method and other networks表2 本文提出的深度遷移學(xué)習(xí)方法 與不同網(wǎng)絡(luò)的舌象特征分類準(zhǔn)確度對(duì)比 %

而本文提出的遷移學(xué)習(xí)方法在面對(duì)小樣本的數(shù)據(jù)時(shí)，依然呈現(xiàn)出良好的分類性能，實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)下的小樣本舌象數(shù)據(jù)的遷移學(xué)習(xí)。通過對(duì)實(shí)驗(yàn)結(jié)果的分析，可以得到以下幾點(diǎn)結(jié)論：(1)與非遷移學(xué)習(xí)的方法相比，本文提出的深度遷移學(xué)習(xí)方法在舌象特征分類準(zhǔn)確度上得到了提升，同時(shí)降低了深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)成本，加快了網(wǎng)絡(luò)模型的訓(xùn)練速度； (2)本文改進(jìn)的3種卷積神經(jīng)網(wǎng)絡(luò)在深度遷移學(xué)習(xí)任務(wù)上表現(xiàn)各異，對(duì)3類不同的舌象特征達(dá)到了85%以上的平均分類準(zhǔn)確度，其中基于Inception_v3的遷移學(xué)習(xí)方法表現(xiàn)最佳，平均分類準(zhǔn)確度達(dá)到94.88%；(3)由于表2中的神經(jīng)網(wǎng)絡(luò)層數(shù)是依次增加的，可以看出，隨著網(wǎng)絡(luò)層數(shù)的加深，分類識(shí)別的準(zhǔn)確度在不斷提高，其原因是網(wǎng)絡(luò)層數(shù)越深，網(wǎng)絡(luò)能夠提取的圖像特征就越豐富，生成的分類模型就具有更好的穩(wěn)定性和性能。

5.4 不同圖像預(yù)處理方法對(duì)舌象特征分類的影響

為了進(jìn)一步探究不同的舌象數(shù)據(jù)集對(duì)深度遷移學(xué)習(xí)特征提取過程的影響，本文選取3種不同的訓(xùn)練數(shù)據(jù)：原始舌象圖像、基于GrabCut分割的舌體圖像和基于級(jí)聯(lián)分類器定位的舌體圖像(如圖10所示)，通過在VGG16網(wǎng)絡(luò)上進(jìn)行深度遷移學(xué)習(xí)來探究不同分割效果的數(shù)據(jù)在深度遷移神經(jīng)網(wǎng)絡(luò)中的特征提取性能。

Figure 10 Segmentation images of 3 kinds of tongue images圖10 3種舌象分割圖

Table 3 Tongue feature classification accuracy based on different segmentation methods

通過表3所示的實(shí)驗(yàn)結(jié)果可知，對(duì)比原始圖像，經(jīng)過GrabCut分割和級(jí)聯(lián)分類器定位分割后的舌象圖像在進(jìn)行深度遷移訓(xùn)練后的分類準(zhǔn)確度都有了明顯的提升?；贕rabCut算法雖然實(shí)現(xiàn)了舌體分割的自動(dòng)化過程，但在分割的穩(wěn)定性和準(zhǔn)確度上有所欠缺。而本文方法在分類準(zhǔn)確度上高于傳統(tǒng)分割方法，同時(shí)在時(shí)間、人力成本上又遠(yuǎn)低于傳統(tǒng)分割方法。因此，本文選擇通過級(jí)聯(lián)分類器的方法來對(duì)原始數(shù)據(jù)進(jìn)行自動(dòng)舌體定位，為后續(xù)探究不同網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)深度對(duì)舌象特征分類的影響提供了良好的數(shù)據(jù)基礎(chǔ)。

6 結(jié)束語

本文提出了一種基于深度遷移學(xué)習(xí)的舌象特征分類方法，首先利用級(jí)聯(lián)分類器實(shí)現(xiàn)有效的舌體定位分割；然后再通過改進(jìn)3種不同的深度神經(jīng)網(wǎng)絡(luò)模型來對(duì)分割后的舌體數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)訓(xùn)練；最終實(shí)現(xiàn)舌象特征的分類識(shí)別，提升了舌象特征分類的準(zhǔn)確度。其中，改進(jìn)后的Inception_v3網(wǎng)絡(luò)在3種舌象特征分類問題上都表現(xiàn)優(yōu)異，平均準(zhǔn)確度達(dá)到94.88%。ResNet50網(wǎng)絡(luò)在厚薄苔分類問題上表現(xiàn)突出，達(dá)到了96.88%的準(zhǔn)確度。由此可見，深度學(xué)習(xí)方法可以很好地解決傳統(tǒng)中醫(yī)舌象分類問題，這將有力地推動(dòng)中醫(yī)舌診的智能化和客觀化發(fā)展。