基于顏色特征的常見舌質舌苔分類識別

梁金鵬，楊 浩，張海英

(1. 中國科學院大學 微電子學院，北京 100029；2. 中國科學院微電子研究所 新一代通信射頻芯片技術北京市重點實驗室，北京 100029；3. 中國科學院微電子研究所 健康電子研發(fā)中心，北京 100029)

基于顏色特征的常見舌質舌苔分類識別

梁金鵬1，2,3，楊 浩2,3，張海英2,3

(1. 中國科學院大學 微電子學院，北京 100029；2. 中國科學院微電子研究所 新一代通信射頻芯片技術北京市重點實驗室，北京 100029；3. 中國科學院微電子研究所 健康電子研發(fā)中心，北京 100029)

舌質、舌苔的自動分類識別是中醫(yī)舌診客觀化的重要內(nèi)容。針對6種常見的舌質、舌苔類型，基于其不同的顏色特征實現(xiàn)分類。舌象采集過程中，多種因素會引起圖像顏色偏差，采用多項式回歸的方法實現(xiàn)顏色校正。采用內(nèi)積閾值和顏色聚類兩種方法實現(xiàn)了舌體的分割，保留舌質、舌苔有效信息。最后針對舌象分類自身的特點，引入權值改進算法模型，使分類準確率得到了明顯的提升。

顏色校正；圖像分割；分類；舌診

0 引言

中醫(yī)舌診看舌質、辨舌苔，通過分析判斷患者的舌象類型，為中醫(yī)“辯證論治，四診合參”[1]提供重要的診斷依據(jù)。經(jīng)過幾千年的理論發(fā)展和應用實踐，舌診為中醫(yī)發(fā)展做出了巨大的貢獻。然而，傳統(tǒng)的舌質、舌苔辨別，主要依賴于醫(yī)生的主觀判斷，缺乏統(tǒng)一標準和量化指標，制約了舌診的進一步發(fā)展，實現(xiàn)舌診的客觀化和現(xiàn)代化將成為未來的發(fā)展趨勢。

隨著信息技術的快速發(fā)展，尤其從上世紀八十年代起，中醫(yī)和其他學科的科研人員相繼開展了舌診客觀化的研究。中科大和安徽中醫(yī)學院的孫立友[2]等人率先提出利用計算機圖像識別技術進行舌診客觀化研究的理論構想。清華大學余興龍[3]等根據(jù)模糊數(shù)學理論，確定定義域，對4種舌質實現(xiàn)分類識別。哈工大張大鵬等[4-5]分別對裂紋舌、舌下贅生物、點刺和瘀斑等特別舌象開展相關研究。沈蘭蓀[6]利用加權支持向量機(Support Vector Machine, SVM)，加大重要樣本權值，得到不錯的舌質、舌苔分類結果。

圖1 分類識別主體框圖

針對舌象診斷中最為重要的舌質、舌苔類型判斷，本文選取常見的6種舌質、舌苔類別，基于顏色特征的差異，實現(xiàn)自動分類識別，主體思路如圖1所示。顏色作為舌質、舌苔分類的主要特征和依據(jù)，首先采用多項式回歸對原始舌像進行顏色校正。對顏色校正后的圖像結合內(nèi)積投影和顏色聚類兩種圖像分割技術實現(xiàn)舌體的分割，保留舌質、舌苔有效信息。

基于舌象分類自身特點，采用改進的k近鄰(K-Nearest Neighbor,以下使用KNN簡稱)算法作為分類器，增加最近鄰樣本權重提高分類準確率。本文按照以上幾項內(nèi)容分別展開介紹，最后給出結論。

1 舌像顏色校正

本文獲取的原始舌像是通過中科院微電子研究所自制的舌診儀采集得到，舌診儀搭建了一個穩(wěn)定、標準的采集環(huán)境(不贅述)，基本呈現(xiàn)了舌象的真實顏色特征?？紤]到光源、相機等因素在實際表現(xiàn)中的合理波動，會使得舌像產(chǎn)生輕微的顏色偏差，由于顏色特征對于本文舌質、舌苔分類識別的重要性，在分類之前首先對原始舌像進行顏色校正。

目前用于顏色校正的方法有矩陣法、支持向量回歸[7]和神經(jīng)網(wǎng)絡[8]等，這些方法可以取得不錯的校正效果，但計算復雜度較高。文獻[9]采用一種簡便的多項式回歸方法，大大降低了計算量。本文在此基礎上對多項式模型適當改進，取得了計算復雜度和校正效果的平衡。多項式回歸借助組合標準色卡(采用德國RAL K7系列，選取10種色彩)，選用合適的多項式組合模型線性擬合，完成色卡輸出圖像RGB到標準色卡真實RGB的轉換，并求解出轉換系數(shù)。

具體求解過程如下，將第i(i取1～10)個色塊的實際RGB值分別記為Ri、Gi、Bi，maj(a取1～3，j取1～16)表示轉換系數(shù)，選用項數(shù)為16的多項式組合：{1,R,G,B,RG,RB,GB,R2,G2,B2,R2G,G2B,B2R,R2B,G2R,B2G}，xji表示第i個色塊對應的多項式項。則有：

(1)

式(1)矩陣形式表示為：

A=M·X

(2)

其中，A是維數(shù)為3×10的色卡真實RGB矩陣，

(3)

M是維數(shù)為3×16的待求轉換系數(shù)矩陣，

(4)

X是維數(shù)為16×10的多項式矩陣，

(5)

由式(2)可以進一步推導出：

M=(A·XT)·(X·XT)-1

(6)

將求得的轉換系數(shù)矩陣應用于新采集的舌像，即可實現(xiàn)舌像的顏色校正：

XO=M·XI

(7)

其中，XI是待校正的16×N維舌像矩陣，N為舌像有效的像素個數(shù)，XO是3×N的輸出圖像矩陣，即經(jīng)過顏色校正的舌像。采用多項式回歸校正舌像顏色，得到了令人滿意的效果，實現(xiàn)了計算量和校正效果的平衡。

2 舌體分割

采集到的舌像不可避免地會含有舌體以外的其他圖像信息，因此，在進一步進行舌象識別之前，必須先實現(xiàn)舌體分割，保留舌質、舌苔的有效部分。本文重點關注采集舌象的舌質顏色和舌苔顏色特征，對舌體分割的邊緣要求并不嚴苛，能夠保留出舌體的主要部分即可。

基于區(qū)域的分割方法按照特定條件直接尋找、分割區(qū)域，具體算法有區(qū)域生長和區(qū)域分離與合并算法[10]?；趨^(qū)域分割可以從單個像素出發(fā)，合并需要的分割區(qū)域，對復雜場景的圖像或者先驗知識不足的圖像分割效果較理想。基于邊緣檢測的分割方法通過檢測不同區(qū)域的邊緣的差異來分割圖像，它可以作為區(qū)域分割的有效補充，優(yōu)化圖像分割效果。本文同時采用區(qū)域分割和邊緣分割的思想，完成舌體的有效分割，分割流程如圖2所示。

圖2 舌體分割流程圖

內(nèi)積閾值分割。對采集的舌像做歸一化處理，在舌體內(nèi)取一個目標點，其余像素點RGB與目標點RGB分別做內(nèi)積，進行內(nèi)積閾值判斷，內(nèi)積較大的像素點置1，其余置零，完成內(nèi)積結果的二值化矩陣。將二值矩陣與圖像對應相乘，完成相應像素點的保留和清除。在二值圖上逐點移動比較，根據(jù)結果進行膨脹處理。用膨脹后的二值圖像與內(nèi)積投影后的圖像對應相乘，完成膨脹，得到內(nèi)積閾值舌像分割結果。

顏色聚類分割。為精細區(qū)分舌體邊緣和臉、唇等部位，采用顏色聚類分割舌體。設置顏色聚類分割區(qū)域的個數(shù)和聚類的次數(shù)，對圖像進行顏色聚類，反復多次聚類后，判斷哪個區(qū)域中含有舌，完成舌體的顏色聚類分割，得到另一種舌體分割結果。

采用內(nèi)積投影和顏色聚類分別得到舌體分割結果，對二者進行或操作，取得了理想的舌體分割效果。分割前、后的舌像分別如圖3和圖4所示。

圖3 分割前舌像

圖4 分割舌像結果

3 常見舌質、舌苔分類識別

通過與陸軍總醫(yī)院合作，采集第一手患者舌象信息，到目前為止，根據(jù)實際采集到的舌象類型，在醫(yī)生的指導下，整理出3種常見的舌質和3種常見的舌苔類別，見表1。

表1 舌質、舌苔分類表

將采集的圖像按照第一節(jié)的方法進行顏色校正，經(jīng)過分析不同類別舌質、舌苔的顏色特征，發(fā)現(xiàn)舌象識別這一具體場景具有兩個比較典型的特點：首先，不同類別的舌象在RGB空間內(nèi)分布較為接近，甚至有區(qū)域交疊現(xiàn)象；其次，不同類別的舌象常見程度不同，產(chǎn)生不同類別樣本不均衡現(xiàn)象?；谏鲜錾嘞蠓诸惖奶攸c，考慮采用KNN算法作為分類器。

3.1傳統(tǒng)KNN模型

選用KNN模型的原因在于，對于分類區(qū)域存在交叉重疊的情況，KNN的分類效果要優(yōu)于支持向量機、決策樹等其他分類算法，下面對傳統(tǒng)KNN算法簡單分析梳理。

KNN是一種簡單、有效的分類方法，模型包含三個基本要素[11]：距離度量、k值和分類決策規(guī)則，當三要素確定后，對于任何一個新的輸入實例，它所屬的類唯一確定。給定一個訓練數(shù)據(jù)集，對新的輸入實例，計算距離度量篩選其k個最近鄰的訓練實例，統(tǒng)計k個實例的類別，通過少數(shù)服從多數(shù)確定輸入實例的類別。KNN可以比較有效地解決舌象分類區(qū)域交叉重疊的問題，但由于傳統(tǒng)的KNN賦予k個近鄰樣本同樣的權重，在樣本數(shù)量不均衡時，不同的k值設定會使得分類結果偏向于大數(shù)目樣本，降低了分類準確率。為此，本文在傳統(tǒng)KNN模型的基礎上加以改進。

3.2改進KNN模型

針對不同舌象樣本數(shù)量不均衡的問題，提出改進KNN模型。改進模型的核心思想在于，賦予k個近鄰樣本不同的權重，增加較近樣本權值，減小較遠樣本權值，改善分類識別效果。對于KNN的三要素，分別具體說明。選取RGB空間的歐式距離作為判斷的距離度量：

(8)

將不同的權重W設定為一個與距離L相關的量：

(9)

對于每一類別的舌象，按照醫(yī)生的指導，選擇、分割典型的樣本構成訓練樣本集。為了保持每個訓練樣本的典型特征，不被過多噪聲干擾，每個訓練樣本選擇2×2像素大小。舌象分類識別測試時，首先進行舌像分割，然后逐像素判斷識別所屬的舌象類型，最后給出識別結果。采用交叉驗證法來選取最優(yōu)的k值。

3.3測試結果

截止到目前為止，共采集到舌像566張，隨機選取其中431張用來訓練，對剩余135張舌像測試。

分別采用傳統(tǒng)的KNN模型(等權值)和改進的KNN模型，測試結果如表2。

表2 算法分類準確率對比

由表2可以看出，通過引入不同的權值，算法識別準確率得到很大的提升。尤其對于區(qū)域交疊的淡紅舌和紅舌、薄白苔和白厚苔，準確率提高更為明顯。

4 結論

本文針對常見的6種舌質、舌苔，基于類別之間顏色特征的差異，實現(xiàn)舌象的分類識別。首先對采集的舌像采用多項式回歸的方法進行顏色校正，然后采用內(nèi)積閾值和顏色聚類兩種方法實現(xiàn)了舌體的分割，取得了滿意的效果。最后針對舌象分類識別自身的特點，引入權值改進算法模型，使分類準確率得到了明顯的提升。當然，還有一些工作需要不斷完善，包括增加舌象分類的范圍，增加數(shù)據(jù)量以及對權值計算方法的優(yōu)化等。

[1] 朱文鋒.中醫(yī)診斷學[M].北京:中國中醫(yī)藥出版社，2004.

[2] 孫立友，程釗，謝虎臣，等.利用計算機圖像識別技術進行舌診客觀化研究的探討[J].安徽中醫(yī)學院學報，1986，5(4): 5-7.

[3] 余興龍，譚耀麟，堂子民.中醫(yī)舌診自動識別方法的研究[J].中國生物醫(yī)學工程學報，1994，13(4)：336-343.

[4] 楊朝輝，張大鵬，李乃民. 裂紋舌圖像的核假彩色變換及其紋線提取[J]. 計算機輔助設計與圖形學學報，2010，22(5)：772-776.

[5] 朱煥超，閆子飛，張大鵬，等. 舌下贅生物輪廓提取方法初步研究[J]. 高技術通訊，2014，24(5)：498-505.

[6] 張新峰，沈蘭蓀. 加權SVM在中醫(yī)舌象分類與識別中的應用研究[J]. 中國生物醫(yī)學工程學報，2006，25(2)：230-233.

[7] ZHANG H Z,WANG K Q,JIN X S, et al. SVR based color calibration for tongue image[C]. Machine Learning and Cybernetics, 2005. Proceedings of 2005 International Conference in GuangZhou:IEEE,2005:5065-5070.

[8] CHEUNG V,VESTLAND S,CONNAH D, et al. A comparative study of the characterisation of color cameras by means of neural networks and polynomial transforms[J]. Coloration Technology,2004,120(1):19-25.

[9] 王永剛，王愛民，沈蘭蓀.舌象分析儀中舌色重現(xiàn)方法的研究[J].照明工程學報，2001,6，12(2)：4-10.

[10] 許新征，丁世飛，史忠植，等.圖像分割的新理論與新方法[J].電子學報，2010,38(Z1)：76-82.

[11] 李航. 統(tǒng)計學習方法[M]. 北京：清華大學出版社，2012.

The classification of common tongue body and tongue coating based on the feature of color

Liang Jinpeng1,2,3, Yang Hao2,3, Zhang Haiying2,3

(1. School of Microelectronics, University of Chinese Academy of Sciences, Beijing 100029, China; 2. Beijing Key Laboratory of Radio Frequency IC Technology for Next Generation Communications,Institute of Microelectronics of Chinese Academy of Sciences, Beijing 100029, China;3. R&D Center of HealthCare Electronics, Institute of Microelectronics of Chinese Academy of Sciences, Beijing 100029, China)

Automatic classification of tongue body and tongue coating is one of the important contents of the tongue diagnosis. Six kinds of common tongue body and tongue coating are classified based on their different color characteristics.Color correction is achieved by polynomial regression, at the same time, tongue segmentation is achieved by inner product threshold and color clustering. K-nearest neighbor with different weight is introduced to improve the accuracy of classification.

color correction; image segmentation; classification; tongue diagnosis

TP391

：A

10.19358/j.issn.1674- 7720.2017.17.030

梁金鵬，楊浩，張海英.基于顏色特征的常見舌質舌苔分類識別[J].微型機與應用，2017,36(17)：102-105.

2017-03-15)

梁金鵬(1992-)，男，碩士研究生，主要研究方向：機器學習、圖像處理。楊浩(1978-)，通訊作者，男，博士，副研究員，主要研究方向：健康電子設備、物聯(lián)網(wǎng)技術。E-mail：yanghao@ime.ac.cn。張海英(1964-)，女，博士，研究員，主要研究方向：健康電子技術。