基于計算機圖像技術(shù)的中醫(yī)舌形客觀化研究概述*

陸俊紅，徐藝峰，王憶勤，郝一鳴

（上海中醫(yī)藥大學(xué)上海市健康辨識與評估重點實驗室/中醫(yī)四診信息化實驗室 上海 201203）

舌診是中醫(yī)望診的重要環(huán)節(jié)，包括3個部分：望舌質(zhì)、望舌苔、望舌下脈絡(luò)。其中舌質(zhì)包含舌神、舌色、舌形、舌態(tài)4個部分，中醫(yī)診斷學(xué)將舌形分為老嫩舌、胖瘦舌、點刺舌、裂紋舌、齒痕舌。舌診中舌形較容易被識別，并且舌形不容易受到其他外來因素（如食物、藥劑等）的影響，因而舌形作為一種較為客觀的反應(yīng)人體生理過程的診斷標志，被廣泛運用于臨床辨證中[1]。傳統(tǒng)中醫(yī)望舌往往依靠醫(yī)生的主觀意識和經(jīng)驗積累，客觀性不足，因此舌形客觀化對于疾病診斷、療效評估具有重要作用。

近20年來，各種新興的計算機技術(shù)廣泛用于中醫(yī)研究，其中計算機圖像處理技術(shù)常用于望診的圖像識別和疾病診療等[2-4]。計算機圖像能清晰反應(yīng)舌形老嫩、胖瘦、點刺、裂紋、齒痕等特征，通過各種計算機軟件對舌圖進行分析后，提取客觀的舌形參數(shù)。既往舌體分割方法分為3類，分別是基于顏色特征的舌分割[5]、基于Snake模型及其變體的舌分割[6]以及基于深度神經(jīng)網(wǎng)絡(luò)的舌分割[7-8]，并在此基礎(chǔ)上不斷發(fā)展創(chuàng)新。但計算機圖像技術(shù)研究舌圖像在數(shù)據(jù)采集、轉(zhuǎn)化、計算機圖像處理模式等方面還存在一定缺陷，且目前尚未見有關(guān)計算機圖像處理舌形參數(shù)研究現(xiàn)狀的總結(jié)，因此本文旨在對近20年來國內(nèi)外有關(guān)中醫(yī)5種舌形客觀化研究現(xiàn)狀進行概括分析，總結(jié)了目前研究的不足，并提出未來開展舌形客觀化研究的方向和策略。

1 舌形客觀信息提取的算法研究

1.1 老嫩舌

老舌顧名思義指舌頭形體蒼老，表現(xiàn)為舌質(zhì)紋理干燥粗糙，多主實。嫩舌舌體胖且嬌嫩，舌質(zhì)紋理細膩，色澤淡，多主虛?！侗嫔嘀改稀酚涊d：“凡舌質(zhì)堅斂而蒼老，不論苔色白黃灰黑，病多屬實。舌質(zhì)浮胖兼嬌嫩，不拘苔色灰黑黃白，病多屬虛?！?/p>

目前常用老嫩舌的區(qū)分依然主要依靠醫(yī)生直接觀察病人舌體的大小、紋理、充盈程度?，F(xiàn)代醫(yī)學(xué)研究老嫩舌客觀化有以下幾個方面：許家佗等[9]依據(jù)中醫(yī)老嫩舌紋理差異較大的特點，針對老嫩舌的紋理特征進行分析處理，分析時采用灰度差分統(tǒng)計方法來對舌圖像紋理進行量化和定義分類，再運用對比度、角度方向二階矩、熵、均值4個參數(shù)進行進一步量化、分類，實驗結(jié)果顯示采用以上方法后計算機識別老嫩紋理情況與傳統(tǒng)中醫(yī)視覺識別的符合率為：老舌88%、嫩舌76%、舌質(zhì)適中72%、總體識別率達74%，表明灰度差分法結(jié)合4種參數(shù)共同描述舌表面紋理細膩及粗燥程度效果佳，結(jié)果與傳統(tǒng)中醫(yī)舌診紋理分類方法符合度較好，許家佗也嘗試將該種判別老嫩舌的方法應(yīng)用于臨床診斷。

沈蘭蓀等[10]發(fā)現(xiàn)目前較常用地單一紋理特征或者單一顏色特征對判斷老嫩舌的識別率比較低。因此他們采用基于k近鄰分類器的AdaBoost融合方法將顏色與紋理特征組合成為一個特征矢量，在此基礎(chǔ)上設(shè)計多個分類器，不同分類器間存在的互補性，充分利用其互補性來提高舌體老嫩的識別率。研究表明基于k近鄰分類器的AdaBoost融合方法對舌體顏色和紋理的融合特征的識別比單一特征識別老嫩舌效果好，其識別結(jié)果基本可以滿足日常判斷老嫩舌的要求。但此方法并未與傳統(tǒng)肉眼識別方法進行比較驗證，難以得到準確的識別率?？蛇M一步進行對比實驗，有助于更客觀地衡量此方法的識別率。

劉春雨等[11]在結(jié)合老嫩舌圖像紋理特征的基礎(chǔ)上運用灰度共生矩陣法對老嫩舌進行客觀化分類。該實驗計算了4個不同方向角度（分別為0°、45°、90°、135°）的灰度共生矩陣及其綜合灰度共生矩陣，并將計算結(jié)果中的5個特征參數(shù)（包括相應(yīng)能量、對比度、灰度共生矩陣、非零點個數(shù)等）組成特征向量，再采用線性分類器進行分類實驗，實驗得出當(dāng)灰度矩陣距離為5像素，角度為0°時，老嫩舌的分類精度最高。該結(jié)果為后續(xù)研究提供了最高精度的舌圖像素和角度，也提供了另一種研究思路。以上研究表明在計算機識別舌質(zhì)老嫩的過程中采用多種參數(shù)以及多種分類器結(jié)合的效果常比單一參數(shù)更佳，其中許家佗的灰度差分法識別的效果具有較高的識別率，在運用于臨床后可再進一步研究。劉春雨的實驗后續(xù)研究可以考慮在此灰度矩陣的基礎(chǔ)上進一步細分角度、提取更多結(jié)果中的特征參數(shù)組成向量計算，以期得到更精確的角度與像素。

1.2 胖瘦舌

胖大舌舌色多淡白，舌體胖嫩，較正常舌大且厚，嚴重者甚至舌體腫脹，充滿口腔，胖大舌多由脾腎陽虛導(dǎo)致的氣化失常、水濕內(nèi)停引起。瘦舌的舌體較正常舌瘦薄，又稱“瘦薄舌”，多見于氣血兩虛和陰血不足人群[12]。

中醫(yī)識別胖瘦舌以正常舌為參照，通過與正常舌比較判斷胖瘦。但正常舌的標準難以確定，由于人群年齡、性別、區(qū)域的差異，沒有完全意義上的健康人的正常舌，因此準確區(qū)分胖瘦舌與正常舌較為困難。研究者們也致力于找出客觀的算法來判別胖瘦舌。許家佗等[13]采用CCD圖像采集設(shè)備MVC1000在舌體正、側(cè)面同步進行立體圖像采集，再利用計算機測算舌圖中舌體長度（L）、寬度（K）、厚度（H），將以上3種參數(shù)與舌體表面積（Mt）建立5種不同比值關(guān)系的的舌體系數(shù)計算方法，用以上5種不同計算方法分析了臨床500例舌圖像，得到不同舌體系數(shù)數(shù)據(jù)的離散度，最終構(gòu)建了單位體表面積（Mt）、舌寬度（K）、厚度（H）的最佳舌體系數(shù)計算方法。應(yīng)用該方法對已識別為胖舌212例、瘦舌35例的圖像進行比較分析，結(jié)果表明s=（K+H）/Mt的舌體系數(shù)計算方法對判斷胖、瘦舌具有較好的效果，與臨床醫(yī)生視覺分類胖、瘦舌的符合率分別為胖舌93.40%、瘦舌88.57%。該舌體系數(shù)計算方法識別實驗?zāi)壳凹{入了3種客觀的舌圖參數(shù)與舌體表面積進行計算，后期若能得測算出更多參數(shù)，可得到更多種不同的舌體系數(shù)計算方法，還具有很大的研究空間。

溫坤哲等[14-15]提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的舌體胖瘦精細分類方法，通過該方法可依據(jù)舌體形狀特征將舌分為舌體正常、舌體胖大、舌體瘦小、舌體胖大有齒印等4類特征。但僅僅基于該單一方法分類舌體圖片準確度較低，于是在此基礎(chǔ)上提出了一種新的模塊K Block，基于K Block模塊搭建一種深度卷積神經(jīng)網(wǎng)絡(luò)模型，該模型可將舌圖分為舌體正常、舌體胖大、舌體胖大有齒印、舌體瘦小等更多特征，實現(xiàn)進一步的舌體胖瘦精細分類。通過與臨床醫(yī)生視覺識別對比發(fā)現(xiàn)該模型的精細分類的準確率為32.45%，優(yōu)于AlexNet等經(jīng)典模型的分類，實驗證明該模型相比同類經(jīng)典的舌體胖瘦精細分類模型具有一定的先進性，達到了更高程度的精細分類，但準確率依然偏低，無法進一步用于臨床實踐，有待于進一步研究。

沈蘭蓀等[16]利用計算機圖像技術(shù)在舌體分割方法的基礎(chǔ)上提取舌體輪廓，基于舌體輪廓特征分析曲線擬合參數(shù)與曲線形狀胖瘦兩者的關(guān)系，測算舌體的長度、寬度后得到了長寬比，用此方法進行舌體胖瘦的自動定量分析。后隨機選取了261幅實拍舌圖像，采用此方法自動分析舌圖像后得到其中209幅圖像的分析結(jié)果與目視識別的觀察結(jié)果符合較好，隨機圖像識別的符合率大于80%，證明此方法可以較好地反映舌體的胖瘦程度。

1.3 點刺舌

點舌是由于舌蕈狀乳頭充血水腫而引起形狀增大，數(shù)目增多；刺舌同樣是舌蕈狀乳頭增大、高突，并形成尖鋒，形如芒刺[17]。

周勇等[18]進行了點刺舌與非點刺舌的計算機定量研究，從收集的舌圖像照片中，選出43例不具備點刺特征的舌圖像照片與40例點刺舌一起進行計算機定量化處理。結(jié)果顯示，點刺舌與非點刺舌計算機定量值各有其分布范圍。經(jīng)t檢驗，點刺舌與非點刺舌定量值有顯著性差異，說明計算機定量的方法可以用于判斷點刺舌。

張楠等[19]根據(jù)點刺主要分布在舌尖和舌中的特點，對舌圖像進行分割，再將舌尖和舌中圖像由原有的RGB顏色空間轉(zhuǎn)換為HSI顏色空間，在S分量和I分量上進行對比度拉伸來平滑圖像，最后對舌尖和舌中圖像進行閾值分割從而提取出舌點刺圖像，此方法可以更加清晰、有效地識別點刺舌。同時可以用于后續(xù)計算機研究點刺舌的圖像預(yù)處理，有利于清晰地顯示舌圖的點刺特征。目前有關(guān)于點刺舌的計算機識別研究較少，有待于進一步研究。

1.4 裂紋舌

“裂紋舌”一詞最早出現(xiàn)于典籍《敖氏傷寒金鏡錄》，指舌面上出現(xiàn)各種形狀不同、深淺不一、數(shù)量不等的裂紋、裂溝，且裂溝中一般無舌苔覆蓋，裂紋舌可反映機體陰血損耗的程度，其主病一般為陰液虧虛、熱病傷陰或水濕浸漬等[20-21]。

陳小芬等[22]提出一種自適應(yīng)閾值選擇方法用于檢測舌圖像裂紋。該方法利用舌圖像具有的L×a×b色彩特征，再結(jié)合L分量兩個特征和舌灰度圖像進行分析，同時對舌圖像區(qū)域進行分裂-合并，將舌圖像區(qū)域分割后選取舌中部區(qū)域的色彩值作為閾值，參照閾值對整個舌圖像進行裂紋提取。分析裂紋提取結(jié)果特征后，發(fā)現(xiàn)可以用可見指數(shù)來描述裂紋的數(shù)量，用深淺指數(shù)來描述裂紋的深淺。再將兩個指數(shù)進行數(shù)值量化，對裂紋舌進行計算機客觀描述。實驗發(fā)現(xiàn)兩個指數(shù)能夠精確地量化裂紋舌，但此實驗缺乏與視覺識別的對比實驗，無可供參考的識別率數(shù)據(jù)。

楊朝輝[23]先前提出基于3階單位矩陣代數(shù)特征的彩色裂紋舌圖像顏色變換算法，該方法通過增強舌裂紋顏色與舌周圍組織的顏色對比度來識別舌圖像裂紋，并發(fā)現(xiàn)此方法可以輔助臨床醫(yī)生對裂紋舌進行診斷。然而臨床上常遇到健康人因先天因素出現(xiàn)生理性裂紋舌，為進一步區(qū)分先天性裂紋與病理性裂紋，楊朝輝在原方法基礎(chǔ)上提出一種新的算法，首先運用分形幾何學(xué)技術(shù)的舌裂紋區(qū)域形狀提取算法，提取出舌裂紋區(qū)域的形狀特征；第二步使用舌圖像在RGB顏色空間上3個分量，通過將3個分量與位于舌裂紋區(qū)域內(nèi)數(shù)據(jù)的均值和標準差串接，再用串接生成的向量表示舌裂紋顏色-紋理特征；第三步將上一步生成的形狀特征與顏色-紋理向量融合成舌裂紋特征，最后使用線性支持向量機分類器結(jié)合第三步得到的舌裂紋融合特征進行分類診斷，用以區(qū)分生理裂紋舌圖像和病理裂紋舌圖像的。結(jié)果表明該方法分類診斷生理裂紋舌和病理裂紋舌圖像對區(qū)分兩種裂紋舌的靈敏度都超過90%。該方法靈敏度較高，有助于輔助臨床診斷生理裂紋舌和病理裂紋舌，可在臨床前期篩選出病理性裂紋舌進行下一步診斷，有利于提高診斷效率。但因無法對裂紋舌的嚴重程度進行量化，存在一定局限性。

1.5 齒痕舌

齒痕舌[24]是指舌體邊緣見牙齒的痕跡，又名齒印舌，多因舌體胖大受齒緣壓迫所致，齒痕舌與陽虛人群密切相關(guān)。

芮迎迎等[25]提出一種基于Mask Scoring R-CNN和遷移學(xué)習(xí)的舌圖像特征識別方法，首先使用CNN提取舌圖像特征，再使用ResNet-101和特征金字塔網(wǎng)絡(luò)（FPN）的主干網(wǎng)絡(luò)，從低層次和高層次的網(wǎng)絡(luò)中提取特征，根據(jù)不同比例繪制金字塔特征的級別，接著使用區(qū)域生成網(wǎng)絡(luò)將從主干網(wǎng)絡(luò)中提取的特征生成候選感興趣區(qū)域（ROI），最后為每個ROI檢測并分割齒痕。該方法能夠在小樣本舌圖像數(shù)據(jù)集上有效識別齒痕特征、準確定位齒痕位置、標定齒痕大小、提取齒痕個數(shù)。朱穆朗瑪?shù)萚26]通過道格拉斯-普克法提取舌圖像深度曲線后得到形態(tài)曲線，曲線的波峰頂點可對應(yīng)相應(yīng)的齒痕個數(shù)，且波峰對應(yīng)的邊緣深度可形象表示對應(yīng)齒痕的深度，對齒痕個數(shù)和深度進行數(shù)值量化后，可以通過以上兩個方面的數(shù)值對齒痕舌嚴重程度進行計算機客觀描述。實驗采用該方法提取55例已診斷為齒痕舌的舌圖中齒痕個數(shù)特征，其中44例的個數(shù)特征符合臨床醫(yī)生視覺觀察特征，準確率達80%，說明該實驗對于采用圖像分析技術(shù)客觀地提取分析齒痕舌、制定描述齒痕舌嚴重程度的量化標準兩個方面有一定的意義，但由于驗證該實驗算法時提取舌圖樣本例數(shù)太少，得到的80%的準確率不夠具有說服力。

2 基于舌形客觀信息的臨床研究

2.1 高血壓

點刺舌在中醫(yī)上認為是人體邪熱勝，沖刺舌絡(luò)引起，一般舌生點刺越多反應(yīng)邪熱越盛，點刺舌主臟腑熱極和血分熱盛證，常認為與肝火旺盛密切相關(guān)。中醫(yī)認為長期惱怒憂思導(dǎo)致肝氣郁滯，肝氣郁滯日久可化為肝火，五志過極皆能化火，日久又能轉(zhuǎn)為肝風(fēng)，這一現(xiàn)象與現(xiàn)代醫(yī)學(xué)認為的長期精神壓力導(dǎo)致高血壓一致[27]。龔一萍等[28]采用尼康5000數(shù)碼相機提取304例高血壓患者舌圖像，用計算機定量分析舌圖像特征后構(gòu)建舌形數(shù)據(jù)庫。數(shù)據(jù)庫中的94例高血壓病中不同舌形的分布情況為：裂紋舌40%、胖舌21%、齒痕舌15%、點刺舌9%、嫩舌12%、老舌3%，以上實驗數(shù)據(jù)表明，高血壓病患者存在裂紋舌的可能性較大，提示臨床上裂紋舌與高血壓病有關(guān)。陳聰?shù)萚29]運用TF-Ⅰ型中醫(yī)舌面診斷一體儀采集87例高血壓病患者的舌診圖像，以舌圖像有無裂紋將高血壓患者分為裂紋舌組與非裂紋舌組，依照常用的兩種色彩空間模型RGB模型、HSV模型對兩組的顏色參數(shù)進行比較分析。結(jié)果為裂紋舌組中：舌圖像參數(shù)的飽和度S值較大，紅、綠、藍（R、G、B）顏色分量值小。兩組相比較發(fā)現(xiàn)裂紋舌組圖像舌中、舌根部位的舌苔R、G、B值均顯著小于非裂紋舌組。兩組的色彩差異提示高血壓病患者裂紋舌的出現(xiàn)伴隨有舌圖像特征參數(shù)的變化，這些客觀參數(shù)可作為臨床診斷的重要依據(jù)。

2.2 冠心病

駱金文[30]發(fā)現(xiàn)舌體的老嫩可反映冠心病患者病情虛實的變化；舌體胖瘦、是否有裂紋能夠反映冠心病患者氣血津液的盈虧；舌形蒼老，舌面有點刺，多提示冠心病痰瘀日久，郁而化熱，熱毒充斥血分；舌體胖大而滑嫩，舌色淡白，多與冠心病患者命門火衰、水濕陰寒邪氣蓄積有關(guān)，為陽虛寒凝之證。焦啟超[31]將150例冠心病患者舌圖像和100例非冠心病患者進行比較，發(fā)現(xiàn)舌體胖大、邊有齒痕者各占67%和24%，可見舌體胖大、邊有齒痕是冠心病患者常見的舌形。王建華等[32]在對102例痰瘀互結(jié)型冠心病患者進行舌形頻數(shù)調(diào)查中發(fā)現(xiàn)：齒痕舌占31.43%，胖大舌占25.71%，舌形老占10.48%。以上實驗表明臨床上齒痕舌、胖舌、老舌、嫩舌等舌形與冠心病關(guān)系密切，可以作為臨床診斷冠心病的依據(jù)。

2.3 糖尿病

現(xiàn)代臨床發(fā)現(xiàn)，裂紋舌可輔助各系統(tǒng)疾病尤其是糖尿病的早期診斷。近年來，一些研究者探討了舌形客觀信息在糖尿病發(fā)展過程中的變化。蘭琴等[33]曾對136例糖尿病前期患者舌圖像圖進行分析，發(fā)現(xiàn)其與血糖的升高降低及糖尿病發(fā)病情況存在著一定的相關(guān)性。我們課題組使用Smart TCM-I型中醫(yī)生命信息分析系統(tǒng)采集分別400例2型糖尿病患者以及45例健康人的舌圖像，并分為氣虛證、陰虛證、氣陰兩虛證、陰陽兩虛證、健康對照組5個組，提取并分析了5個組患者的舌形特征參數(shù)，發(fā)現(xiàn)糖尿病各證候組裂紋參數(shù)顯著高于健康對照組，并且裂紋參數(shù)與空腹血糖指標具有相關(guān)性，表明不同中醫(yī)證候的2型糖尿病舌圖像參數(shù)具有一定的特征，可以反映空腹血糖的變化，可能為臨床提供無創(chuàng)性輔助診斷依據(jù)[34-35]。

2.4 腫瘤

研究發(fā)現(xiàn)腫瘤患者的舌圖像多具有為舌色暗、有瘀斑、有齒痕等特點，中醫(yī)上腫瘤的病機為痰凝血瘀與舌圖像特點符合，可以認為兩者有密切關(guān)聯(lián)[36]。董競方等[37]采集442例腫瘤患者舌圖像，輸入計算機后采用labelImg軟件進行齒痕舌特征標注，再通過卷積神經(jīng)網(wǎng)絡(luò)算法中的ResNet50構(gòu)建齒痕舌自動識別模型，繪制ROC曲線后使用多種指標：靈敏度、特異度、精確度、正確率、F1值等來評價模型的識別能力。實驗得出CNN-ResNet50模型的指標識別百分比由高到低分別為ROC曲線下面積AUC 96.00%，靈敏度93.02%，F(xiàn)1值91.88%，精確度90.76%，正確率90.15%，特異度84.19%，以上實驗數(shù)據(jù)說明該模型能較準確地找出腫瘤患者舌圖中齒痕具體位置，提供了一種較好的自動識別齒痕參數(shù)的模型。且進一步提示齒痕參數(shù)常見于腫瘤患者，兩者密切相關(guān)，可作為輔助診斷腫瘤的依據(jù)。

3 問題與展望

近20年，隨著計算機和圖像技術(shù)的快速發(fā)展，研究者們利用計算機圖像技術(shù)獲得了各種舌形參數(shù)，并利用這些客觀參數(shù)與傳統(tǒng)診斷方法進行對比實驗，以期獲得更加客觀、便捷的方式輔助臨床診斷。越來越多的實驗數(shù)據(jù)證明了舌形的變化可以提示不同的疾病發(fā)生發(fā)展，是臨床輔助診斷多種慢性疾病的重要依據(jù)，中醫(yī)舌形的客觀化及其臨床研究取得了長足的進步。但目前尚存在如下問題：一是關(guān)于點刺舌的舌形特征算法研究還不足，計算機圖像提取點刺特征的準確度較低，且缺少對不同程度點刺舌比較分析的客觀化方法。二是舌形客觀化的臨床研究多集中在高血壓、冠心病、糖尿病以及腫瘤等疾病，研究尚不夠廣泛需進一步擴大臨床常見疾病及亞健康舌形客觀特征的研究范圍。并且，關(guān)于中醫(yī)同病異證、異病同證的舌形客觀化研究也較少有研究者涉及。中醫(yī)舌形客觀化研究已取得了初步的成績，但是該研究領(lǐng)域還有很廣闊的空間亟待我們深入挖掘和探討。只有充分結(jié)合先進的科學(xué)技術(shù)，才能將中醫(yī)舌診的科學(xué)內(nèi)涵豐富展現(xiàn)。