舌圖像處理技術的研究進展

蔣海洋，王慧雯，郭春榮，鄒 璐，李福鳳，李 娜，孫祝美

(上海中醫(yī)藥大學·上海 201203)

舌診是中醫(yī)四診的重要內(nèi)容，是辨證論治的主要依據(jù)。中醫(yī)臨床實踐證明[1]，在疾病發(fā)展過程中，病人的舌象可反映其臟腑虛實、氣血盛衰、津液盈虧、病位深淺和預后好壞。傳統(tǒng)的舌診采用肉眼直接觀察，診斷結論依賴于醫(yī)生的知識水平、臨床經(jīng)驗和診斷技巧，缺乏客觀性和可重復性，同時環(huán)境、燈光等外界因素也會影響舌診的準確性。在舌診的客觀化研究中，運用計算機技術進行舌圖像處理和分析是目前的主流研究方式。舌圖像處理是指對相機采集的舌圖片進行規(guī)范化處理，其為后續(xù)的舌圖像特征分析提供了基礎。本文通過搜集整理近年的相關文獻，從舌圖像顏色校正、舌圖像分割、舌質(zhì)舌苔分離三個方面對舌圖像處理技術的研究進行綜述。

1 舌圖像顏色校正

舌圖像顏色校正是舌圖像處理的首要環(huán)節(jié)。通過對舌圖像顏色校正，可消除色差，使圖像最大程度地還原舌的真實顏色，得到規(guī)范的圖像數(shù)據(jù)，并提高后續(xù)舌象特征分析的識別率和準確性。

舌圖像一般由數(shù)碼相機采集而來，只有將其輸出到計算機顯示器上才能進行處理分析，但數(shù)碼相機和計算機顯示器的色域(色彩范圍區(qū)域)是不同的，色域無一一映射關系，因此會產(chǎn)生彩色失真；同時，外界光源的變化、設備的隨機噪聲等也會影響舌象的彩色重現(xiàn)[2]。

根據(jù)采集舌圖像時處于封閉或開放環(huán)境的不同而采取不同的顏色校正方案。封閉環(huán)境下，舌象采集儀一般利用模擬自然光的標準光源(D65)作為光照條件，顏色校正主要需解決不同設備色域差別導致的失真。如王永剛等[3]提出一種色貌評價與三刺激值(三原色刺激人視網(wǎng)膜的量值)匹配相結合的在線校正方法，其關鍵是將色標與舌體同時拍攝，動態(tài)求解校正模型參數(shù)，從而在色標數(shù)據(jù)標準化的同時使舌色校正為較真實的顏色，主觀色貌評價和模擬實驗證明這種方法具有穩(wěn)定性、可靠性的特點；蔡軼珩等[4]從光譜反射率復原角度，采用有限維模型對舌色范圍進行了分析,其估計的光譜反射率曲線計算得到的顏色值與實際值比較接近，從而證實了此舌圖像顏色校正方法具有一定的可行性。

在開放環(huán)境下，利用自然光作為光照條件，會造成照射物體表面的明度、色調(diào)改變而引起色差，因此顏色校正主要解決光線因素引起的色差。為了防止不同設備導致的色域差別，一般選用與設備無關的Lab顏色空間進行校正前后的定量評價。如許家佗等[5]提出自然光條件下采集舌圖像過程中的兩種色差校正法，一種為拍攝前硬件手動白平衡，另一種為拍攝后軟件數(shù)字化修正。這兩種方法通過Lab顏色空間對舌色進行定量分析后，證實舌色還原準確。劉齊等[6]采用等效圓的方法在Lab顏色空間進行偏色檢測，采用改進的灰度世界法及鏡面法進行舌象顏色校正，結果顯示偏色檢測方法可以更準確地反映主觀感受到的偏色程度，顏色校正方法也無需標準色卡的輔助，校正后的偏色程度更低，比傳統(tǒng)算法具有更好的顏色校正效果。

2 舌圖像分割

數(shù)碼相機拍攝的舌圖像包含了舌體及部分面部區(qū)域，為了便于后續(xù)舌象特征的研究分析，需要將舌體從圖像中分割提取出來。早期舌圖像分割多采用手工方式，雖準確率較高，但需專業(yè)人員參與，費時費力[7]。因此，研究舌體區(qū)域的自動分割技術是非常有必要的。經(jīng)典的舌圖像自動分割技術有閾值法、區(qū)域生長法、Snakes模型等方法。

2.1 閾值法 閾值法是區(qū)域分割法的一種，是最常用的圖像分割法之一。閾值法的原理是用一個或多個閾值將圖像像素點按灰度級分為若干類進行分析，其優(yōu)點是計算簡單、運算效率高、速度快[8]，缺點是對圖像質(zhì)量要求較高，當目標(舌體)和背景(非舌體)區(qū)域顏色相近時分割效果不佳。因此在實際應用中，閾值法結合顏色空間、形態(tài)學等方法綜合使用，可使分割效果更好、更準確。如姜朔等[9]通過提取原始舌圖像RGB與HSV色彩空間中G、B、V顏色通道信息，用Otsu閾值法分割舌圖像，然后采用形態(tài)學自適應修正提升分割結果的精度；張廣宇[10]將舌圖像HSI顏色空間的S通道與I通道生成兩個新的顏色通道，對兩個通道分別使用迭代閾值分割法并拼接，再進行形態(tài)學修正得到準確的分割結果。

2.2 區(qū)域生長法 區(qū)域生長法是區(qū)域分割法的一種，在圖像分割中也較常使用。區(qū)域生長法的原理是選取若干種子點，依據(jù)一定的生長準則，分別生長為若干子區(qū)域后，再將若干相似子區(qū)域合并為較大的區(qū)域進行分析。該方法的優(yōu)點是計算簡單，對于較均勻的目標有較好的分割效果，主要的缺點或難點是對相似度的閾值把握，如對相似度要求低則容易將舌體和周圍的皮膚、嘴唇一起選取進來；反之，又易遺漏舌體區(qū)域而未能完全選取[8]。為改善這一問題，馬超等[11]提出先用中值濾波去除圖像噪聲，在YCbCr彩色空間對圖像進行預處理，去除面頰皮膚等背景信息，然后用均值移動法將舌體與嘴唇、牙齒分開，最后應用改進的區(qū)域生長法，得到準確完整的舌體圖像；郭雪妍等[12]提出了一種改進的區(qū)域生長算法，該算法以舌圖像的先驗知識為設計基礎，綜合運用HSV顏色模型、直方圖閾值化法，有效避免了皮膚、陰影的干擾，取得了良好的分割效果。

2.3 Snakes模型 Snakes模型屬于邊緣檢測法，是一種活動輪廓模型。其原理是先尋找一個初始輪廓，然后通過使邊緣能量函數(shù)最小化逐漸逼近真實邊緣。Snakes模型相較其他分割技術的優(yōu)點是動態(tài)性，并結合了圖像高層語義信息(即圖像的概念層信息)，保證了目標結果是一條完整的曲線；缺點是高度依賴初始輪廓的完整度，并且對于凹陷輪廓不能達到很好的效果[13]。為了消除初始輪廓對Snakes模型的影響，傅之成等[14]首先使用徑向邊緣檢測得到初始輪廓，使用色彩對消來消除嘴唇影響，然后用Snakes模型得到準確的舌體輪廓，通過對300張舌圖像分析發(fā)現(xiàn)，此方法分割成功率達到94%；劉宇博等[15]將舌體圖像轉(zhuǎn)化為YCbCr和HSV顏色空間，經(jīng)數(shù)學形態(tài)學修正后得到初始輪廓，結果表明分割正確率達到96%。

2.4 深度學習 以閾值法、區(qū)域生長法為主的區(qū)域分割法和以Snakes模型為主的邊緣檢測法應用較普遍，但均存在相關缺陷，需要結合其他方法共同應用。因此，近年來興起了應用人工智能領域的深度學習進行舌圖像的自動分割，取得了顯著的效果。深度學習又稱深度神經(jīng)網(wǎng)絡，除了提取圖像的顏色特征外，能夠提取圖像的深層語義信息，從而實現(xiàn)舌圖像的精準分割。如王麗冉等[16]提出了一種基于兩階段卷積神經(jīng)網(wǎng)絡的舌體分割方法，實驗表明深度學習算法在準確率、召回率、F值方面能夠取得較為理想的分割結果且具有較快的處理速度。Xinlei Li等[17]提出了一種端到端的迭代網(wǎng)絡舌像摳圖技術，經(jīng)與GrabCut、Closed-Form matting、KNN matting三種算法比較，此算法更準確有效，且同時適用于封閉環(huán)境和開放環(huán)境采集的舌圖像，真正意義上實現(xiàn)了無交互、無初始化的像素級別上的自動舌體分割。這些方法均是今后舌圖像自動分割的發(fā)展方向。

3 舌質(zhì)舌苔分離

舌質(zhì)和舌苔的完整分離提取，對后續(xù)舌象特征的定性、定量分析具有至關重要的作用。早期舌質(zhì)舌苔分離多采用閾值法，結合舌質(zhì)舌苔的顏色、分布等先驗知識輔助分類，近年來多采用機器學習的方法，其代表算法為K-NN算法(有監(jiān)督分類算法)、K-means算法(無監(jiān)督聚類算法)。王學民等[18]設計開發(fā)了一種基于雙光源的舌質(zhì)舌苔分離系統(tǒng)，研究了白、綠光源對舌質(zhì)舌苔分離效果的影響，結果表明純綠光圖像分離效果更好，對于舌苔厚薄交錯的情況也能取得較好的分離效果；韓立博等[19]先將舌圖像轉(zhuǎn)換為Lab顏色空間，對a*通道舌圖像進行直方圖均衡化以及伽馬校正，接著對增強后的圖像利用K-means聚類法進行分離。在對200幅患者舌圖像進行實驗后表明，經(jīng)直方圖均衡化及伽馬校正后的a*通道舌圖像舌質(zhì)舌苔分離結果明顯強于未經(jīng)處理的分離結果，且分割合格率達到了97%。這些方法對舌質(zhì)舌苔的準確分離都起到了很好的效果。

4 結語

舌圖像處理技術，包括了舌圖像顏色校正、舌圖像分割、舌質(zhì)舌苔分離三個方面。首先，通過舌圖像的顏色校正，可對采集后的舌圖片進行修正，提高色彩還原度和圖片質(zhì)量，但無法處理采集過程中舌體拍攝不完整、不清晰、抖動，光照亮度不均勻等情況，因此要注意前期采集設備的調(diào)校和拍攝環(huán)境的選擇；其次，舌圖像分割技術種類繁多，各有優(yōu)缺點，在應用時可綜合幾種方法，以提高圖像分割的成功率和準確性。在樣本量較大的情況下，可優(yōu)先使用人工智能領域的深度學習實現(xiàn)精準分割；最后，在舌質(zhì)舌苔分離方面，要重視舌質(zhì)、舌苔在顏色和分布上的先驗知識，尤其要以顏色作為舌苔舌質(zhì)區(qū)分的主要判斷依據(jù)。同時，舌質(zhì)舌苔分離也是承接后續(xù)舌象特征定量分析的最終環(huán)節(jié)，將舌苔、舌質(zhì)分離后，可進一步計算舌色、苔色對應的顏色空間(如Lab)值，或單獨研究舌苔的厚薄、腐膩等特征，因此至關重要。