基于圖像分割的舌象檢測方法

鄭 豐,黃曉陽*,王博亮,王彥暉

(1.廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院,福建廈門361005;2.廈門大學(xué)醫(yī)學(xué)院,福建廈門361102)

基于圖像分割的舌象檢測方法

鄭 豐1,黃曉陽1*,王博亮1,王彥暉2

(1.廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院,福建廈門361005;2.廈門大學(xué)醫(yī)學(xué)院,福建廈門361102)

傳統(tǒng)的數(shù)字化舌診研究系統(tǒng)多是建立標準的采集環(huán)境進行舌象采集,在密閉、光照穩(wěn)定的環(huán)境下得到高質(zhì)量的舌象圖像.而在開放環(huán)境下,光照情況以及拍攝角度等往往較為復(fù)雜,因此,進行舌象分析時,首先需檢測圖像中是否存在合適的可供后續(xù)分析的舌象.針對這一特點,提出了一種基于圖像分割的舌象檢測算法.該算法首先對圖像進行顏色校正的預(yù)處理,接著對圖像進行分割得到多個連通域,通過判斷連通域特征得到最終舌體區(qū)域后,再利用區(qū)域的紋理特征達到舌象檢測的目的.實驗結(jié)果表明,該方法具有較好的魯棒性,且有較好的檢測率,能夠?qū)崿F(xiàn)開放環(huán)境下的舌象檢測.

舌象檢測;圖像分割;開放環(huán)境

舌診是中醫(yī)的重要診斷方法.傳統(tǒng)的中醫(yī)舌診,主要依靠醫(yī)生的肉眼觀察,并進行分析判斷,診斷結(jié)果往往與醫(yī)生的經(jīng)驗和知識水平有關(guān)[1].近年來,信息技術(shù)的發(fā)展推動了中醫(yī)舌診客觀化、數(shù)字化和自動化的進程.國內(nèi)外學(xué)者對此進行了許多有益的探索,并開發(fā)了一些舌診系統(tǒng),如國內(nèi)的清華大學(xué)結(jié)合臨床經(jīng)驗研制了中醫(yī)舌診自動識別系統(tǒng)[2].臺灣國立中山大學(xué)對舌象采集與舌象特征進行深入研究,提出了電腦化中醫(yī)舌診系統(tǒng)[3].北京工業(yè)大學(xué)信號與信息處理研究室提出了包括顏色校正、區(qū)域分割、舌質(zhì)舌苔分離等一系列舌象處理流程,并開發(fā)了中醫(yī)舌象分析儀[4].香港理工大學(xué)人體生物特征識別研究中心,開發(fā)了完整的舌象采集分析系統(tǒng)[5].廈門大學(xué)醫(yī)學(xué)圖像處理實驗室與廈門大學(xué)醫(yī)學(xué)院中醫(yī)系合作,進行了深入研究,并自行開發(fā)研制了中醫(yī)舌診輔助中成藥使用系統(tǒng)[6-7].在舌象分割方面,香港理工大學(xué)也進行了許多有益的探索[8-9].這些系統(tǒng)采用軟硬件結(jié)合的方法,在標準的采集環(huán)境下,利用數(shù)碼相機等設(shè)備采集舌象,將其傳輸?shù)接嬎銠C中,運用計算機圖像信息分析系統(tǒng)對采集圖像進行分析,從而得出中醫(yī)診斷學(xué)的判斷.

這些中醫(yī)舌診系統(tǒng)的拍攝環(huán)境通常是固定的,即在密閉、光照穩(wěn)定的環(huán)境下拍攝采集,這樣能夠得到高質(zhì)量的舌象圖像,但這些設(shè)備儀器大都比較笨重,不易攜帶,且價格較為昂貴,具有一定的局限性.隨著智能手機的普及,通過移動設(shè)備在自然環(huán)境下進行舌象采集,獲得個人健康信息逐漸成為一個發(fā)展方向.如廈門強本科技有限公司設(shè)計了一種基于移動終端的中醫(yī)舌象分析系統(tǒng)[10],對移動設(shè)備采集的舌象進行分析,但隨之而來的問題是,由于在開放環(huán)境下采集舌象,存在光源色溫、光線強弱、拍攝角度、設(shè)備差異等諸多不確定因素的影響,導(dǎo)致圖像中舌象區(qū)域的顏色失真、面積過小、分辨率低等問題,使得最終獲取的結(jié)果同固定條件相比,采集的舌象圖像往往存在較大差異,對后續(xù)的分析帶來影響,甚至由于拍攝者的原因,采集的圖像中不存在可供分析的舌象圖像.因此,增強系統(tǒng)的容錯率與魯棒性顯得十分重要,在對舌象進行分析前,對圖像進行舌象檢測是必要的一個步驟.舌象檢測目的是判斷采集的圖像中是否存在合適的可供后續(xù)分析的舌象,并篩除一些低質(zhì)量的圖像,是進行后續(xù)舌象分析的步驟之一,其準確性直接影響整個系統(tǒng)的容錯率.廈門強本科技的中醫(yī)舌象分析系統(tǒng)通過將舌象圖像轉(zhuǎn)換到霍夫空間并有監(jiān)督的訓(xùn)練大量數(shù)據(jù),從而建立檢測模型,該方法雖然實現(xiàn)了舌象檢測功能,但存在對數(shù)據(jù)集依賴高的不足之處.本文中針對這一特點,提出了一種基于圖像分割的舌象檢測方法.

1 舌象檢測

舌象檢測的目的是為了判斷圖像中是否存在合適的可供后續(xù)分析的舌象,并篩除一些低質(zhì)量的圖像,是進行后續(xù)舌象分析的步驟之一.本文中針對開放環(huán)境下移動設(shè)備采集舌象圖像的特點提出了一種基于圖像分割的舌象檢測方法,具體流程為:舌像采集,顏色校正,圖像分割,區(qū)域特征比對,紋理特征判斷.

該方法首先對圖像進行顏色校正的預(yù)處理,減少因外界光源色溫帶來的影響.然后對圖像進行分割,得到多個可能的舌體區(qū)域,并對各區(qū)域進行特征判斷,得到最終的舌體區(qū)域,而后通過比較區(qū)域紋理特征進行判斷.顏色校正部分采用灰度世界算法[11],并針對舌象圖片特有的顏色特征設(shè)定收斂值.舌象分割部分采用最大類間方差、色調(diào)閾值分割和R、G、B 3色分量差值分割相結(jié)合的方法進行初步分割,并利用形態(tài)學(xué)運算去除噪點,平滑連通域.區(qū)域特征判斷部分通過對比各區(qū)域的形狀特征得到最終舌體區(qū)域,舌象的紋理特征判斷則采用灰度共生矩陣為特征進行檢測.實驗結(jié)果表明,本文中提出的方法進行舌象檢測能夠獲得較好的結(jié)果.

1.1顏色校正

在使用手機、數(shù)碼相機等設(shè)備拍攝時,由于拍攝的環(huán)境不同、光照影響以及采集設(shè)備的白平衡處理,會導(dǎo)致圖像的顏色失真,而顏色作為舌象分析中極為重要的一個特征,處理好顏色校正顯得尤為重要.廈門大學(xué)醫(yī)學(xué)圖像處理實驗室針對自然環(huán)境下舌診圖像提出了一種偏色檢測與顏色校正方法[12].本文中采用經(jīng)典的灰度世界算法對圖像進行顏色校正,并在此基礎(chǔ)上,分析標準采集環(huán)境下舌象圖片R、G、B 3通道均值分別與圖像整體均值的比值αi,針對舌象圖片的特點調(diào)整算法收斂值.

灰度世界算法假設(shè)對于任意圖像,當(dāng)它有足夠的色彩變化時,圖像中的R、G、B分量的均值會趨于相等.而舌象圖像中的R、G、B分量的均值與圖像整體均值存在不同的比例關(guān)系,因此,本文中針對這一特點引入αi系數(shù),改進后的算法按照下式調(diào)整圖像R、G、B 3個通道的均值來實現(xiàn)顏色校正.

其中,Ravg、Gavg、Bavg分別為3個顏色通道的均值,Rd、Gd、Bd校正后的像素值,Rs、Gs、Bs為原始圖像像素值.實驗結(jié)果表明,經(jīng)過調(diào)整系數(shù)后的灰度世界算法能夠更加符合舌象圖片的特性.

為了更客觀地分析顏色校正結(jié)果,本文中采用顏色恒常性研究中普遍使用的色差[13]計算方法.色差是在L、a、b顏色空間中對顏色差異的度量,用ΔE表示.兩幅圖像之間的平均色差值ΔEmean越小,圖像顏色越接近.其計算公式如下:

其中,ΔL、Δa、Δb分別為對應(yīng)像素點的差值,ΔEp為單個像素的差值,m和n為圖像寬高.

圖1給出了灰度世界算法校正結(jié)果.表1給出了灰度世界算法處理偏色圖片時的色差統(tǒng)計信息.結(jié)果表明,經(jīng)過灰度世界算法校正后的圖像與偏色圖像相比,更加接近于標準圖像(圖1).

圖1　灰度世界算法校正結(jié)果Fig.1 Correction results of gray world

表1　偏色圖像與算法校正結(jié)果同標準圖的色差值ΔEmeanTab.1 ΔEmeanvalues of corrected tongue images and color cast images with the standard ones

1.2圖像分割

由于開放環(huán)境下采集的舌象圖像中大都存在背景(如衣服)、人臉以及嘴唇等非舌象圖像,進行舌象檢測時,需把舌象從這些非舌象區(qū)域中分割出來.本研究根據(jù)這一特點,提出一種基于最大類間方差、色調(diào)閾值分割和R、G、B 3色分量差值相結(jié)合的方法進行圖像分割,并結(jié)合形態(tài)學(xué)運算去除噪點,平滑連通域.其中,最大類間方差用于提取人臉區(qū)域,刪除背景環(huán)境圖像;色調(diào)閾值分割用于區(qū)分皮膚與舌象,刪除舌象周圍膚色圖像;R、G、B 3色分量差值用于分割舌象邊緣與周圍皮膚,增強舌象邊緣.

1.2.1最大類間方差法

最大類間方差法是一種自適應(yīng)的閾值方法[14],它按照圖像的灰度值將圖像分為前景和背景兩部分.背景和前景之間類間方差的大小決定了構(gòu)成圖像兩部分的差距大小.當(dāng)部分前景錯分為背景或者部分背景錯分為前景時,都會導(dǎo)致類間方差變小.因此,類間方差最大意味著錯分概率最小.在進行有意識的舌象拍攝時,圖像中人臉區(qū)域為前景,因此,利用該方法有效地刪除衣服等背景環(huán)境圖像.

設(shè)圖像f(x,y)的灰度取值范圍G=[0,L-1],各灰度值出現(xiàn)的概率為Pi,閾值T對圖像進行二值化后分成兩部分和兩部分的概率分別為和α1=1-α0,平均灰度值分別為和則兩部分的最大類間方差為:

圖2　最大類間方差法處理結(jié)果Fig.2 The result of otsu

1.2.2色調(diào)閾值分割

HSV(hue,saturation,value)是根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間,其中H表示色調(diào),由于舌象的顏色特征與皮膚顏色存在差異,因此本研究利用HSV色彩空間中的色調(diào)分量H來區(qū)分膚色與非膚色區(qū)域,從而去除人臉對系統(tǒng)的干擾.人的膚色與舌象的色調(diào)H的差異較大,因此本文利用色調(diào)閾值分割將圖像二值化.當(dāng)色調(diào)介于某個區(qū)間時,認為是膚色,處理結(jié)果如圖3.可以看出,該方法在膚色與舌象的分離上能夠得到很好的效果,刪除了圖像中的膚色區(qū)域(黑色).

圖3　色調(diào)閾值分割處理結(jié)果Fig.3 The result of hue threshold

1.2.3R、G、B 3色分量方差法

R、G、B 3色分量方差法是根據(jù)大量的觀察實驗指出舌象邊緣的R、G、B 3色分量與周圍皮膚有較大差異,提出的邊緣增強公式,在舌體區(qū)域分割中取得了一定的效果[3].將該方法作為判斷舌頭邊緣與周圍皮膚的一種方法并用于本文提出的混合算法中.

設(shè)大小為M×M的圖像f(x,y)的R、G、B取值范圍為[0,1],則對于每個像素點(m,n)計算:

其中fm,n表示最終像素點的R、G、B取值,處理結(jié)果如圖4所示.可以看出,該方法能夠進一步地分割舌象邊緣與周圍皮膚.

1.3區(qū)域特征判斷

對采集的舌象圖像經(jīng)過上述3種方法計算后得到3個結(jié)果圖像,對這3個結(jié)果圖像進行“與”運算后即表示同時滿足上述3個步驟.經(jīng)過處理的圖像中存在一些大小形狀各異的連通域,這些連通區(qū)域是舌象可能存在的區(qū)域,因此需要對各個連通域作進一步的分析判斷,從而確定最終的舌體區(qū)域.由于進行有意識的舌象拍攝時,采集的圖像中舌象區(qū)域的面積、長寬比、舌象位置等具有特定的取值范圍,因此,根據(jù)舌象的這些形態(tài)特征設(shè)計的的區(qū)域特征判斷的規(guī)則如下:

圖4　R、G、B 3色分量方差法處理結(jié)果Fig.4 The result of R、G、B threshold

1)得到連通域的凸包[15]Si;

2)計算凸包Si與圖像S的面積比Sarea=Si/S,刪除面積比小于0.02的區(qū)域;

3)計算連通域質(zhì)心Ci離圖像中心C0的歐式距離

4)計算連通域最小右邊界矩形的長寬比Rscale= W/H;

5)采用Hu[16]的7個不變矩mi對比Si與標準舌象形狀S0的匹配度

6)根據(jù)下式計算最大值,最終選出舌體區(qū)域.

經(jīng)過本步驟的區(qū)域特征判斷,圖像中剩余的連通區(qū)域為最有可能存在舌象的區(qū)域.實驗結(jié)果表明,該規(guī)則能夠以較高的準確率篩選出舌象區(qū)域.

1.4紋理特征

對于通過上述步驟得到的區(qū)域,是最可能存在舌象的區(qū)域.上述基于圖像分割、區(qū)域特征判斷等方法都是基于圖像的形狀特征.為了提高舌象檢測的準確率,選擇紋理特征進行進一步的判斷.紋理特征是與視覺感受密切相關(guān),是圖像中普遍存在的特征,是描述和識別物體的一種重要的整體性特征.近些年來,對于紋理特征提取的各種理論或方法已經(jīng)基本形成,主要有統(tǒng)計方法、結(jié)構(gòu)方法、信號處理方法、幾何方法和模型方法.而本中采用最常用且經(jīng)典的統(tǒng)計方法,灰度共生矩陣(GLCM).該特征是被廣泛應(yīng)用并具有較好的鑒別能力的方法.它運用統(tǒng)計學(xué)中的概率來研究圖像中灰度的空間相關(guān)特性.

對于圖像中的任意一點(p,q)和偏移它的另一點(p+Δp,q+Δq),形成一個點對(m,n),其中m是點(p,q)的灰度值,n是點(p+Δp,q+Δq)的灰度值.固定Δp和Δq移動點(p,q),就會得到相應(yīng)的點對(m,n),設(shè)灰度值的級數(shù)為L,則相應(yīng)的灰度值組合為L2.將最終整幅圖像的統(tǒng)計結(jié)果計算(m,n)的出現(xiàn)頻率,歸一化為概率Pmn,則灰度共生矩陣的聯(lián)合概率密度分布為[Pmn]L×L.根據(jù)概率密度分布可以得出角二階矩PCON、對比度PASM、熵PENT、逆差矩PIDM、中值PMEAN和灰度相關(guān)PCON6個紋理特征[17].

本文中通過計算水平、垂直、對角偏移量的紋理特征,分別按上述公式(10)計算,共得到18維的特征向量.以這18維特征為基礎(chǔ),人工選擇10幅標準環(huán)境下的舌象圖像,分別計算每個維度的平均值平均值F作為標準特征向量,并計算待判斷的舌象圖像的向量f與標準舌象特征向量F的特征相似度,采用下列公式計算,若結(jié)果D小于閾值T,則判斷為舌象.

100幅非舌象區(qū)域與舌象區(qū)域同標準特征向量的特征相似度均值分別為0.904 7和2.024 2.可以看出,舌象區(qū)域與非舌象區(qū)域的紋理特征相似度具有較大的差別,以此作為特征可以較好的區(qū)分舌象區(qū)域.

2 實驗結(jié)果

如圖5所示,圖5(a)為手機在光照明亮的自然環(huán)境下采集到的舌象,圖5(b)為經(jīng)過舌象分割結(jié)果的圖,圖5(c)為經(jīng)過區(qū)域判斷后的圖,圖5(d)為檢測結(jié)果,圖上的紅線即為本文算法檢測出的舌象.從結(jié)果圖上可以看出,本文的算法能夠從圖像中識別、檢測出舌象所在的位置,達到了舌象檢測的目的.為了更客觀的分析本文方法的有效性,隨機選出一批移動設(shè)備采集的樣本集,包括575張含有舌體的圖像與634張不含舌體的圖像,通過人工判別的方式來判斷本文算法的檢測結(jié)果.實驗結(jié)果為對所有樣本的檢測結(jié)果,其中有988張圖像檢測正確221張檢測失敗.計算系統(tǒng)的準確率P=(tp+tn)/N與召回率R=(tp+fp),其中tp為正例中判斷對的樣本數(shù),fp為正例中判斷錯的樣本數(shù),tn為反例中判斷對的樣本數(shù),N為樣本總數(shù).計算得系統(tǒng)的準確率為81.72%,召回率為83.31%.實驗結(jié)果表明,本文的方法對大部分圖像(非嚴重偏色、光照強弱適中、輕微模糊)有較好的結(jié)果,能有效地在圖像中檢測舌象區(qū)域,具有較高的準確率與召回率.部分圖像由于光線、模糊導(dǎo)致圖像嚴重失真的原因,造成檢測失敗.

3 結(jié) 論

本文中對開放環(huán)境下的舌象檢測方法進行了研究,針對移動設(shè)備在開放環(huán)境下采集圖像這一特點,提出了一種基于圖像分割的舌象檢測方法,并針對舌象圖片這一具體情況,改進并結(jié)合多種算法,在實驗中取得了良好效果.在對圖像進行分割時,結(jié)合色調(diào)閾值分割、最大類間方差和R、G、B 3色分量差值,通過弱分割法的結(jié)合,增強了舌象分割效果,最后再由區(qū)域篩選與紋理特征判斷達到了舌象檢測的目的.實驗結(jié)果表明,本文的算法流程具有較高的魯棒性,且具有較高的檢測率,能夠?qū)崿F(xiàn)開放環(huán)境下的舌象檢測.同時對于因光源偏色嚴重、光線過強過弱造成的顏色失真與拍攝抖動模糊造成紋理失真的舌象圖像,沒有進行后續(xù)分析的價值,因此,建議在光源穩(wěn)定、光線強弱適中的環(huán)境下采集較高質(zhì)量的圖像.

舌象檢測的難點在于如何克服環(huán)境因素的干擾,包括光線與背景等.在本文中,顏色校正采用了改進的灰度世界相算法,雖然針對舌象圖片進行了系數(shù)改變,但灰度世界算法的線性校正方法容易導(dǎo)致校正后的圖像灰度值過大或者過小.舌體判斷部分,本文中采用了紋理特征進行判斷,后續(xù)的研究中可以進一步結(jié)合其他特征進行更為精準的判斷.

圖5　舌象檢測結(jié)果Fig.5 Mainsteps of tongue detection

[1] 王彥暉,何寬其,陳少東.觀舌養(yǎng)生[M].福州:福建科技出版社,2009:1-2.

[2] 余興龍,竺子民,金國潘,等.中醫(yī)舌診自動識別系統(tǒng)[J].儀器儀表學(xué)報,1994,15(1):67-71.

[3] 蔣依吾,陳建仲,張恒鴻,等.電腦化中醫(yī)舌診系統(tǒng)[J].中國中西醫(yī)結(jié)合雜志,2000,20(2):145-147.

[4] 蔡軼珩,劉長江,沈蘭蓀.新型舌象分析儀的設(shè)計方案[J].測控技術(shù),2005,24(5):34-36.

[5] 王興政,張大鵬.中醫(yī)舌象采集分析系統(tǒng)設(shè)計研究[C]∥中國中西醫(yī)結(jié)合學(xué)會診斷專業(yè)委員會2009年會論文集.福州:[s.n.],2009:286-293.

[6] 楚宇燕.基于中醫(yī)望診的舌象特征提取與健康信息分析技術(shù)研究[D].廈門:廈門大學(xué),2008:23-47.

[7] 楊大生.中醫(yī)舌體自動化分割及質(zhì)苔分離的關(guān)鍵技術(shù)研究[D].廈門:廈門大學(xué),2007:15-45.

[8] CUI Z C,ZUOW M,ZHANG H Z,et al.Automated tongue segmentation based on 2D Gabor filters and fast marching[J].Intelligence Science and Big Data Engineering,2013,8261:328-335.

[9] WU K,ZHANG D.Robust tongue segmentation by fusing region-based and edge-based approaches[J].Expert Systems with Applications,2015,42(21):8027-8038.

[10] 王博亮.一種基于移動終端的中醫(yī)舌象分析系統(tǒng):中國, 2014200304657[P].2014-12-03.

[11] RIZZI A,GATTA C,MARINI D.A new algorithm for unsupervised global and local color correction[J].Pattern Recognition Letters,2003,24(11):1663-1677.

[12] 劉齊,黃曉陽,王博亮,等.自然環(huán)境下舌診圖像偏色檢測及其顏色校正方法[J].廈門大學(xué)學(xué)報(自然科學(xué)版), 2016,55(2):278-284.

[13] WANG X,ZHANG D.A high quality color imaging system for computerized tongue image analysis[J].Expert Systems with Applications,2013,40(15):5854-5866.

[14] OHTSU N.A threshold selection method from graylevel histograms[J].IEEE Transactions on System Man &Cybernetics,1979,9(1):62-66.

[15] GRAHAM R L,YAO F F.Finding the convex hull of a simple polygon[J].Journal of Algorithms,1983,4(4): 324-331.

[16] HU M K.Visual pattern recognition by moment invariants[J].IRE Transaction on Information Theory, 1962,8(2):179-187.

[17] HARALICK R M,SHANMUGAM K,DINSTEIN I. Textural features for image classification[J].IEEE Transactions on Systems Man&Cybernetics,2010,3 (6):610-621.

A Method for Tongue Detection Based on Image Segmentation

ZHENG Feng1,HUANG Xiaoyang1*,WANG Boliang1,WANG Yanhui2

(1.School of Information Science and Engineering,Xiamen University,Xiamen 361005,China; 2.Medical College of Xiamen University,Xiamen 361102,China)

Traditional Chinese-medicine tongue diagnosis automated analysis systems mostly collect tongue images in a standard collection environment,and thus can obtain high-quality images.However,for the open environment,the illumination and shooting angle varies with each individual.Therefore,we should ensure that images contain the tongue.For this characteristic,we propose an imagesegmentation-based tongue detection method.First,a color correction method is used for pretreatment.Then the image segmentation method divides multiple connected domains.Finally,we achieve the purpose of tongue detection by analyzing features of connected domains.Experimental results show that the proposed method effectively solves the problem of tongue detection inopen environments, and achieves higher robustness and detection rates.

tongue detection;image segmentation;open environment

TP 391

A

0438-0479(2016)06-0895-06

10.6043/j.issn.0438-0479.201603016

2016-03-08 錄用日期:2016-05-09

國家自然科學(xué)基金(61102137,61271336);廈門市重大科技計劃項目(3502Z20100006)

xyhuang@xmu.edu.cn

鄭豐,黃曉陽,王博亮,等.基于圖像分割的舌象檢測方法[J].廈門大學(xué)學(xué)報(自然科學(xué)版),2016,55(6):895-900.

ZHENG F,HUANG X Y,WANG B L,et al.A method for tongue detection based on image segmentation[J].Journal of Xiamen University(Natural Science),2016,55(6):895-900.(in Chinese)