基于舌象特征的中醫(yī)體質(zhì)自動辨別系統(tǒng)研究

黃恩銘，譚敏敏，袁曉琳

（1. 南京中醫(yī)藥大學(xué)教務(wù)處，南京 210023；2. 南京農(nóng)業(yè)大學(xué)信息中心，南京 210095；3. 南京中醫(yī)藥大學(xué)中醫(yī)學(xué)院·中西醫(yī)結(jié)合學(xué)院，南京 210023）

0 引言

中醫(yī)舌診是幾千年來中國醫(yī)生治療實(shí)踐和經(jīng)驗(yàn)積累中形成的相對完整的診治方法和理論，一般是通過辨識舌象的相關(guān)特征來了解人體的生理、病理變化，進(jìn)行健康狀態(tài)和疾病診斷的一種方法［1］。傳統(tǒng)的舌診方法有一定的局限性，容易受到主觀因素影響，如醫(yī)生的個人能力、知識水平、臨床經(jīng)驗(yàn)、主觀意識以及診斷環(huán)境等都可能對診斷結(jié)果造成一定的偏差。隨著時(shí)代的發(fā)展和科技的進(jìn)步，特別是大數(shù)據(jù)與人工智能的廣泛應(yīng)用，中醫(yī)舌診客觀化研究正在逐步開展。中醫(yī)舌象特征提取與自動識別的研究早在2002年左右就開始出現(xiàn)，但由于技術(shù)限制，都是在傳統(tǒng)的圖像處理與識別的基礎(chǔ)上做舌象信息提取，準(zhǔn)確率比較低。直到2018 年才開始出現(xiàn)試圖采用卷積神經(jīng)網(wǎng)絡(luò)識別舌象信息的相關(guān)研究，到目前為止，智能舌診方面的研究還比較缺乏。目前有梁玉梅［2］做了基于面象特征的中醫(yī)體質(zhì)自動辨別系統(tǒng)，涂帥［3］利用改進(jìn)的FCN 分割模型與拉東變換提取舌象裂紋特征構(gòu)建基于舌像特征的中醫(yī)體質(zhì)檢測系統(tǒng)，張瑩瑩［4］利用知識圖譜構(gòu)建舌像自動診療系統(tǒng)，等等。中醫(yī)舌診與人工智能深度融合，實(shí)現(xiàn)自動辨別，進(jìn)一步提高舌診的客觀性、有效性，是中醫(yī)舌診現(xiàn)代化研究的主流方向。

1 舌象與中醫(yī)體質(zhì)的辨證關(guān)系

體質(zhì)是由先天遺傳或后天獲得所形成的一種機(jī)體狀態(tài)存在形式，是人類在形體狀態(tài)與動態(tài)表現(xiàn)中固有的一種穩(wěn)定性特征。國醫(yī)大師王琦［5］在《中醫(yī)體質(zhì)學(xué)》中繼承了古代及現(xiàn)代體質(zhì)分型方法的臨床應(yīng)用性原則，分析古代文獻(xiàn)共109 個體質(zhì)特征描述和現(xiàn)代文獻(xiàn)共408 個體質(zhì)特征描述，結(jié)合臨床實(shí)踐，總結(jié)出了人體一般共有9 種體質(zhì)，分別為平和質(zhì)、氣虛質(zhì)、陰虛質(zhì)、陽虛質(zhì)、痰濕質(zhì)、濕熱質(zhì)、淤血質(zhì)、氣郁質(zhì)、特稟質(zhì)。這9種體質(zhì)最大程度地揭示了人類疾病的未來發(fā)展方向以及陰陽虛實(shí)的規(guī)律，并對中醫(yī)“治未病”和臨床診治方案提供重要指導(dǎo)作用。

匡調(diào)元［6］認(rèn)為舌象具有一定的生物全息性，舌屬于一種全息元，它與全身其他全息元當(dāng)具有對應(yīng)的相似性，如舌中線由舌尖到舌根依次主心、肺、脾、胃、腎，兩側(cè)主肝膽。構(gòu)成舌象的生命物質(zhì)與構(gòu)成該個體體質(zhì)的生命物質(zhì)是一致的，所以根據(jù)舌象可以辨明體質(zhì)類型。通?？筛鶕?jù)人體舌象的外在表征判斷體質(zhì)的類型，即人體舌象特征與人體體質(zhì)有著一定的對應(yīng)關(guān)系，這是在數(shù)千年的臨床實(shí)踐和經(jīng)驗(yàn)積累中形成的相對完整的中醫(yī)診療理論。中醫(yī)學(xué)認(rèn)為，舌通過經(jīng)絡(luò)循環(huán)，直接或間接地與五臟六腑相通，又與人的四肢百骸相連。臟腑的病變也必然影響精氣的變化而反映在舌象上。中醫(yī)舌診是判斷人體體質(zhì)的一個重要途徑，是中醫(yī)學(xué)獨(dú)特的最有價(jià)值的診斷方法之一，清代醫(yī)家劉恒瑞在《察舌辨證新法》中系統(tǒng)總結(jié)了看舌八法：“一看苔色，二看舌質(zhì)，三看舌尖，四看舌心，五看潤燥，六看舌邊，七看舌根，八看變換。”

2 舌象分割與舌象特征提取

舌診是傳統(tǒng)中醫(yī)診斷的必察內(nèi)容，主要是觀察舌體的大小、厚薄、有無齒痕、顏色如何、有無裂紋等，概況起來舌象的特征主要有幾何特征、紋理特征和顏色特征三種。在傳統(tǒng)的舌診過程中，主要采取肉眼觀察舌體形狀、紋理和色澤的方法獲取舌象特征，但由于醫(yī)生個人的知識儲備、臨床經(jīng)驗(yàn)、技術(shù)水平、診斷環(huán)境等不同，往往形成差異的主觀舌象特征描述，比如顏色深淺的偏差、厚薄與大小標(biāo)準(zhǔn)的不統(tǒng)一等。目前，在中醫(yī)舌象自動化辨別研究中，也是通過計(jì)算機(jī)圖像處理技術(shù)，對采集的清晰的舌體圖片進(jìn)行裁剪去噪處理、分割，提取舌象的形狀、紋理和顏色三個特征，經(jīng)過一系列的處理、量化、對比，根據(jù)中醫(yī)名家舌診知識庫和中醫(yī)體質(zhì)診斷規(guī)則，最終得出相應(yīng)的體質(zhì)類型，過程如圖1所示。這個過程中，舌象分割和舌象特征的提取與分析最為關(guān)鍵。在早期的圖像分割研究中，研究者多采用的是基于數(shù)字圖像處理的閾值分割、邊緣檢測等方法，精準(zhǔn)度不高。目前，基于深度學(xué)習(xí)技術(shù)已成為舌象分割的主要手段，通過各種神經(jīng)網(wǎng)絡(luò)模型來提取舌象的幾何視覺特征和紋理視覺特征可以極大提高分割的精準(zhǔn)度。

圖1 舌象處理與特征提取過程

2.1 舌象分割

機(jī)器自動舌診與醫(yī)生或?qū)＜业娜斯ど嘣\不同，對采集的舌象照片要求高，通常人們采集舌象照片時(shí)無可避免會將非舌體部分拍攝到照片中，如牙齒、嘴唇、臉部、頭發(fā)、衣服或其他雜亂的背景等，這些與舌象無關(guān)的信息都會嚴(yán)重影響舌診的準(zhǔn)確性。因此，實(shí)現(xiàn)舌診機(jī)器自動辨別的重要的前提是對舌象照片進(jìn)行預(yù)處理，檢測出舌體并精準(zhǔn)將其從照片中分割出來，排除其他無關(guān)因素干擾，使舌象特征提取與分析結(jié)果更加精確。圖像分割方法有多種，傳統(tǒng)的圖像處理技術(shù)難以實(shí)現(xiàn)舌體的精確分割，目前被廣泛運(yùn)用的是基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)分割方法，如VGG、FCN、U?Net、Mask?RCNN 網(wǎng)絡(luò)等，在圖像提取特征的應(yīng)用中VGG 模型是首選算法，應(yīng)用最廣。VGG 可以分為6 種子模型，分別是A、A?LRN、B、C、D、E，我們常看到的基本是D、E 這兩種模型，D、E 模型網(wǎng)絡(luò)共有16 層，所以也叫VGG?16 模型。舌象圖片輸入VGG?16模型過程如圖2所示。

圖2 舌象照片在VGG?16網(wǎng)絡(luò)中的處理過程

本研究采用李淵彤等［7］提出的一種基于區(qū)域關(guān)聯(lián)損失的舌體分割方法，依據(jù)區(qū)域像素之間的關(guān)聯(lián)性來設(shè)計(jì)單像素?fù)p失函數(shù)，既考慮到了局部區(qū)域像素之間的關(guān)聯(lián)關(guān)系，又能將其應(yīng)用于已有的單像素邊緣概率分布的輸出模型，該方法有效提高了舌象分割的準(zhǔn)確度。其損失函數(shù)有效利用了像素標(biāo)簽語義的監(jiān)督信息，可以更好地指導(dǎo)分割模型進(jìn)行有效的訓(xùn)練。

2.2 舌象特征提取與分類

在中醫(yī)舌診中，舌象信息主要包括舌色、舌形、苔質(zhì)、苔色、舌頭脈絡(luò)顏色和紋路等視覺特征，從計(jì)算機(jī)角度看，可以概括為舌體的顏色特征、形態(tài)（幾何）特征和紋理特征，舌象特征提取與分析主要是從這三個方面進(jìn)行。舌象特征提取的過程如圖3所示，先將采集的圖像裁剪到符合要求的一定大小，初步去除多余部分，然后對舌體進(jìn)行分割，只保留舌體部分，最后通過舌象識別得到舌象的三類特征。需識別的顏色特征包括舌色和苔色，舌色主要有淡白、淡紅、紅、絳、青紫、暗紅、絳紫、淡紫、瘀斑，苔色主要有白、灰、黃、淡黃、深黃、焦黃、黑。需識別的形狀特征有老、嫩、胖大、瘦薄、裂紋、點(diǎn)刺、齒痕、腫脹。需識別的紋理特征包括苔質(zhì)的厚、薄、膩、少苔、垢膩、黏膩、剝落和津液的潤、燥、滑。根據(jù)王琦［5］及中醫(yī)舌診相關(guān)文獻(xiàn)歸納整理出9種中醫(yī)體質(zhì)對應(yīng)的舌體顏色、形狀和紋理特征，如表1所示。

表2 9種中醫(yī)體質(zhì)對應(yīng)的H、R、G通道的數(shù)值范圍

圖3 舌象處理與特征提取過程

在傳統(tǒng)的舌診中，對舌體顏色的觀察是最重要、最關(guān)鍵的一步，大量的臨床診斷實(shí)踐證明，舌苔、舌質(zhì)的顏色與一些疾病有著一定的對應(yīng)病理關(guān)系，正常健康人體的舌體顏色與舌苔顏色是一致的，一般緊貼在舌體表面，表現(xiàn)為淡紅色，而患有某些疾病的人的舌體顏色可能表現(xiàn)為淡黃色、灰褐色、白色和黑色等。通常用數(shù)碼相機(jī)采集得到的舌象圖片是RGB 彩色空間的，數(shù)碼相機(jī)對采集的環(huán)境很敏感，因此我們對RGB 顏色空間R、G、B 三通道的范圍進(jìn)行優(yōu)化處理，根據(jù)通道平均值和通道間方差得出新的上下限，并借助麥克斯韋三角坐標(biāo)對三個通道進(jìn)行歸一化處理［8］，得到R、G、B 顏色特征范圍，最后映射到HSI 空間，得到每種體質(zhì)對應(yīng)的HSI空間H通道數(shù)值范圍。

傳統(tǒng)的醫(yī)生舌診除了觀察舌體的顏色，還會觀察舌體的形狀，如大小、長度、寬窄、厚薄和邊緣情況等，概括來說舌體幾何特征提取主要是判斷舌體的齒痕、胖瘦、腫脹、老嫩等。舌象的紋理特征有裂紋、有無點(diǎn)刺、瘀斑、腐膩以及舌苔的厚薄情況，齒痕一般發(fā)生在舌體中下部，處于兩側(cè)邊緣和下端部位，有明顯的凹痕，因此檢測齒痕可以結(jié)合圖像邊緣檢測和凸包特征檢測快速識別。

3 基于舌象特征的中醫(yī)體質(zhì)自動辨別系統(tǒng)的實(shí)現(xiàn)

基于舌象特征的中醫(yī)體質(zhì)辨別平臺的物理結(jié)構(gòu)主要有客戶端和服務(wù)器端，客戶端采用便于用戶使用的微信小程序，無需用戶安裝額外的APP，只需有手機(jī)微信便可以通過微信小程序隨時(shí)隨地采集舌象照片，上傳服務(wù)器，生成中醫(yī)體質(zhì)報(bào)告。服務(wù)器端采用Ubuntu16.4 操作系統(tǒng)、Apache 服務(wù)器、MySQL 數(shù)據(jù)庫。開發(fā)工具包括微信開發(fā)者工具、Anaconda3、Spyder、TensorFlow?GPU、Cuda、CUDNN、TensorBoard、LabelImg等。系統(tǒng)整體架構(gòu)如圖4所示。

圖4 系統(tǒng)整體架構(gòu)

用戶通過微信小程序拍攝并上傳舌體照片，系統(tǒng)做初步處理，如果照片存在大面積無關(guān)畫面，系統(tǒng)會做相應(yīng)裁剪，如果照片質(zhì)量差、不清晰、抖動模糊、徑切向變形、拍攝環(huán)境過暗或者曝光過度等，系統(tǒng)會提示用戶重新拍攝上傳照片。當(dāng)圖片能正常上傳，則根據(jù)模型算法進(jìn)行舌象分割并給出識別的中醫(yī)體質(zhì)類型，根據(jù)體質(zhì)類型提示用戶完成對應(yīng)的問卷，生成相應(yīng)的體質(zhì)報(bào)告，并提供一些適宜的中醫(yī)養(yǎng)生建議和方法。

4 結(jié)語

基于神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)在醫(yī)學(xué)領(lǐng)域應(yīng)用越來越廣泛和深入，相關(guān)的面診、舌診自動化研究也越來越多。本研究通過提取舌象的關(guān)鍵特征信息，自動判別其所屬的中醫(yī)體質(zhì)類型，生成體質(zhì)報(bào)告，并結(jié)合中醫(yī)體質(zhì)知識庫給出比較恰當(dāng)?shù)闹嗅t(yī)養(yǎng)生知識。是一種方便、快速了解自身體質(zhì)特點(diǎn)，并獲取相應(yīng)中醫(yī)養(yǎng)生手段的好方式。

傳統(tǒng)中醫(yī)診斷有望聞問切四種基本手段，舌診只是望診中的一種，中醫(yī)望診除了觀察患者的舌部特征外，還會綜合考察患者的精神狀態(tài)、面色、體溫、體味等多種外在特征，再結(jié)合詢問、講述、交談、切脈等多種手段，結(jié)合既往病史、當(dāng)下感受、生活環(huán)境等多個方面來綜合加以判斷，形成診斷意見，所以舌診雖然是很有效的診斷手段，但這只是對于有經(jīng)驗(yàn)的中醫(yī)師而言的，而且一定要結(jié)合其他病征綜合研判。因此，只靠患者自己和一些信息數(shù)據(jù)就做出診斷結(jié)論，并把這個權(quán)力直接交給患者，不得不說有一定風(fēng)險(xiǎn)。因此通過舌診特征的自動辨別中醫(yī)體質(zhì)類型，只給了用戶初步了解自身體質(zhì)的便捷途徑，并不能代替?zhèn)鹘y(tǒng)的病理診斷。