計(jì)算機(jī)輔助舌象分析診斷研究進(jìn)展*

唐智賢 李 萍 曾雅楠 張一樂 鄭宇翔

(上海健康醫(yī)學(xué)院醫(yī)學(xué)影像學(xué)院 上海201318) (上海健康醫(yī)學(xué)院醫(yī)療器械學(xué)院 上海201318)

李恒峰 魏千翔

(上海艾亙醫(yī)療科技有限公司 上海200135) (上海健康醫(yī)學(xué)院醫(yī)療器械學(xué)院 上海201318)

肖正光

(上海交通大學(xué)醫(yī)學(xué)院附屬同仁醫(yī)院 上海200050)

1 引言

中醫(yī)四診“望、聞、問、切”是中醫(yī)學(xué)辨證論治的精髓，其中望診居“四診”之首[1]。舌診是望診的重要組成部分，醫(yī)生通過觀察舌頭的色澤、形態(tài)的變化來輔助診斷及鑒別機(jī)體生理功能和病理變化。然而傳統(tǒng)的舌診是由人眼觀察，很難對(duì)舌頭圖像進(jìn)行定量存儲(chǔ)和處理，影響舌診的標(biāo)準(zhǔn)化、客觀化和定量化。計(jì)算機(jī)輔助舌象分析診斷技術(shù)應(yīng)運(yùn)而生。一般的計(jì)算機(jī)輔助舌象分析診斷流程，見圖1。本文通過搜集整理近年的相關(guān)文獻(xiàn)，從上述流程對(duì)舌圖像處理技術(shù)研究進(jìn)行綜述。

圖1 計(jì)算機(jī)輔助舌象分析診斷流程

2 舌圖像采集

舌圖像采集是計(jì)算機(jī)輔助舌象分析診斷中最基礎(chǔ)的步驟。近年來多種舌圖像數(shù)據(jù)采集系統(tǒng)相繼出現(xiàn)，國(guó)內(nèi)有學(xué)者[2]選擇索尼900E攝像機(jī)，配合使用色溫為4800k的鹵鎢燈光源建立計(jì)算機(jī)輔助舌診系統(tǒng)。日本學(xué)者[3]使用高光譜照相機(jī)和色溫為5500k的氙燈光源實(shí)現(xiàn)舌圖像的采集。上海道生、普瑞森、欣曼等公司也研發(fā)出相應(yīng)的舌象數(shù)據(jù)采集系統(tǒng)。不難發(fā)現(xiàn)，目前主流的舌診儀核心部件為數(shù)字相機(jī)，并且舌象采集裝置的整體外觀也在向小型化、便攜化的方向發(fā)展。然而舌圖像采集系統(tǒng)的設(shè)計(jì)尚不存在通用標(biāo)準(zhǔn)，不同的采集系統(tǒng)，光源色溫不一，成像相機(jī)型號(hào)多變，成像環(huán)境各異，這些因素都對(duì)采集到的舌圖像產(chǎn)生不可估量的影響。

3 舌圖像預(yù)處理

在計(jì)算機(jī)分析之前，往往需要對(duì)舌圖像進(jìn)行預(yù)處理，尤其是顏色校正，以還原舌頭的真實(shí)顏色。最常見的校正方法是使用標(biāo)準(zhǔn)色卡作為參照[4]，其他還有查表法、多項(xiàng)式回歸法、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等形式[5]。目前舌圖像顏色校正算法能力有限，在不同顏色空間，采用不同的標(biāo)準(zhǔn)色板，使用不同的顏色校正算法將會(huì)產(chǎn)生很大差別。

4 舌象定位與分割

4.1 閾值法

閾值法主要利用舌象與背景顏色的差異，通過設(shè)置閾值對(duì)圖像的像素點(diǎn)進(jìn)行分類。其優(yōu)點(diǎn)是算法實(shí)現(xiàn)簡(jiǎn)單、效率高，但是對(duì)圖像的要求較高，魯棒性較差。如項(xiàng)里偉[6]將舌象變換到醫(yī)院信息系統(tǒng)空間中，運(yùn)用灰度投影法定位舌體。余兆釵、張祖昌和李佐勇等[7]在RGB色彩空間中的紅色通道執(zhí)行閾值分割，得到舌體分割結(jié)果。姜朔、胡潔和夏春明等[8]在RGB、HSV色彩空間中，運(yùn)用 OTSU閾值法對(duì)舌像進(jìn)行二值化，結(jié)合形態(tài)學(xué)運(yùn)算得到舌像分割結(jié)果。

4.2 可變形模型

自Kass M、Witkin A和 Terzopoulos D[9]提出活動(dòng)輪廓模型以來，各種基于可變形模型的圖像分割算法迅速發(fā)展起來并已應(yīng)用在舌體分割中。該類方法的優(yōu)點(diǎn)是分割精度較高、魯棒性較好，但是計(jì)算時(shí)間長(zhǎng)，且依賴初始曲線的精度。如劉晨星、張海英和楊浩[10]首先引入Perona-Malik方法處理原始圖像的邊緣信息，隨后使用Snake模型實(shí)現(xiàn)舌體分割。有學(xué)者[11]將舌頭形狀及其在舌頭圖像中的位置先驗(yàn)知識(shí)加入主動(dòng)輪廓模型的能量函數(shù)之中。毛紅朝[12]利用主動(dòng)形狀模型的特征點(diǎn)定位方法實(shí)現(xiàn)舌體定位。

4.3 圖結(jié)構(gòu)模型

基于圖結(jié)構(gòu)模型的算法是一種快速的分割算法。該類算法在分割的速度上十分迅速，缺點(diǎn)是需要人工介入。如許志磊、邵一波和姚拓中[13]利用 GrabCut算法得到準(zhǔn)確完整的舌體圖像。陳善超、符紅光和王穎[14]提出一種圖論分割結(jié)合多分辨率分割的舌圖像分割算法。

4.4 機(jī)器學(xué)習(xí)

在舌圖像定位與分割方面，機(jī)器學(xué)習(xí)方法應(yīng)用較為廣泛。目前基于機(jī)器學(xué)習(xí)的分割算法大致可分為兩大類，即傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。傳統(tǒng)的機(jī)器學(xué)習(xí)方法分割速度快、精度高，但人工設(shè)計(jì)特征較困難，且算法需要大量帶標(biāo)簽的數(shù)據(jù)。如Liu W、Zhou C和Li Z等[15]提出一種基于稀疏表示的塊驅(qū)動(dòng)分割方法預(yù)測(cè)舌區(qū)域。Li X、Li J和 Wang D[16]提出一種特殊的級(jí)聯(lián)分類器用于舌象定位。韓立博、胡廣芹和張新峰等[17]利用K-means聚類方法對(duì)舌圖像進(jìn)行分割。而深度學(xué)習(xí)可以自動(dòng)學(xué)習(xí)圖像的特征，且具有并行性、自適應(yīng)性、抗噪性等特點(diǎn)。如 Tang W、Gao Y和 Liu L等[18]使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)進(jìn)行舌區(qū)檢測(cè)。王麗冉、湯一平和陳朋等[19]提出粗分割結(jié)合精分割的兩階段CNN用于舌體分割。Cai Y、Wang T和 Liu W等[20]嘗試用一種包含類間和類內(nèi)代價(jià)的損失函數(shù)來提高CNN的分割性能。Li L、Luo Z 和Zhang M等[21]采用U-net作為網(wǎng)絡(luò)主干，實(shí)現(xiàn)舌體分割。顏建軍、徐姿和郭睿等[22]使用Mask R-CNN進(jìn)行舌圖像分割。Tang Q、Yang T和Yoshimura Y等[23]使用一級(jí)探測(cè)器SSD和MobileNetV2檢測(cè)舌頭區(qū)域。

5 舌象分析

5.1 舌色分類

色診是舌診的核心內(nèi)容。在舌診顏色分類問題中，比較成熟的算法是基于色度學(xué)的圖像分類。有學(xué)者[24]選擇RGB顏色模型對(duì)舌色進(jìn)行分類，也有學(xué)者采用CIELAB顏色模型[25]。近幾年，基于機(jī)器學(xué)習(xí)的舌色分類算法逐漸被提出，Qu P、Zhang H和 Zhuo L等[26]使用稀疏表示的分類器自動(dòng)分析舌質(zhì)顏色和舌苔顏色。Hou J、Su H Y和Yan B等[27]使用CNN對(duì)舌頭顏色進(jìn)行分類。邵尤偉[28]使用深度殘差網(wǎng)絡(luò)對(duì)舌色和苔色進(jìn)行分類。

5.2 舌形態(tài)特征分析

舌形、舌態(tài)、舌神可從側(cè)面反映機(jī)體的病理變化。對(duì)于舌形態(tài)的分析，陸萍[29]使用支持向量機(jī)辨別齒痕以及診斷裂紋。宋超、王斌和許家佗[30]提出一種深度遷移學(xué)習(xí)方法，對(duì)齒痕、裂紋、厚薄舌苔進(jìn)行分類，平均準(zhǔn)確度高達(dá)94.88%。龔一萍、陳海燕和卜佳俊等[31]依據(jù)齒痕幅度的大小定量齒痕的程度，用TAMURA紋理法來測(cè)定老嫩舌。

5.3 舌象與疾病之間的關(guān)聯(lián)性分析

從量化角度探討中醫(yī)舌診與臨床疾病之間的關(guān)聯(lián)，是當(dāng)下計(jì)算機(jī)輔助舌象分析診斷的研究熱點(diǎn)。許多科研機(jī)構(gòu)致力于構(gòu)建舌診與證候、疾病、客觀指標(biāo)之間的內(nèi)在聯(lián)系，以指導(dǎo)疾病的診斷。邱童[32]基于 Faster-RCNN 和多特征融合方法，預(yù)估患者是否處在健康狀態(tài)。Shamim M、Syed S和Shiblee M等[33]采用VGG19分析舌體，推測(cè)機(jī)體是否出現(xiàn)病變。劉召婕[34]使用支持向量機(jī)，基于舌象對(duì)糖尿病、肺癌等疾病進(jìn)行預(yù)測(cè)。

6 結(jié)語(yǔ)

近年來計(jì)算機(jī)輔助舌象分析診斷取得大量研究成果，尤其是以深度學(xué)習(xí)為代表的智能診斷方法得到快速發(fā)展，但這些研究工作還需要進(jìn)一步完善。第一，舌圖像數(shù)據(jù)收集沒有統(tǒng)一標(biāo)準(zhǔn)，且?guī)?biāo)簽的舌圖像較少，如何采集可靠的樣本、設(shè)計(jì)標(biāo)準(zhǔn)的采集設(shè)備等仍是亟待解決的問題；第二，舌圖像所包含的信息豐富，已有的舌象分析大多還是聚焦于舌質(zhì)和舌苔的顏色分析，關(guān)于舌形、舌態(tài)、苔質(zhì)、舌神等方面的特征分析研究較少；第三，單純利用舌象來辨識(shí)具體疾病依然有其局限性。今后有關(guān)研究方向應(yīng)側(cè)重于以下幾個(gè)方面：第一，建立大樣本病證結(jié)合的舌象數(shù)據(jù)庫(kù)；第二，利用深度學(xué)習(xí)方法，深入挖掘舌象高階特征，進(jìn)一步提升計(jì)算機(jī)輔助舌象分析診斷系統(tǒng)的性能；第三，將舌象量化信息與脈象等其他信息相聯(lián)系，聯(lián)合挖掘舌象數(shù)據(jù)與疾病診斷、治療的特定關(guān)系，以此作為支撐中醫(yī)臨床辨證和療效評(píng)價(jià)的依據(jù)。上述研究的深入開展將有力促進(jìn)中醫(yī)四診客觀化的進(jìn)程，有望獲得新突破。