基于機(jī)器學(xué)習(xí)的舌象識(shí)別與HSL的舌苔分類的研究

劉嘉誠(chéng)

摘要：近代，隨著生活水平的不斷發(fā)展，廣大人民群眾對(duì)于醫(yī)療健康的需求也不斷提高，相應(yīng)的醫(yī)療技術(shù)手段也在提升。在這樣的背景下，我們團(tuán)隊(duì)提出了一個(gè)想法，能否將新技術(shù)與傳統(tǒng)的中醫(yī)相結(jié)合？經(jīng)過(guò)前期的調(diào)研分析，并結(jié)合自身專業(yè)方向，最終選定中醫(yī)舌診與人工智能技術(shù)相結(jié)合進(jìn)行研究，實(shí)現(xiàn)了患者舌象的識(shí)別、分割、分析判斷并給出參考診斷建議的功能，且經(jīng)實(shí)驗(yàn)算法的識(shí)別率和準(zhǔn)確率都有較為不錯(cuò)的結(jié)果。

關(guān)鍵詞：中醫(yī)舌診;計(jì)算機(jī)視覺(jué);機(jī)器學(xué)習(xí);舌象分類

1.引言

“望”“聞”“問(wèn)”“切”是中醫(yī)診治的重要組成部分，其重要性不言而喻，然而傳統(tǒng)的四診方法較為模糊，缺乏客觀的指標(biāo)，且醫(yī)生經(jīng)驗(yàn)性較強(qiáng)，主要依賴于醫(yī)師各自的經(jīng)驗(yàn)進(jìn)行判斷，缺乏先進(jìn)的診斷理念與技術(shù)手段，存在一定的局限性。改變傳統(tǒng)診斷方式，將人工智能運(yùn)用到中醫(yī)診斷之中，建立科學(xué)標(biāo)準(zhǔn)的診斷模式是近年來(lái)中醫(yī)診斷發(fā)展的新方向，尤其是 AI 輔助中醫(yī)臨床的過(guò)去、現(xiàn)在以及面臨的難點(diǎn)與瓶頸，旨在更好的思考智能中醫(yī)的發(fā)展方向與未來(lái)。AI四診合參模型算法+病情跟蹤功能代替醫(yī)生重復(fù)性工作，減少重復(fù)的工作量，因此依靠計(jì)算機(jī)技術(shù)來(lái)對(duì)舌診進(jìn)行輔助診斷也是一個(gè)可行的方向。

2.舌象訓(xùn)練分析

2.1數(shù)據(jù)集整理

通過(guò)與校外公司聯(lián)系，取得了約300張彩色舌象圖片，實(shí)際上是來(lái)源于本地醫(yī)院的研究數(shù)據(jù)。將圖像進(jìn)行裁剪得到統(tǒng)一的大小60×60，并進(jìn)行灰度轉(zhuǎn)換，便于后續(xù)的訓(xùn)練。

2.2舌象識(shí)別

（1）圖像識(shí)別基礎(chǔ)

首先人工分類正負(fù)樣本，將幾乎只有舌頭的樣本作為正樣本，免去了標(biāo)注的工作，然后記錄在本文文件中以供后續(xù)讀取。圖像識(shí)別是人工智能的一個(gè)重要領(lǐng)域，他的發(fā)展經(jīng)歷了三個(gè)階段：文字識(shí)別、數(shù)字圖像處理與識(shí)別、物體識(shí)別。圖像識(shí)別，顧名思義，就是對(duì)圖像做出各種處理、分析，最終識(shí)別我們所要研究的目標(biāo)。通過(guò)分類并提取重要特征而排除多余的信息來(lái)識(shí)別圖像，機(jī)器所提取出的這些特征有時(shí)會(huì)非常明顯，有時(shí)又是很普通，這在很大的程度上影響了機(jī)器識(shí)別的速率。

（2）OpenCV簡(jiǎn)介

OpenCV（Open Source Computer Vision Library），是一個(gè)開源的可以跨平臺(tái)運(yùn)行的計(jì)算機(jī)視覺(jué)庫(kù)，整個(gè)庫(kù)是由 C 函數(shù)和 C++ 類構(gòu)成的，包含了許多圖像處理和計(jì)算機(jī)視覺(jué)方面的通用算法。OpenCV作為常用的人臉識(shí)別工具，自然可以進(jìn)行修改用于識(shí)別舌象。

（3）訓(xùn)練分類器

第一步，安裝好OpenCV并配置好環(huán)境變量以確保能正確運(yùn)行。

第二步，將前期整理好的數(shù)據(jù)集文件導(dǎo)入進(jìn)tongue_pos文件夾作為正樣本，將負(fù)樣本導(dǎo)入tongue_neg文件夾并統(tǒng)一尺寸，且正負(fù)樣本比例為1：3。

第三步，對(duì)正樣本進(jìn)行標(biāo)注，將文件路徑、尺寸、數(shù)量記入posdata.txt文件中，對(duì)負(fù)樣本也進(jìn)行相應(yīng)的操作記入negdata.txt。

第四步，使用OpenCV進(jìn)行訓(xùn)練，得到正樣本向量描述文件pos.vec文件再使用聯(lián)機(jī)分類器與負(fù)樣本進(jìn)行訓(xùn)練，得到cascade.xml文件。

實(shí)驗(yàn)結(jié)果分析

驗(yàn)證分類器效果，從網(wǎng)上搜集吐舌的圖片以及對(duì)小組成員的舌頭拍攝圖片作為測(cè)試數(shù)據(jù)，效果如圖3所示。

批量導(dǎo)入100張舌像圖片運(yùn)用該分類器進(jìn)行識(shí)別測(cè)試，多次運(yùn)行得出準(zhǔn)確率在91%到96%之間，可以看出使用機(jī)器學(xué)習(xí)對(duì)于舌象的識(shí)別能夠作為輔助中醫(yī)舌診的輔助支撐。

2.3舌象介紹

舌象包括舌質(zhì)和舌苔變化。舌質(zhì)，又稱舌體，是舌的肌肉脈絡(luò)組織。舌苔，中醫(yī)術(shù)語(yǔ)。正常人的舌背上有一層薄白而潤(rùn)的苔狀物，叫舌苔。因舌苔由胃氣所生，而五臟六腑皆稟氣于胃，因此，舌苔的變化可反映臟腑的寒、熱、虛、實(shí)，病邪的性質(zhì)和病位的深淺。常見(jiàn)的舌苔表現(xiàn)有以下五種：白苔、黃苔、灰苔、黑苔，其反應(yīng)的身體狀況如表1所示。

2.4舌苔分類

（1）顏色空間

RGB 是我們接觸最多的顏色空間，由三個(gè)通道表示一幅圖像，分別為紅色（R），綠色（G）和藍(lán)色（B）。但是人眼對(duì)于這三種顏色分量的敏感程度是不一樣的，在單色中，人眼對(duì)紅色最不敏感，藍(lán)色最敏感，所以 RGB 顏色空間是一種均勻性較差的顏色空間，并不適合于圖像處理?；谏鲜隼碛?，在圖像處理中使用較多的是 HSL 顏色空間，它比 RGB 更接近人們對(duì)彩色的感知經(jīng)驗(yàn)。非常直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便進(jìn)行顏色的對(duì)比。

HSL 表達(dá)彩色圖像的方式由三個(gè)部分組成：

（2）舌苔特征識(shí)別

傳統(tǒng)中醫(yī)將舌苔的顏色主要分為四類：白、黃、灰、黑，由于灰與黑在色彩空間中比較相近故合并為同一類。因舌苔由胃氣所生，而五臟六腑皆稟氣于胃，因此，舌苔的變化可反映臟腑的寒、熱、虛、實(shí)，病邪的性質(zhì)和病位的深淺。

在 HSL 顏色空間下，圖像的H分量的值都相似度較高，而S分量與L分量的值 能在一定條件下出現(xiàn)較大差異，根據(jù)本項(xiàng)目的特點(diǎn)，選擇用L作為舌苔顏色劃分的標(biāo)準(zhǔn)，其閾值如表2所示。

對(duì)舌質(zhì)顏色進(jìn)行識(shí)別的方法是：將 RGB 顏色空間轉(zhuǎn)換至 HSL 顏色空間，計(jì)算所有舌質(zhì)像素點(diǎn)L值的均值，判斷該均值在L閾值表內(nèi)所屬的范圍，得到舌苔的種類。

3.總結(jié)

人工智能在中醫(yī)領(lǐng)域的應(yīng)用就是要模擬中醫(yī)的診療思維進(jìn)行研究，AI輔助中醫(yī)舌診的關(guān)鍵要點(diǎn)在于舌象的正確提取，首先是在人臉圖片中分割出舌體部分，這部分通過(guò)機(jī)器學(xué)習(xí)的技術(shù)進(jìn)行訓(xùn)練得到合適的模型，其識(shí)別率和準(zhǔn)確率經(jīng)測(cè)試都得到了不錯(cuò)的結(jié)果。然后根據(jù)中醫(yī)理論劃分舌苔為白、黃、灰黑三個(gè)種類，依據(jù)HSL色彩空間理論設(shè)定閾值進(jìn)行種類識(shí)別。人工智能在中醫(yī)診斷中表現(xiàn)出前所未有的優(yōu)勢(shì)，可解決傳統(tǒng)舌診及脈診中主觀性差、缺少統(tǒng)一標(biāo)準(zhǔn)的問(wèn)題，是傳統(tǒng)中醫(yī)改革發(fā)展的新方向，但同時(shí)面臨著一定的挑戰(zhàn)。推動(dòng)人工智能技術(shù)服務(wù)于醫(yī)療事業(yè)，促進(jìn)實(shí)施健康中國(guó)戰(zhàn)略，可以預(yù)見(jiàn)智能醫(yī)療的市場(chǎng)仍然是一片藍(lán)海。

參考文獻(xiàn)：

[1]Gary Bradski， Adrian Kaehler. 學(xué)習(xí) OpenCV 中文版[M].北京：清華大學(xué)出版社， 2009.

[2]王旸.人工智能背景下中醫(yī)診療技術(shù)的應(yīng)用與展望[J].信息與電腦，2019，（11）：135-136.

[3]畢珊榕，呂東勇，王漢裕，等.人工智能在舌診與脈診中的應(yīng)用探討[J].廣州中醫(yī)藥大學(xué)學(xué)報(bào)，2018，35（2） ： 379-382.

資助項(xiàng)目：大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（201910058054）。