基于機(jī)器學(xué)習(xí)的舌象體質(zhì)分類

, ，

(安徽中醫(yī)藥大學(xué)醫(yī)藥信息工程學(xué)院，安徽 合肥 230012)

0 引 言

在上世紀(jì)80年代左右，隨著諸如CT成像、超聲波成像、磁共振成像等技術(shù)的出現(xiàn)，結(jié)合數(shù)字化圖像處理手段進(jìn)行病癥診斷，成為了一種發(fā)展趨勢(shì)。通過(guò)各種醫(yī)學(xué)圖像來(lái)輔助病癥判斷的案例越來(lái)越多，從中醫(yī)理論上來(lái)說(shuō)，可將舌象分為多個(gè)部分，且每個(gè)部分都對(duì)應(yīng)著五臟的內(nèi)在狀態(tài)。對(duì)于某些急性病癥，舌象由于其易觀察，變化快等特點(diǎn)，對(duì)臨床診斷有極大作用。許多臨床研究表明，舌體的外在表現(xiàn)能夠預(yù)示很多病癥，故對(duì)舌象體質(zhì)分類投入精力研究是很有必要的。目前，對(duì)于舌體形態(tài)的研究是一個(gè)熱門的推動(dòng)舌診信息化發(fā)展的方向。已經(jīng)有學(xué)者借助圖像技術(shù)手段對(duì)舌象進(jìn)行信息化研究，進(jìn)行舌象采集和分析，在舌象特征與中醫(yī)證型關(guān)系方面，總結(jié)出不同病癥患者在舌象方面的差異和規(guī)律。借助于中醫(yī)數(shù)千年來(lái)舌診臨床經(jīng)驗(yàn)優(yōu)勢(shì)，結(jié)合當(dāng)代圖像處理手段，能夠及時(shí)且準(zhǔn)確地給患者提供病癥信息，從而使研究成果能服務(wù)于社會(huì)。

1 舌象醫(yī)學(xué)影像分析

隨著醫(yī)學(xué)輔助手段從簡(jiǎn)陋到現(xiàn)代化的提升，醫(yī)學(xué)整體也獲得了急速的發(fā)展，如何有效的使用現(xiàn)代化的手段成為一個(gè)值得考慮的問(wèn)題。不同于醫(yī)學(xué)上的其他領(lǐng)域，在處理醫(yī)學(xué)影像方面，數(shù)字化技術(shù)占有舉足輕重的地位。不同的器官根據(jù)其在醫(yī)學(xué)影像上呈現(xiàn)的特點(diǎn)，通常會(huì)有各自病癥判定的依據(jù)。中醫(yī)望診中關(guān)于望舌的一部分，很大程度上是對(duì)舌色、舌形進(jìn)行觀察，因?yàn)楹芏嗖“Y會(huì)在舌部直接顯現(xiàn)其特征。在獲取舌象影像時(shí)通常會(huì)將面部包含，這需要提前將影像進(jìn)行處理，獲取主體區(qū)域，之后再依據(jù)舌象所呈現(xiàn)的不同圖像表現(xiàn)進(jìn)行體質(zhì)分類。

1.1 體質(zhì)辨識(shí)對(duì)應(yīng)的舌象圖

中醫(yī)醫(yī)者根據(jù)舌象表現(xiàn)的不同特點(diǎn)，將人體體質(zhì)分為九大體質(zhì)類型：平和體質(zhì)；氣虛質(zhì)；陽(yáng)虛質(zhì)；陰虛質(zhì)；痰濕質(zhì)；濕熱質(zhì)；血瘀質(zhì)；氣郁質(zhì)；特稟質(zhì)。體質(zhì)舌象對(duì)照如表1所示。

表1 體質(zhì)舌象對(duì)照表

1.2 舌象色彩空間分析

色彩作為圖像識(shí)別的有效信息，其真實(shí)性是后期對(duì)圖像處理的前提和基礎(chǔ)。而舌象的色彩信息，作為病癥的外在表現(xiàn)，對(duì)與體質(zhì)類型分類極其重要。

色彩空間又被稱為色彩模型，其實(shí)質(zhì)是利用三維空間里的某個(gè)點(diǎn)來(lái)表對(duì)對(duì)應(yīng)的顏色，往往包含著大量的信息，尤其是在舌象診斷中通常作為病理判斷的主要依據(jù)。故在進(jìn)行舌體準(zhǔn)確獲取的同時(shí)，保證舌色色彩信息的真實(shí)性，是后續(xù)進(jìn)行體質(zhì)特征提取和分類的基礎(chǔ)。

圖像的參數(shù)有長(zhǎng)度、寬度及深度之分，其中深度表示當(dāng)前圖像的通道數(shù)。在RGB模式中，表現(xiàn)為紅(R)、綠(G)、藍(lán)(B)三個(gè)顏色通道。當(dāng)它們的光相互疊合的時(shí)候，色彩相混，而亮度卻等于兩者亮度之總和，越混合亮度越高，即加法混合[8]。

1.3 數(shù)據(jù)采集

在某社區(qū)健康調(diào)查活動(dòng)中，隨機(jī)抽查社區(qū)中志愿者(合計(jì)110人，年齡段為50±10),共收集彩色舌象圖片208例及對(duì)應(yīng)中醫(yī)臨床醫(yī)生現(xiàn)場(chǎng)診斷結(jié)果，總體樣本數(shù)較少，但上述9中體質(zhì)類型均有包含。其中氣虛樣本有41例，其余類型分布均勻。

2 舌象物體識(shí)別

圖像識(shí)別，作為機(jī)器學(xué)習(xí)的一個(gè)重要組成部分，人們提出了很多識(shí)別模型以模擬人類進(jìn)行圖像處理的過(guò)程，基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)圖像識(shí)別的結(jié)果逐漸貼近人類水平，甚至在某些方面已經(jīng)超越人工標(biāo)注的準(zhǔn)確率。文獻(xiàn)[9]介紹了用圖象紋理分析的方法，對(duì)目標(biāo)物體進(jìn)行識(shí)別，利用閾值對(duì)目標(biāo)圖進(jìn)行切割(通過(guò)直方圖法對(duì)閾值進(jìn)行求解)。文獻(xiàn)[10]設(shè)計(jì)出一個(gè)簡(jiǎn)明的識(shí)別算法，從而改進(jìn)了傳統(tǒng)算法在圖像中通過(guò)形狀進(jìn)行局部匹配，使得獲得的特征在物體的形變上更好的容忍度。物體識(shí)別算法正是由于無(wú)數(shù)學(xué)者的不斷研究努力，才發(fā)展至今。

2.1 舌象物體識(shí)別理論基礎(chǔ)

為模擬人類對(duì)信息的處理方式，人們運(yùn)用數(shù)學(xué)手段構(gòu)建了神經(jīng)網(wǎng)絡(luò)系統(tǒng)，而感知機(jī)則是其中的關(guān)鍵。感知機(jī)是對(duì)生物神經(jīng)細(xì)胞的簡(jiǎn)單數(shù)學(xué)模擬，只有一個(gè)神經(jīng)元，感知機(jī)的數(shù)學(xué)表現(xiàn)如圖1所示。

(1)

在此基礎(chǔ)上，人們根據(jù)生物學(xué)上感受野機(jī)制，提出了前饋神經(jīng)網(wǎng)絡(luò)(CNN)，其具有平移、縮放和扭曲不變性，如圖2所示。

圖1 感知機(jī)的數(shù)學(xué)表現(xiàn)

圖2 CNN模型解釋

在CNN全連接模型中，卷積層中構(gòu)成一個(gè)局部連接網(wǎng)絡(luò)的要素：第l層的每一個(gè)神經(jīng)元都只和第l-1層的一個(gè)局部窗口內(nèi)的神經(jīng)元相連。

(2)

其中w(l)∈R為m維的濾波器，則有

(3)

這樣在卷積層里，權(quán)值共享則只需要m+1個(gè)參數(shù)。另外第l+1層的神經(jīng)元個(gè)數(shù)不是任意選擇的，而是滿足

n(l+1)=n(l)-m+1

(4)

為增強(qiáng)卷積層的表達(dá)能力，可以使用k個(gè)不同的過(guò)濾器來(lái)獲得k組輸出。過(guò)濾器通過(guò)不同參數(shù)的卷積核對(duì)圖像進(jìn)行調(diào)整，從而獲得多組輸出。此過(guò)程可被視為對(duì)原圖進(jìn)行特征提取，該輸出也稱為特征映射。

假設(shè)第l-1層的特征映射組數(shù)為nl-1,每組特征映射的大小為ml-1=wl-1×hl-1。第l-1層的 總神經(jīng)元數(shù)：nl-1×ml-1。第l層的特征映射組數(shù)為nl。如果假設(shè)第l-1層的所有組特征映射作為第l層的每一組特征映射X(l,k)的輸入。第l層的第k組特征映射X(l,k)為：

(5)

其中，W(l,k,p)表示第l-1層的第p組特征向量到第l層的第k組特征映射所需的濾波器[11-12]。

2.2 舌象數(shù)據(jù)預(yù)處理

在舌象拍攝中不可避免會(huì)將面部包含進(jìn)去，為了降低其他因素對(duì)舌部圖像的影響，所以需要事先將舌部從圖中分離出來(lái)，這就需要用到圖像物體識(shí)別。過(guò)往學(xué)者在對(duì)舌部進(jìn)行分離處理時(shí)，大部分是通過(guò)邊緣輪廓特點(diǎn)，而非舌色。這表明在對(duì)舌部圖像物體識(shí)別時(shí)，應(yīng)盡量保留其輪廓特征，顏色特征可選擇性忽略[13]。

根據(jù)局部圖像的特征，對(duì)于圖像的縮放、平移和旋轉(zhuǎn)是不變的，并且對(duì)于照明改變和仿射或3D投影是部分不變的，雜亂部分遮擋的圖像可以實(shí)現(xiàn)魯棒的目標(biāo)識(shí)別[14]。對(duì)數(shù)據(jù)進(jìn)行了一系列的預(yù)處理操作，包括：

1)圖像整體的大小調(diào)整：在實(shí)際中，發(fā)現(xiàn)圖片的大小與其特征的表達(dá)并不存在相關(guān)性。相反在模型運(yùn)行時(shí)，由于單張圖片較大，會(huì)造成計(jì)算機(jī)內(nèi)存的大量使用，進(jìn)而降低了訓(xùn)練效率。所以在預(yù)處理第一步需要將圖片等比例壓縮至100KB上下。

2)圖像整體的色彩調(diào)整：為了降低色彩在舌體物體識(shí)別中的影響，我們對(duì)圖片進(jìn)行諸如圖像飽和度、色相、對(duì)比度等在一定范圍內(nèi)的隨機(jī)變化。最后，我們將圖像的像素值設(shè)定在一定范圍內(nèi)，即給圖像設(shè)定閾值，降低某些特殊點(diǎn)的影響。

3)圖像整體的位置調(diào)整：在樣本采集拍攝中，舌象始終處于圖像中一個(gè)固定相對(duì)位置，但在實(shí)際環(huán)境中，可能會(huì)出現(xiàn)位置偏移等特殊情況。因此，對(duì)圖像進(jìn)行了隨機(jī)的上下翻轉(zhuǎn)、左右顛倒等位置操作，將圖像盡可能貼近實(shí)際環(huán)境。最終處理結(jié)果如圖4所示。

2.3 模型參數(shù)調(diào)整及運(yùn)行結(jié)果

這里使用的是tensorflow object detection api，在配置文件tongue.config中需要提前配置諸如initial_learning_rate，batch_size，decay_steps等參數(shù)。但實(shí)際運(yùn)行時(shí)由于官方對(duì)模型已經(jīng)提供了大量API，其中包括基本config的不同生產(chǎn)環(huán)境配置，選用不同的model配置，訓(xùn)練和識(shí)別速度不同，如表2。

表2 幾種標(biāo)準(zhǔn)配置

圖3 樣本處理前

圖4 樣本處理后

這里選用了最后一種faster_rcnn_inception_resnet_v2_atrous，雖然速度相對(duì)較慢，但能夠一定程度上提高訓(xùn)練效果。之后仍需要將配置文件按照本地環(huán)境進(jìn)行調(diào)整。在運(yùn)行過(guò)程中，雖然損失值存在上下波動(dòng)，但總體呈下降趨勢(shì)，具體運(yùn)行效果如圖5所示。

圖5 舌象物體識(shí)別運(yùn)行效果圖

運(yùn)行前后舌象對(duì)比圖如圖6-圖8所示：

根據(jù)上述三種不同狀態(tài)的圖片，可以認(rèn)為該模型效果已經(jīng)達(dá)到預(yù)期目標(biāo)。

圖6 測(cè)試樣本數(shù)據(jù)

圖7 模型導(dǎo)出標(biāo)識(shí)圖

圖8 物體識(shí)別結(jié)果

3 舌象體質(zhì)分類

在圖像特征分類研究中，較為著名的是手寫數(shù)字識(shí)別問(wèn)題。該問(wèn)題最早提出于上世紀(jì)90年代，相關(guān)學(xué)者設(shè)計(jì)出基于LeNet-5的手寫數(shù)字識(shí)別系統(tǒng)，用于識(shí)別支票上的手寫數(shù)字，進(jìn)而被美國(guó)較多銀行使用。之后經(jīng)過(guò)大量學(xué)者不斷的改進(jìn)和創(chuàng)新，僅就手寫數(shù)字識(shí)別方面，其準(zhǔn)確率已高達(dá)96%以上[15]。

3.1 舌象體質(zhì)分類理論基礎(chǔ)

Inception模型在近些年有較快的發(fā)展，其中Inception-v3使用2012年的數(shù)據(jù)對(duì)ImageNet大型視覺(jué)識(shí)別挑戰(zhàn)進(jìn)行了訓(xùn)練，并在驗(yàn)證數(shù)據(jù)集的前5位錯(cuò)誤率達(dá)到3.46%的較好成果。本方案參考Inception-v3模型，但由于Inveception模型深度大，訓(xùn)練參數(shù)眾多。在算力充足，訓(xùn)練樣本足夠的情況下，花費(fèi)大量時(shí)間進(jìn)行計(jì)算可獲得較好效果。但在實(shí)際中，算力無(wú)法達(dá)到指定要求，故不得不使用遷移訓(xùn)練(一種利用現(xiàn)有模型快速完成訓(xùn)練的技術(shù)，它在一個(gè)已經(jīng)完全訓(xùn)練，能識(shí)別已有分類的模型基礎(chǔ)上，重新進(jìn)行少量訓(xùn)練，使其適應(yīng)新的分類需求)。雖然在準(zhǔn)確率上有所降低，但在效率上得到了極大的提高[16]。

3.2 模型調(diào)整及運(yùn)行結(jié)果

第一步需要將部分樣本圖片通過(guò)人工進(jìn)行體質(zhì)信息標(biāo)注，從而完成首次分類，并將其放置在對(duì)應(yīng)的文件夾中。第二步需要將舌象圖片經(jīng)過(guò)物體識(shí)別，生成對(duì)應(yīng)的舌象主體信息。第三步，將識(shí)別后的圖片文件開(kāi)啟模型訓(xùn)練。由于是基于Inception-v3的遷移訓(xùn)練，用原模型參數(shù)進(jìn)行特征提取，僅在最后的瓶頸中添加一個(gè)分類層，所以不需要進(jìn)行過(guò)多參數(shù)調(diào)整。具體運(yùn)行結(jié)果如下：

圖9 舌象體質(zhì)分類結(jié)果

根據(jù)圖上結(jié)果，可認(rèn)為該舌象圖片對(duì)應(yīng)體質(zhì)類型qixu(氣虛質(zhì))。

4 結(jié) 論

對(duì)中醫(yī)舌診的客觀化工作進(jìn)行探索和研究，主要成果有如下：

1)在進(jìn)行舌象舌體分割時(shí)，發(fā)現(xiàn)舌體獲得的準(zhǔn)確度是后續(xù)進(jìn)行舌診分析基礎(chǔ)，其準(zhǔn)確度極大程度上影響了后續(xù)舌象體質(zhì)分析的可重現(xiàn)性和準(zhǔn)確性。實(shí)驗(yàn)中，通過(guò)對(duì)數(shù)據(jù)的預(yù)處理，將該過(guò)程的錯(cuò)誤率控制在可接受范圍內(nèi)。

2)通過(guò)Inception-v3模型的遷移訓(xùn)練，以及大量的舌象體質(zhì)信息標(biāo)注，最終對(duì)測(cè)試集中圖片進(jìn)行分類，準(zhǔn)確率在可接受范圍內(nèi)(即訓(xùn)練模型達(dá)到了預(yù)期的指定目標(biāo))。

關(guān)于舌象研究限制于自身能力及實(shí)際環(huán)境因素，很多工作是初步的，仍需要許多問(wèn)題進(jìn)行解決：從專用設(shè)備采集到的舌象數(shù)據(jù)，因?yàn)槠餍?、拍攝角度、拍攝光照等外界干擾，舌象在一定程度上發(fā)生了失真，無(wú)法真實(shí)準(zhǔn)確模擬醫(yī)生診斷時(shí)環(huán)境；在舌象體質(zhì)分類中，由于各體質(zhì)分類信息標(biāo)注樣本數(shù)量不是均勻分布，雖達(dá)到指定目標(biāo)，但仍有上升空間。這有待后面繼續(xù)進(jìn)研究。