卷積神經(jīng)網(wǎng)絡(luò)在中醫(yī)舌診中的應(yīng)用綜述

黃詩茜 王峰 王曉灑 周全 趙昕

摘要：隨著AlphaGo在2017年的中國烏鎮(zhèn)圍棋峰會上戰(zhàn)勝了世界圍棋冠軍柯潔之后，AlphaGo名聲大噪，深度學(xué)習(xí)再次掀起了學(xué)習(xí)和研究的熱潮。而卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中重要的分支，在計(jì)算機(jī)視覺中有著廣泛且深刻的應(yīng)用，其中包括圖像分割和圖像識別。中醫(yī)中藥是我國幾千年流傳下來的傳統(tǒng)醫(yī)療手段，作為中華文化的傳統(tǒng)瑰寶，其在人們的日常保健和疾病治療中發(fā)揮著不可磨滅的作用。而舌診作為一種非侵入式的診察手段，在中醫(yī)臨床診療中有重要地位。醫(yī)生可以通過觀看舌象來了解病人體內(nèi)病例變化，但是，診斷結(jié)果受醫(yī)生主觀經(jīng)驗(yàn)和光照環(huán)境影響較大。因此，借助計(jì)算機(jī)方法來輔助診斷顯得十分必要。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);中醫(yī)舌診

中圖分類號：TP3? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）26-0020-03

中醫(yī)的診斷方法有四種分別為望診、聞診、問診和切診，又稱為“望聞問切”法。其中望舌是中醫(yī)診斷疾病方法的特色之一，屬于望診。舌診主要是通過觀看舌質(zhì)和舌苔的顏色、形狀來做出病理判斷。眾所周知，人體五臟六腑通過經(jīng)脈直接或間接與舌有聯(lián)系，中國古代有“脈有假脈，舌無假舌”的論述。因此，研究舌診在臨床醫(yī)學(xué)上有重要意義。

“中醫(yī)藥現(xiàn)代化”是國家長期科技發(fā)展中提出的研究課題。2019年10月25日習(xí)近平對中醫(yī)藥工作做出了重要指示指出：中國藥學(xué)包含著中華民族幾千年的健康養(yǎng)生理念及其實(shí)踐經(jīng)驗(yàn)，要加快推進(jìn)中醫(yī)藥現(xiàn)代化、產(chǎn)業(yè)化。推動中醫(yī)藥走向世界，使中國傳統(tǒng)的醫(yī)學(xué)醫(yī)藥被更多人熟悉了解和接受。因此，將人工智能技術(shù)與中醫(yī)藥結(jié)合應(yīng)用，有利于推動中醫(yī)藥的高質(zhì)量發(fā)展，有利于加快中醫(yī)藥在世界范圍內(nèi)廣泛應(yīng)用的進(jìn)程。

1 卷積神經(jīng)網(wǎng)絡(luò)發(fā)展歷程

1.1 卷積神經(jīng)網(wǎng)絡(luò)的基本原理

1.1.1 卷積層的操作

CNN最重要的構(gòu)建塊是卷積層。卷積層采取的是局部連接、參數(shù)共享的辦法，這樣可以解決參數(shù)過度的問題。

假設(shè)圖片為單通道時(shí)，卷積核相當(dāng)于一個(gè)濾波器，卷積核表示卷積神經(jīng)元，里面的數(shù)值表示的是卷積神經(jīng)元的權(quán)重參數(shù)，它的值是需要通過反向傳播算法計(jì)算訓(xùn)練而得到。卷積核在輸入圖像上從左到右，從上到下滑動計(jì)算，對應(yīng)卷積核的值與輸入圖像的值相乘再相加。而且，輸出特征圖的大小等于輸入圖像的大小減去卷積核大小再加一。假設(shè)圖片為三通道時(shí)，卷積的計(jì)算過程也類似，只不過它是分別進(jìn)行三個(gè)通道的卷積計(jì)算，然后再將對應(yīng)點(diǎn)的值相加而得到。

1.1.2 池化層的操作

池化操作和卷積操作類似，池化層的目的是通過對輸入圖像進(jìn)行二次采樣以減少計(jì)算負(fù)載、內(nèi)存利用率和參數(shù)數(shù)量（從而降低過擬合的風(fēng)險(xiǎn)）。減小輸入圖像的大小同樣可以使神經(jīng)網(wǎng)絡(luò)容忍一定的圖像位移。池化神經(jīng)元沒有權(quán)重，也就是池化核里面沒有值。池化神經(jīng)元所做的事情就是使用聚合函數(shù)（比如max或者mean）聚合輸入。

最大值池化操作（max聚合）的計(jì)算過程：在池化層中，池化核一般設(shè)置與步長一致，池化核在輸入圖像上從左到右，從上到下滑動，然后取最大值，就是最大值池化操作。在池化操作的過程中，一般不會采取補(bǔ)零操作，因此會丟棄部分值。

平均值池化操作（mean聚合）與最大值池化操作相同，只是池化核在輸入圖像中從左到右、從上到下滑動的過程中，不是取最大值，而是取核對應(yīng)位置的平均值。

1.2 幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)得到發(fā)展的一個(gè)重要里程碑是Yann LeCun等人發(fā)表于1998年的論文。該論文提出了廣泛用于手寫數(shù)據(jù)識別（MNIST）數(shù)據(jù)集的經(jīng)典LeNet-5[[1]]架構(gòu)。它的架構(gòu)主要包括一個(gè)輸入層，三個(gè)卷積層，兩個(gè)平均池化層和一個(gè)全連接層以及一個(gè)輸出層，其中卷積層和池化層交錯(cuò)排列。這個(gè)模型為后面的神經(jīng)網(wǎng)絡(luò)架構(gòu)奠定了基礎(chǔ)。但是，在這之后的十年間里，神經(jīng)網(wǎng)絡(luò)的研究發(fā)展趨于停滯，原因是當(dāng)時(shí)的研究人員發(fā)現(xiàn)對于多層的神經(jīng)網(wǎng)絡(luò)來說使用反向傳播算法的訓(xùn)練需要龐大的計(jì)算量，而在當(dāng)時(shí)的技術(shù)水平下很難實(shí)現(xiàn)[[2]];而且當(dāng)時(shí)基于SVM的淺層機(jī)器學(xué)習(xí)算法有驚人的表現(xiàn)，SVM功能強(qiáng)大并且全面使得它在那段時(shí)間成為最受歡迎的模型之一。因此，對卷積神經(jīng)網(wǎng)絡(luò)的研究擱置了很長的一段時(shí)間。

直到在2012年的ILSVRC競賽中，Alex Krizhevsky等人提出的一種AlexNet架構(gòu)以大比分贏得了比賽，卷積神經(jīng)網(wǎng)絡(luò)才再次出現(xiàn)在人們的視野中。它和LeNet-5架構(gòu)很相似，只是比它更深。它直接將卷積層堆疊到其他層之上，而不是在每個(gè)卷積層之上堆疊池化層。并且采用了當(dāng)時(shí)新提出的“dropout”的正則化方法。

之后卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展都是圍繞著ILSVRC競賽而發(fā)展。并且神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)越來越深。在2013年由Matthem Zeiler 和Rob Fergus提出的ZF Net架構(gòu)贏得了當(dāng)年ILSVRC的挑戰(zhàn)賽。它本質(zhì)上是AlexNet，只是調(diào)整了一些超參數(shù)（特征圖的數(shù)量、內(nèi)核大小、步幅）而已。Google研究部的Christian Szegedy等人開發(fā)了GoogLeNet[[3]]架構(gòu)，將Top-5錯(cuò)誤率降到了7%而贏得了2014年的ILSVRC挑戰(zhàn)賽。它引入了一種稱為初始化模塊的子網(wǎng)，該模塊使得GoogleNet比前面提及的架構(gòu)更加有效地使用參數(shù)。然后就是由Kaiming He等人開發(fā)并獲得2015年ILSVRC競賽冠軍的殘差網(wǎng)絡(luò)，又稱為ResNet[[4]]架構(gòu)。它使用了一個(gè)由152層組成得非常深的CNN，使得Top-5錯(cuò)誤率降到3.6%。之所以能取得如此傲人的成果是因?yàn)槭褂昧颂^連接（也稱為快捷連接），也就是輸入到一個(gè)層中的信號也被添加到位于堆棧上方的層的輸出端，這使得它能夠訓(xùn)練如此深的網(wǎng)絡(luò)。而后要提及的就是GoogleNet架構(gòu)的一個(gè)變體Xception[[5]]架構(gòu)，這是Francois Chollet于2016年提出的，Xception網(wǎng)絡(luò)架構(gòu)的核心是深度可分離卷積。深度可分離卷積結(jié)構(gòu)提出了空間模式和跨通道模式是可以單獨(dú)分別輸入的。2017年7月26日，ILSVRC競賽官網(wǎng)正式宣布，IamgeNet大規(guī)模挑戰(zhàn)賽于2017年正式結(jié)束。這標(biāo)志著在計(jì)算機(jī)視覺乃至整個(gè)人工智能發(fā)展史上建立了一個(gè)階段性里程碑，這個(gè)時(shí)代暫時(shí)落下了帷幕，此后的發(fā)展將專注于目前尚未解決的問題。而在最后一屆ILSVRC競賽的冠軍模型是SENet。

2 卷積神經(jīng)網(wǎng)絡(luò)在中醫(yī)舌診中的應(yīng)用

2.1 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于舌型標(biāo)定和分割

2.1.1 基于全卷積神經(jīng)網(wǎng)絡(luò)的舌型分割

全卷積網(wǎng)絡(luò)（FCN）由卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)化得來，全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以用（卷積層+（可選）池化層）*N+反卷積層*K來表示，它與卷積神經(jīng)網(wǎng)絡(luò)不同的點(diǎn)在于它包含有反卷積層。卷積層和池化層的操作會使得輸出的尺寸不斷變小，而反卷積層就可以逆向，使得輸出的尺寸變大，這樣就可以使得開始的輸入和輸出的尺寸相等。這可以很好地應(yīng)用在圖像分割上面。在王麗冉[[6]]等人發(fā)表的《面向舌體分割的兩個(gè)階段卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)》一文中正是使用了全卷積神經(jīng)網(wǎng)絡(luò)來分割舌體，主要分為兩個(gè)階段：一個(gè)是粗分割一個(gè)是精分割。在粗分割階段采用了普通的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)架，即由卷積層和全連接層構(gòu)成的框架，從舌象圖片的相似背景中提取出舌體的區(qū)域，這個(gè)過程也就是對舌體進(jìn)行標(biāo)定，這樣減少了舌體周邊組織對舌體分割造成的影響。在精分割階段采用了卷積層和反卷積層構(gòu)成的全卷積神經(jīng)網(wǎng)絡(luò)的框架，粗分割階段得到的結(jié)果作為這一階段的輸入，使得舌體可以精準(zhǔn)地分割出來。

2.1.2 基于卷積專家網(wǎng)絡(luò)的舌型標(biāo)定和分割

卷積專家網(wǎng)絡(luò)（CEN）是Amir Zadeh[[7]]等人于2017年發(fā)表的論文中提及的一種新穎的局部檢測器。該文中提到傳統(tǒng)的面部標(biāo)記點(diǎn)檢測模型是局部約束模型（CLM），但是這種模型受到表情、光照、面部毛發(fā)和化妝等因素的影響而表現(xiàn)不及基于級聯(lián)回歸的方法。作者認(rèn)為，CLM存在局限的原因是它使用的局部檢測器對于復(fù)雜變化的局部標(biāo)記特征點(diǎn)無法建模。因此他們提出了卷積專家網(wǎng)絡(luò)作為新穎的局部檢測器，從而提出了基于卷積專家網(wǎng)絡(luò)的局部約束模型（CE-CLM），這種模型恰好可以彌補(bǔ)CLM的不足。這個(gè)模型結(jié)合卷積專家網(wǎng)絡(luò)和三維點(diǎn)云分布模型實(shí)現(xiàn)精準(zhǔn)定位進(jìn)而提高圖像分割的精度。其中卷積專家網(wǎng)絡(luò)與普通卷積神經(jīng)網(wǎng)絡(luò)不同點(diǎn)在于，其在普通卷積層的基礎(chǔ)上疊加了一個(gè)專家層（ME層），專家層可以混合學(xué)習(xí)一個(gè)集合來捕獲感興趣區(qū)域的變化，因而對標(biāo)定點(diǎn)的變化具有魯棒性。可以考慮將這個(gè)算法的模型應(yīng)用于舌象的標(biāo)定和分割，可以實(shí)現(xiàn)對舌頭各部分進(jìn)行定位和分割，然后提取舌頭各部分的特征進(jìn)行診斷，使得診斷結(jié)果更加全面可靠。同時(shí)可以實(shí)現(xiàn)自動分割，大大減少人為標(biāo)定分割的成本，為后續(xù)的研究提供充足的舌象數(shù)據(jù)集。

2.2 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于舌象分類和預(yù)測

舌是人體健康的晴雨表。舌頭由舌質(zhì)和舌苔組成。舌質(zhì)是舌的肌肉經(jīng)脈組織而舌苔是舌面上附著的苔狀物。在中醫(yī)舌診中，主要看舌質(zhì)和舌苔的顏色形狀和形態(tài)。由于個(gè)體的差異性，根據(jù)舌象的不同劃分為不同的體質(zhì)一直存有爭議。大部分情況下，可以將舌象簡單地分類為正常、寒癥和熱癥。而現(xiàn)在，在中醫(yī)診療中普遍認(rèn)可王琦教授針對舌象而劃分的九種體質(zhì)。這九種體質(zhì)分別為：平和質(zhì)、氣虛質(zhì)、陽虛質(zhì)、陰虛質(zhì)、痰濕質(zhì)、濕熱質(zhì)、津虧質(zhì)、氣滯質(zhì)、血瘀質(zhì)。

如今深度學(xué)習(xí)的框架不斷發(fā)展，目前主流的深度學(xué)習(xí)框架有 TensorFlow，pytorch，Caffe，Keras等，這些框架為深度學(xué)習(xí)模型的搭建提供了接口，而且里面集成了許多經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。因此可以在這些深度學(xué)習(xí)的框架中使用卷積神經(jīng)網(wǎng)絡(luò)的模型對舌象進(jìn)行分類。目前，已經(jīng)有科研人員直接使用深度層卷積神經(jīng)網(wǎng)絡(luò)對舌象圖片進(jìn)行模型的訓(xùn)練和分類。但是直接訓(xùn)練深層的卷積神經(jīng)網(wǎng)絡(luò)模型需要大量的訓(xùn)練集，而且訓(xùn)練集還需要帶有醫(yī)生診斷的標(biāo)簽，而收集和標(biāo)定大量數(shù)據(jù)集的過程是很難實(shí)現(xiàn)的。

所以，從頭開始訓(xùn)練一個(gè)非常龐大的深層神經(jīng)網(wǎng)絡(luò)是不明智的，大多時(shí)候應(yīng)該試著去找一個(gè)能處理相似問題的已有的神經(jīng)網(wǎng)絡(luò)，然后重用它的低層網(wǎng)絡(luò)，這叫作遷移學(xué)習(xí)。遷移學(xué)習(xí)可以協(xié)助人類解決小樣本分類問題，使用在海量數(shù)據(jù)集上訓(xùn)練好的模型對小樣本進(jìn)行特征提取，再用特征微調(diào)全連接神經(jīng)網(wǎng)絡(luò)降低利用深度網(wǎng)絡(luò)解決問題的難度系數(shù)[[8]]。不少研究者對舌象的分類都是基于遷移學(xué)習(xí)來實(shí)現(xiàn)的[8-9]。通過重用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的低層連接權(quán)重，然后應(yīng)用數(shù)據(jù)增強(qiáng)的手段讓圖片對旋轉(zhuǎn)、平移和放縮具有一定的魯棒性。再將自己的頂層添加到模型中就可以實(shí)現(xiàn)遷移學(xué)習(xí)了。

3 總結(jié)

本文首先對卷積神經(jīng)網(wǎng)絡(luò)的原理和它的幾種經(jīng)典架構(gòu)進(jìn)行了闡述，然后分別介紹了卷積神經(jīng)網(wǎng)絡(luò)在舌象分割和舌象分類兩個(gè)方面的應(yīng)用。其中穿插講解了其他一些方法的優(yōu)缺點(diǎn)。中醫(yī)藥學(xué)是中國幾千年文化所積淀下來的龐大理論體系，而舌診僅僅作為其中的一部分。卷積神經(jīng)網(wǎng)絡(luò)可以應(yīng)用在中醫(yī)上面的遠(yuǎn)遠(yuǎn)不止舌診這一個(gè)方面，甚至還可以將其應(yīng)用在脈診、面診、目診和手診上面。中醫(yī)藥文化博大精深，不是簡簡單單通過訓(xùn)練一個(gè)模型就能完全將病人的病癥診斷出來的。而且個(gè)體存在差異，更多地需要醫(yī)生經(jīng)驗(yàn)的判斷。因此這只能作為輔助診斷的技術(shù)。倘若未來想要實(shí)現(xiàn)中醫(yī)診療的完全自動化、智能化，做這些還遠(yuǎn)遠(yuǎn)不夠，還需要考慮方方面面的因素，來提高診斷的可靠性。

參考文獻(xiàn)：

[1] LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[2] 俞頌華.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J].信息通信，2019，32（2）：39-43.

[3] Szegedy C， Liu W， Jia Y， et al. Going deeper with convolutions[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2015：1-9.

[4] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.27-30 June 2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[5] Chollet F.Xception：deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.21-26 July 2017，Honolulu，HI，USA.IEEE，2017：1800-1807.

[6] 王麗冉，湯一平，陳朋，等.面向舌體分割的兩階段卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[J].中國圖象圖形學(xué)報(bào)，2018，23（10）：1571-1581.

[7] Zadeh A，Lim Y C，Baltru?aitis T，et al.Convolutional experts constrained local model for 3D facial landmark detection[C]//2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.22-29 Oct.2017，Venice，Italy.IEEE，2017：2519-2528.

[8] 楊晶東，張朋.基于遷移學(xué)習(xí)的全連接神經(jīng)網(wǎng)絡(luò)舌象分類方法[J].第二軍醫(yī)大學(xué)學(xué)報(bào)，2018，39（8）：897-902.

[9] 胡繼禮，闞紅星.基于卷積神經(jīng)網(wǎng)絡(luò)的舌象分類[J].安慶師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，24（4）：44-49.

【通聯(lián)編輯：代影】