基于CS-BP神經網絡的舌診圖像顏色校正算法

趙曉梅， 張正平， 余穎聰，袁 剛， 劉兆邦*

(1.貴州大學 大數(shù)據與信息工程學院， 貴州 貴陽 550025；2.中國科學院蘇州生物醫(yī)學工程技術研究所， 江蘇 蘇州 215163；3.溫州市人民醫(yī)院， 浙江 溫州 325699)

舌診是指中醫(yī)通過觀察舌質和舌苔的形態(tài)、色澤、潤燥等特征來判斷人體疾病重要的方法。傳統(tǒng)的中醫(yī)診斷往往受醫(yī)生的經驗影響而得不到關于舌頭精確的信息。如今隨著互聯(lián)網技術的迅速發(fā)展以及數(shù)字圖像處理技術算法的成熟，用計算機輔助舌診分析成為一大優(yōu)勢。計算機舌診[1]包括舌象的顏色校正、分割[2]、特征提取[3]、分類[4]等步驟。由于人體舌象的采集過程中因拍攝環(huán)境、角度以及拍攝設備等因素造成舌象顏色與真實顏色存在一定的偏差，這將會影響計算機舌診后續(xù)步驟的準確性。由此可見，舌象的顏色校正對計算機舌診算法研究至關重要。

目前常見舌象的顏色校正方法分為監(jiān)督學習算法和無監(jiān)督學習算法。其中監(jiān)督學習算法是指在拍攝圖像的現(xiàn)場，放了標準顏色色塊的監(jiān)督色板，以這些色塊在標準光照和非標準光照下顏色進行學習，求出顏色轉換關系。例如文獻[5]提出了基于多項式回歸、偏最小二乘回歸和感興趣色域的舌象顏色校正算法，文獻[6]比較了人工神經網絡、支持向量回歸以及多項式回歸這三種算法的準確性，同樣的研究團隊在文獻[7]提出一個優(yōu)化的舌象顏色校正方案以及時隔三年開發(fā)了一臺用于計算機舌象分析的高質量彩色成像系統(tǒng)[8]。近幾年，陸續(xù)有人在原來的算法進行改進對舌象進行顏色校正，例如ZHOU[9-10]等人提出了SA(模擬退火)-GA(遺傳算法)-BP的顏色校正算法和KPSR(核偏最小二乘回歸)的顏色校正算法。然而上述算法都只在固定的場景中進行的，不具普適性。無監(jiān)督學習算法是指不需要監(jiān)督色板，通過色彩假設而得到色彩之間的映射關系。例如文獻[11]中提出了一種在自然環(huán)境中采用改進的灰度世界和完美反射相結合的顏色校正算法對舌象進行處理，該算法無法定性地評價校正效果的優(yōu)劣。

隨著智能手機的普及和移動端攝像技術的提升，采用手機在開放環(huán)境中進行舌象采集并通過互聯(lián)網在線分析診斷成為新型的研究方向，而且基于移動互聯(lián)網的人工智能在線舌診診斷算法的研究，對于我國兩千多年中醫(yī)舌診技術的傳承和發(fā)展有莫大的作用。在文獻[12]中提到用SVM(支持向量機)分類器估計方法去預測智能手機所拍舌象的顏色校正矩陣，該方法雖準確率高，但實現(xiàn)過程復雜且執(zhí)行效率較低。本文在前人的研究基礎上針對中醫(yī)舌診拍攝環(huán)境的局限性，在不同場景中通過智能手機采集舌象，采用標準24色色卡作為金標準，然后提出一種基于CS(布谷鳥搜索算法)-BP的舌象顏色校正算法，通過布谷鳥算法對BP神經網絡進行優(yōu)化，經過實驗對比分析校正前后色差值指標，本文算法顏色校正效果要優(yōu)于傳統(tǒng)多項式回歸和BP神經網絡算法。

1 顏色校正算法

1.1 多項式回歸

多項式回歸算法多用于打印機色彩校正，主要優(yōu)點是存儲空間少，計算速度塊，容易實現(xiàn)。

本文與文獻[5]有兩點不一樣的地方，一是使用的色卡為國際標準的24色卡而不是自制色卡，二是采用的多項式模型經過多次實驗選用{R,G,B}，如式(1)所示：

(1)

多項式回歸自變量R、G、B之間存在多重相關性，回歸精度受其影響，導致校正后的舌象與真實舌象之間還有一定的偏差。

1.2 BP神經網絡

BP神經網絡用于顏色校正中目的是通過訓練學習得到標準色卡與待校正色卡之間像素關系。

接下來用公式簡單闡述BP神經網絡的原理。假設用I表示整個網絡的輸入，W1表示輸入層到隱藏層的閾值，B1表示輸入層到隱藏層的閾值，W2表示隱藏層到輸出層的權值，B2表示隱藏層到輸出層的權值。H表示隱藏層的輸入，Hout表示隱藏層的輸出，O表示輸出層的輸入。Oout表示網絡的輸出，則有：

H=W1I+B1Hout=y(H)

O=W2Hout+B2Oout=y(O)

(2)

其中y為激活函數(shù)，目前常用的激活函數(shù)有階躍函數(shù) hardlim(x)，線性轉移函數(shù) purelin(x)，對數(shù) S 型函數(shù) logsig(x)和正切 S 型函數(shù) tansig(x)。

基于BP網絡的舌象顏色校正算法訓練階段和測試階段見文獻[13-14]。

由于BP神經網絡的初始值隨機設置，每次訓練后的權值和閾值都在發(fā)生變化，導致校正后的舌象顏色不穩(wěn)定，會出現(xiàn)模糊，且BP神經網絡一直存在易收斂到局部最優(yōu)的問題，由此可知，該方法魯棒性不佳，適應度不強。

1.3 本文算法

為了解決BP神經網絡在舌象顏色校正中存在依賴初始值與易收斂到局部最小的問題，在BP的基礎上引入了布谷鳥搜索算法。

(1)布谷鳥搜索(Cuckoo Search)算法介紹

布谷鳥搜索算法，也叫杜鵑搜索，是由劍橋大學ZHOU等[10]提出的一種新型元啟發(fā)式搜索算法。CS算法主要是通過模擬布谷鳥的巢寄生性和levy飛行機制來有效求解最優(yōu)化問題，并且通過隨機游走的方式搜索到最佳鳥巢孵化鳥蛋，CS算法具有很好的全局搜索能力，不易陷入局部最優(yōu)，且算法所涉及參數(shù)較少，簡單通用。

為了模擬布谷鳥的巢寄生性在文獻[15]中假定了3個理想狀態(tài)：①每只布谷鳥一次只下一個蛋，并隨機選擇一個鳥巢存放；②在尋窩的過程中，放有優(yōu)質蛋的鳥巢將會保存到下一代。③可用鳥巢的數(shù)量固定不變，一旦布谷鳥蛋被寄主鳥發(fā)現(xiàn)，寄主鳥就丟棄鳥蛋或鳥巢，那么將重新尋找鳥巢，避免影響尋找優(yōu)化問題的解。

在這3個理想狀態(tài)的基礎上，布谷鳥尋優(yōu)搜索的位置和路徑的更新公式如式(3)所示：

(3)

Step1: 初始化BP神經網絡權值和閾值長度；

Step2: 首先隨機產生n個鳥巢位置，每一個鳥巢位置對應著一組BP神經網絡中的權值和閾值，BP神經網絡根據隨機產生的權值和閾值對訓練集進行訓練，計算每個鳥巢位置對應的適應度值即為網絡的訓練誤差，并由適應度值找到當前最優(yōu)鳥巢，且得出當前最優(yōu)適應度值fmin；

Step3: 將上一代最優(yōu)鳥巢帶入式(3)，并對其他鳥巢進行更新，得到一組新的鳥巢位置，然后對它們進行測試，并與上一代的鳥巢位置進行比較，用較好的鳥巢位置代替原來的鳥巢位置；

Step4: 將step3更新的每一組鳥巢位置送入BP神經網絡進行訓練，如同step2，更新鳥巢位置，并得出新的最優(yōu)鳥巢位置；

Step5: 將隨機數(shù)與發(fā)現(xiàn)概率p比較，保留step4中被發(fā)現(xiàn)概率較小的鳥巢，同時隨機改變其他鳥巢，得到一組新鳥巢位置。

Step6: 將step5得到的新巢帶入BP神經網絡，如同step2，計算每一組的適應度值，并得到最佳的鳥巢位置和適應度值fnew；

Step7: 將step6得到的最佳適應度值與step2的適應度值進行比較，若fnew

Step8: 循環(huán)step3-step7；

Step9: 循環(huán)結束，將最優(yōu)鳥巢位置即最佳權值和閾值代入BP神經網絡并對訓練樣本再次訓練，訓練結束，用舌象像素進行測試得到校正后的舌象圖。

2 實驗結果及分析

2.1 評價分析

為更好說明本文算法的正確性和有效性，將采用顏色恒常性研究中普遍使用的色差計算方法，色差是在Lab顏色空間中對顏色差異的度量，用ΔE表示，公式如下：

(4)

(5)

其中L*、a*、b*表示標準色卡24色塊的標準值，L、a、b表示校正后色卡24色塊的校正值，ΔEtotal表示整體色差值。

2.2 結果分析

因場景、時間等因素導致光照強度不同，進而導致舌象的顏色存在一定的失真，故本文在室內、室外、白熾燈三種場景下分別采了早上9點，中午12點，下午2點，下午5點的數(shù)據進行對比分析，各采10例，校正前和校正后的色差值進行了平均處理。校正色卡為麥克貝斯色卡，采集設備為小米5s，性能參數(shù)為后置攝像頭1 200萬像素，分辨率：1 920*1 080像素。采用多項式回歸、BP網絡、CS-BP網絡校正的結果比較如下：

圖1 室內的校正結果Fig.1 Indoor calibration results

圖2 室外的校正結果Fig.2 Outdoor calibration results

圖3 白熾燈下的校正結果Fig.3 Calibration results under incandescent lamps

從圖1、圖2中可清晰地看到，室外校正前的色差值相比于室內波動大，原因在于室外所拍攝的圖像受天氣影響變化大，用三種算法對場景中的色卡進行了顏色校正，從圖1-3中，多項式回歸和BP神經網絡對其校正后色差值受校正前的色差值的影響，波動較大，并且BP神經網絡依賴于初始值以及易收斂于局部最優(yōu)，每次訓練后得到的參數(shù)變化較大，導致舌象校正后的結果不一致。因此這兩種算法都不利于后期中醫(yī)舌診的研究，而本文算法CS-BP對其校正后的色差值保持在9上下，波動范圍較小，不受光照強度、環(huán)境等因素的影響，且解決了BP網絡遇到的兩大問題，比較適合后續(xù)舌診進一步研究，也由此說明了CS-BP優(yōu)于多項式回歸和BP神經網絡。

對場景中的色卡進行校正并得到對應的顏色校正模型，將此用于舌象的顏色校正中，校正結果如圖4-7。

圖4和圖5是室內舌象顏色校正的情況，主觀上來看，由于圖像受智能手機參數(shù)的影響，原圖整體偏亮，經多項式回歸校正后，顏色有一定的改善，但從色卡的白塊可看出，校正效果并沒有得到多大提高；用BP神經網絡進行校正后，結果在多項式回歸的基礎之上有所提高，用CS優(yōu)化BP之后，解決了在BP神經網絡中遇到的問題并且校正結果有一定的改進，這與圖1中的結果相吻合。

圖4 室內早上9點校正結果Fig.4 Indoor calibration results at 9 am

圖5 室內下午2點校正結果Fig.5 Indoor calibration results at 2 pm

圖6和圖7是室外舌象顏色校正的情況，可以看到，因室外不同時間的溫度變化大，會出現(xiàn)偏色情況，如圖7a，因那時正接近黃昏，所以原圖顏色偏黃，經三種算法校正后，都很大程度上修正了原圖的顏色。多項式回歸，BP神經網絡以及本文方法校正效果依次遞進，雖說從表面上看不出BP神經網絡與本文方法的優(yōu)劣，但我們可以從圖6c和圖6d的色卡可看出，BP網絡校正后出現(xiàn)模糊，而本文算法避免了這一缺陷，且校正結果更佳，這與圖2的結果相符。

圖6 室外早上9點校正結果Fig.6 Outdoor calibration results at 9 am

圖7 室外下午5點校正結果Fig.7 Outdoor calibration results at 5 pm

由于在拍攝過程中，拍攝角度與被拍攝者的細微動作變化將會導致在相同光照下拍攝的兩幅舌象之間仍存在一定的色差，所以本文在實驗中分別在相同時間內的室內、室外和白熾燈三種場景下共拍攝了9幅圖像，每個場景3幅圖像，經三種算法校正后，將色差值取均值得到表1，從表中可看出，多項式回歸校正結果最差且因拍攝角度、拍攝設備等因素影響而導致色差值波動較大，而BP神經網絡和本文算法得到的結果相對穩(wěn)定，如表中的室內室外兩種場景下的色差值對比情況。

4 結語

本文提出了一種基于CS-BP網絡的舌象顏色校正算法，通過與多項式回歸和BP神經網絡兩種方法進行實驗對比，證實了本文算法的有效性。

表1 各算法校正結果色差值Tab.1 Color difference values of the calibration results of each algorithm

因色卡的樣本量以及開放環(huán)境不確定因素的影響，本文三種算法的校正結果有所局限，無法達到標準封閉環(huán)境下的校正結果，故如若像文獻[6]中取與舌色相近的顏色定制色卡進行訓練，校正結果會更佳。但本文在有限的實驗條件下，研究了舌象在三種不同場景下舌象的顏色校正，對于未來互聯(lián)網應用中醫(yī)舌診技術的推廣，仍具有較高的實用性和研究價值。