基于光照模型的細(xì)胞內(nèi)鏡圖像不均勻光照校正算法

鄒鴻博，章 彪，王子川，陳 可，王立強(qiáng)，袁 波

（1.浙江大學(xué) 光電科學(xué)與工程學(xué)院,浙江 杭州 310027；2.之江實(shí)驗(yàn)室類人感知研究中心,浙江 杭州 311100）

1 引言

細(xì)胞內(nèi)鏡是一種具有超高放大倍率的內(nèi)窺鏡[1-4]，可實(shí)現(xiàn)常規(guī)倍率到細(xì)胞級(jí)放大倍率的連續(xù)放大觀察。受不均勻照明及雜散光的影響，不同放大倍率下的細(xì)胞內(nèi)鏡圖像均存在光照不均勻現(xiàn)象，這會(huì)直接影響圖像的視覺效果及醫(yī)生對(duì)病灶的分析判斷。

現(xiàn)有不均勻光照校正方法可分為傳統(tǒng)方法和深度學(xué)習(xí)法兩大類。典型的傳統(tǒng)方法有直方圖均衡化(Histogram Equalization,HE)方法和基于Retinex 理論的算法。直方圖均衡化算法[5-7]簡(jiǎn)單，但存在色彩失真、灰階過渡不連續(xù)等問題?；赗etinex 理論的算法根據(jù)光照-反射模型提取光照分量，包括同態(tài)濾波[8,9](Homomorphic Filter,HF)、SSR[10-11](Single Scale Retinex)、MSR[12-13](Multi Scale Retinex)等，但在具體應(yīng)用中需配合適當(dāng)參數(shù)才能起到最佳效果，特別在細(xì)胞內(nèi)鏡中使用時(shí)，不同放大倍率下需設(shè)置不同的校正參數(shù)，否則容易導(dǎo)致光照校正不足或過度。

深度學(xué)習(xí)法通過建立“均勻-不均勻”光照?qǐng)D像對(duì)并利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)光照校正。如：Mei 等人[14]設(shè)計(jì)全卷積神經(jīng)網(wǎng)絡(luò)(Full Convolution Network,FCN)模型來(lái)進(jìn)行端到端的學(xué)習(xí)，將不均勻圖像校正為均勻圖像；Wang 等人[15]設(shè)計(jì)了特征編/解碼模塊對(duì)顯微鏡不均勻照度進(jìn)行預(yù)測(cè)，再通過細(xì)化網(wǎng)絡(luò)逐步恢復(fù)光照均勻圖像。深度學(xué)習(xí)法具有泛化能力強(qiáng)和無(wú)需人工設(shè)置參數(shù)的優(yōu)勢(shì)，但校正圖像會(huì)有顏色失真，且不易在純CPU 下實(shí)現(xiàn)實(shí)時(shí)推理。

為此，本文從細(xì)胞內(nèi)鏡的光照模型出發(fā)，提出利用輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)從圖像中提取光照分布和利用二維Gamma 函數(shù)進(jìn)行校正的細(xì)胞內(nèi)鏡圖像的不均勻光照校正算法。該方法在光照校正的同時(shí)，可以更好地保持目標(biāo)顏色，并且具有更快的推理速度。

2 細(xì)胞內(nèi)鏡圖像去光照算法

基于Retinex 理論，圖像信息可以分解為光照分量和反射分量，如式（1）所示：

其中：f(x,y) 為圖像信息，i(x,y) 為光照分量，r(x,y)為反射分量。光照分量主要影響圖像的亮度，反射分量主要影響圖像細(xì)節(jié)的紋理信息。因此，只需要從圖像中提取出光照分量，就可以有效地對(duì)圖像進(jìn)行光照校正。

2.1 細(xì)胞內(nèi)鏡光照模型

細(xì)胞內(nèi)鏡采用如圖1 所示的兩路發(fā)散光照明，在常規(guī)成像模式下，兩路發(fā)散光的光軸隨觀察平面靠近鏡體而遠(yuǎn)離，從圖像中可以看出由此導(dǎo)致的光照不均勻性情況也是變化的。

圖1 常規(guī)成像模式下的照明光路Fig.1 Optical path in conventional imaging mode

在顯微成像時(shí)，細(xì)胞內(nèi)鏡的孔徑光闌位置提前，使得視場(chǎng)角變大，由于細(xì)胞內(nèi)鏡鏡體前端存在凸起（如圖2(a)和2(b)所示），以大角度入射的光線會(huì)從側(cè)面進(jìn)入，形成雜散光，最終導(dǎo)致成像面出現(xiàn)如圖2(c)所示的條形光斑。

圖2 顯微成像模式下的雜散光產(chǎn)生過程Fig.2 The process of stray light generation in microscopic imaging mode

2.2 細(xì)胞內(nèi)鏡光照提取網(wǎng)絡(luò)

在深度學(xué)習(xí)中，語(yǔ)義分割任務(wù)屬于圖像到圖像的變換問題，而圖像光照提取也是類似的。參考經(jīng)典的語(yǔ)義分割網(wǎng)絡(luò)DFAnet，并基于上述細(xì)胞內(nèi)鏡光照模型，本文設(shè)計(jì)了一個(gè)光照提取網(wǎng)絡(luò)，可以從原始圖像中提取光照分布。如圖3（彩圖見期刊電子版）所示，其結(jié)構(gòu)主要包含主干網(wǎng)絡(luò)、位置編碼模塊、空間金字塔模塊等。

圖3 光照提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure diagram of illumination extraction network

首先，細(xì)胞內(nèi)鏡圖像的光照分布既受到全局光照的影響，又受到局部特征的影響，因此，主干網(wǎng)絡(luò)分三個(gè)尺度提取圖像特征，每一尺度下的淺層特征與深層特征進(jìn)行融合，不同尺度下的淺層特征進(jìn)行融合，得到融合后的特征圖。

其次，將融合后的特征圖輸入位置編碼模塊，以獲得額外的空間位置信息。位置編碼模塊采取的編碼方式如下：

其中PE為位置編碼的特征向量，pos代表位置，i為當(dāng)前通道維度，dmodel為通道總維度。位置編碼特征和輸入的特征圖結(jié)合，可使得網(wǎng)絡(luò)包含顯式的位置信息，從而提高對(duì)不同區(qū)域光照強(qiáng)度的預(yù)測(cè)能力。

然后，通過空間金字塔模塊將主干網(wǎng)絡(luò)的多尺度深層特征與位置編碼后的淺層特征進(jìn)行融合?？臻g金字塔模塊如圖4 所示，按由深到淺的順序依次進(jìn)行特征解碼，每次特征解碼包含3 個(gè)步驟：上采樣、拼接和卷積融合。

圖4 空間金字塔模塊示意圖Fig.4 Schematic diagram of spatial pyramid module

最后，通過卷積對(duì)特征圖進(jìn)行通道數(shù)壓縮，并上采樣到與輸入圖像相同尺寸，得到光照預(yù)測(cè)結(jié)果。

2.3 細(xì)胞內(nèi)鏡光照校正算法

利用上述光照提取網(wǎng)絡(luò)提取到光照分布后，采用如圖5 所示的基于二維Gamma 函數(shù)的自適應(yīng)圖像亮度校正方法進(jìn)行光照不均勻校正。首先，將圖像從RGB 空間轉(zhuǎn)換為HSV 空間。然后，基于如下的Gamma 函數(shù)對(duì)圖像亮度進(jìn)行校正：

圖5 圖像不均勻光照校正算法流程圖Fig.5 Flow chart of non-uniform illumination correction algorithm

其中V(x,y) 為輸入的亮度圖像，VREC(x,y)為校正后的輸出亮度圖像；t(x,y)為用于亮度增強(qiáng)的指數(shù)值，其中包含了圖像的光照分量特性；I(x,y)為提取到的光照分布圖像，Im為光照分布圖像的均值。最后，將校正后的V 通道與H 和S 通道重新合成彩色圖像。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 細(xì)胞內(nèi)鏡圖像不均勻光照校正數(shù)據(jù)集

光照提取網(wǎng)絡(luò)的訓(xùn)練需要構(gòu)建“均勻-不均勻”光照?qǐng)D像對(duì)數(shù)據(jù)集，WSI-FCN 算法通常的做法是：先拍攝不均勻光照?qǐng)D像，再拍攝相同位置的均勻光照?qǐng)D像，以此獲得一組圖像對(duì)。但上述方式操作繁瑣，數(shù)據(jù)集制作較耗時(shí)，本文提出了一種仿真數(shù)據(jù)集制作方法。該方法先采集均勻光照下的細(xì)胞內(nèi)鏡圖像，然后在細(xì)胞內(nèi)鏡的自帶光源照明下，拍攝灰度卡，得到不均勻光照分布圖像。最后將二者進(jìn)行組合疊加，得到大量的不均勻光照下的細(xì)胞內(nèi)鏡圖像。根據(jù)以上方法只需拍攝少量的內(nèi)鏡圖像和光照?qǐng)D像，無(wú)需嚴(yán)格匹配，操作簡(jiǎn)單，數(shù)據(jù)集制作高效。

據(jù)此制作了包含750 組圖像的數(shù)據(jù)集，圖6 (a)（彩圖見期刊電子版）為常規(guī)成像數(shù)據(jù)集，從左到右拍攝距離遞減，可以看出光照對(duì)圖像的影響會(huì)隨距離而變化；圖6(b)（彩圖見期刊電子版）為顯微成像數(shù)據(jù)集，從左到右放大倍率依次增加，可以明顯看出顯微成像時(shí)圖像中存在條形光斑。

圖6 細(xì)胞內(nèi)鏡不均勻光照數(shù)據(jù)集展示Fig.6 Images of non-uniform illumination dataset under cytoendoscope

細(xì)胞內(nèi)鏡圖像采集裝置如圖7 所示，細(xì)胞內(nèi)鏡鏡體固定在支架上，可通過手柄自由調(diào)節(jié)角度，離體動(dòng)物組織或灰度卡可置于升降架上以方便調(diào)節(jié)目標(biāo)到鏡體的距離。

圖7 圖像采集裝置Fig.7 Image acquisition device

實(shí)驗(yàn)所用內(nèi)鏡的放大倍率是連續(xù)可調(diào)的，在工作距離約為0 cm 的條件下，其放大倍率可達(dá)到500 倍；在工作距離約為15 cm 的條件下，其放大倍率約為1.5 倍。因此，通過調(diào)整工作距離，即可得到不同放大倍率的圖像。

首先，使用外部平行光照明動(dòng)物組織，如圖7(a)所示，拍攝得到均勻光照下的細(xì)胞內(nèi)鏡圖像；然后使用如圖7(b)所示細(xì)胞內(nèi)鏡自帶光源照明灰度卡拍攝得到不均勻光照分布圖像，在0～15 cm 的工作范圍內(nèi)設(shè)置15 個(gè)距離，每個(gè)距離下設(shè)置10 種拍攝角度，每個(gè)拍攝角度下設(shè)置5 個(gè)亮度等級(jí)，由此得到750 組光照分布圖像。

3.2 內(nèi)窺鏡圖像去噪評(píng)價(jià)指標(biāo)

選擇AGIC(Average Gradient of Illumination Channel)、DE(Discrete Entropy)兩個(gè)指標(biāo)定量評(píng)價(jià)不均勻光照的校正效果。AGIC 為光照分量的平均梯度，其表達(dá)式為：

其中：M、N分別為圖像沿水平和垂直方向的分塊數(shù)；i，j代表圖像塊的位置；g(i,j)為相鄰塊之間的最大差值：

其中：m0(i,j)代表位置為(i,j)的圖像塊的亮度平均值；mk(i,j)代表位置為(i,j)的圖像塊的8 個(gè)鄰域塊的亮度平均值；max 表示取最大值。DE 為離散熵，其表達(dá)式為：

其中：x代表灰度圖像；i是灰度等級(jí)；而pi是灰級(jí)i的概率。DE 值越高，代表圖像包含的信息量越大。

3.3 實(shí)驗(yàn)配置

實(shí)驗(yàn)在Ubuntu16.04 系統(tǒng)進(jìn)行，顯卡為NVIDIA RTX 1080Ti 11G 獨(dú)立顯卡，CPU 為Intel Core i7-10700K，代碼在Python 3.7.0 環(huán)境下運(yùn)行，并使用Pytorch 深度學(xué)習(xí)框架。不同于對(duì)分辨率要求較高的圖像分割任務(wù)，輸入輸出圖像尺寸的變化不會(huì)對(duì)光照提取效果產(chǎn)生太大影響，因此在綜合考慮模型精度與推理速度之間的平衡后，統(tǒng)一將輸入圖像大小設(shè)置為512×512。為了使模型有更好的泛化能力，將初始學(xué)習(xí)率設(shè)置為0.01，并使其在訓(xùn)練過程中不斷衰減，最小為0.000 1，考慮到顯存占用的問題，將Batch Size 設(shè)置為4，參照DFAnet 的訓(xùn)練策略，將Epoch 設(shè)置為100，并使用Momentum 為0.9、Decay 為0.000 5 的SGD 優(yōu)化器進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化。

選擇了AHE、HF、SSR 三種傳統(tǒng)方法和WSIFCN 深度學(xué)習(xí)法的校正效果進(jìn)行對(duì)比。為了確保訓(xùn)練結(jié)果的可靠性，將數(shù)據(jù)集按6∶ 2∶2 的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。依據(jù)驗(yàn)證集上的結(jié)果調(diào)優(yōu)模型，并將訓(xùn)練好的深度模型在測(cè)試集上與其他方法進(jìn)行效果對(duì)比。

3.4 結(jié)果分析

3.4.1 定性對(duì)比

定性對(duì)比結(jié)果如圖8（彩圖見期刊電子版）所示。

圖8 不同方法的圖像校正結(jié)果Fig.8 Image correction results using different correction methods

其中第一列和第二列為常規(guī)倍率下的豬胃圖像，第三列和第四列為顯微觀察下的腺管和細(xì)胞圖像，可以看出：

（1）在傳統(tǒng)算法方面，AHE、HF 和SSR 對(duì)邊緣區(qū)域亮度提升均不明顯，且AHE 和SSR 還存在過曝光的問題；此外，傳統(tǒng)方法往往需要手工調(diào)節(jié)參數(shù)，如從常規(guī)倍率切換到細(xì)胞級(jí)放大倍率時(shí)，這3 種方法都需要改變參數(shù)才能達(dá)到好的處理效果。

（2）基于深度學(xué)習(xí)的WSI-FCN 方法無(wú)須調(diào)整參數(shù)，邊緣區(qū)域亮度有一定提升，但存在明顯的偏色，這主要因?yàn)榧?xì)胞內(nèi)鏡的應(yīng)用場(chǎng)景多樣，不同倍率下的圖像色調(diào)變化較大，通過卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)校正后的彩色圖像會(huì)出現(xiàn)信息雜糅問題，導(dǎo)致當(dāng)前場(chǎng)景下的色調(diào)受其它場(chǎng)景的影響。

（3）本文方法對(duì)邊緣暗區(qū)的亮度提升效果明顯，且不存在偏色及過曝問題。此外，從顯微倍率下的細(xì)胞圖像對(duì)比結(jié)果可以看出，本文方法對(duì)光斑也有很好的去除效果。

3.4.2 定量對(duì)比

不同校正方法在測(cè)試集上的定量結(jié)果如表1所示?？梢钥闯?，本文算法較其他幾種方法中效果最好的HF 方法，AGIC 降低了0.04，DE 提升了0.21。說(shuō)明本文校正算法在光照校正的同時(shí)，能更好地保留圖像細(xì)節(jié)。

表1 不同方法的定量結(jié)果對(duì)比Tab.1 Comparison of quantitative results for different correction methods

3.4.3 速度對(duì)比

為了對(duì)比不同算法的運(yùn)行速度，本文通過細(xì)胞內(nèi)鏡采集了一段時(shí)長(zhǎng)為2 分鐘的視頻，計(jì)算每種算法處理每幀視頻的平均耗時(shí)，結(jié)果如表2 所示?？梢钥闯觯瑹o(wú)論在CPU 下還是GPU 下，本文算法的每幀耗時(shí)都最短，這得益于本文方法在網(wǎng)絡(luò)設(shè)計(jì)時(shí)通過小特征尺寸（128 pixel×128pixel）和低通道數(shù)（128）有效降低了模型的參數(shù)量。本文方法在CPU 為Intel Core i7-10700K 的條件下校正速度能夠達(dá)到20 frame/s，能夠滿足細(xì)胞內(nèi)鏡實(shí)時(shí)使用的需要。

表2 不同方法的速度對(duì)比Tab.2 Speed comparison of different correction methods

4 結(jié)論

本文實(shí)現(xiàn)了一種基于細(xì)胞內(nèi)鏡光照模型的不均勻光照校正算法，它通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的光照分布，并基于二維Gamma 函數(shù)實(shí)現(xiàn)不均勻光照校正。實(shí)驗(yàn)結(jié)果表明，經(jīng)本文方法進(jìn)行不均勻光照校正后，圖像邊緣暗區(qū)的亮度提升明顯，圖像光斑去除效果顯著，且不存在偏色及過曝問題。從定量結(jié)果來(lái)看，圖像的光照分量平均梯 度和離散熵分別為0.22 和7.89，優(yōu)于AHE、HF和SSR 等傳統(tǒng)方法以及基于深度學(xué)習(xí)的WSI-FCN 算法。該方法可以有效改善不均勻光照對(duì) 細(xì)胞內(nèi)鏡圖像質(zhì)量的影響，從而更好地輔助醫(yī)生 進(jìn)行診療。