基于分割融合算法的WCE 過曝光圖像修正研究*

魏曉雍，王 孟，曹 陽,2，張大斌，劉杰民，倪茂美

（1.貴州大學(xué)，貴州 貴陽 550025；2.貴州大學(xué)工程實(shí)訓(xùn)中心，貴州 貴陽 550025；3.貴州省人民醫(yī)院，貴州 貴陽 550001）

0 引言

無線膠囊內(nèi)鏡（Wireless Capsule Endoscopy，以下簡(jiǎn)稱WCE）[1]是一種新型膠囊檢測(cè)技術(shù)，減輕了傳統(tǒng)插入式內(nèi)窺鏡在檢測(cè)過程中給患者帶來的恐懼和痛苦，但在觀測(cè)人體消化道時(shí)存在盲區(qū)情況等，還增強(qiáng)了其檢測(cè)能力[2]。

目前，WCE 與相機(jī)、手機(jī)和攝影機(jī)的拍攝系統(tǒng)類似。曝光矯正系統(tǒng)是根據(jù)鏡頭獲取的全部光線來調(diào)節(jié)圖像直方圖，從而獲得想要的圖像效果。當(dāng)無線膠囊內(nèi)鏡工作時(shí)，由于進(jìn)入攝像頭的光源超過圖像傳感器能接收的范圍時(shí)，得到的圖片局部會(huì)產(chǎn)生過曝光現(xiàn)象，出現(xiàn)顏色和細(xì)節(jié)信息的缺失，影響后續(xù)進(jìn)行圖像識(shí)別和醫(yī)生診斷病灶[3]。因此，需要修正圖像局部過曝光，盡可能保留和改善WCE 圖像的顏色和細(xì)節(jié)紋理信息。

在對(duì)圖像局部過曝光進(jìn)行修復(fù)的過程中，常采用的方法是通過圖像亮度閾值得到過曝光區(qū)域，再通過各種特征融合算法得到新圖像[4-5]。圖像融合算法是經(jīng)計(jì)算機(jī)不同處理得到的兩幅圖像，再次進(jìn)行綜合處理得到一個(gè)滿足需求的新圖像[6-7]。李衛(wèi)中等[8]提出一種細(xì)節(jié)保留的多曝光圖像融合方法，測(cè)量了圖像細(xì)節(jié)、亮度和色彩，通過特征加權(quán)得到融合圖像。該方法可以保留細(xì)節(jié)信息，但是存在一定的顏色失真。Gu 等[9]提出了一種利用二次平均濾波和非線性壓縮對(duì)過曝光區(qū)域梯度場(chǎng)進(jìn)行迭代融合修正的新方法，結(jié)果顯示視覺效果不自然。為了避免時(shí)域融合過程中出現(xiàn)色差，馬洋花等[10]提出了一種改進(jìn)的基于小波多分辨率分析的多曝光圖像融合算法。Song 等[11]對(duì)圖像過曝光區(qū)域的梯度和亮度進(jìn)行求解分析，運(yùn)用概率模型對(duì)曝光率程度不相同的輸入圖像進(jìn)行融合處理，但會(huì)造成圖像在顏色、紋理信息上的損失。杜永生等[12]設(shè)計(jì)了一種質(zhì)量度量耦合顏色校正的多曝光圖像融合算法，提高了圖像質(zhì)量，但算法過于簡(jiǎn)單。

由于不同顏色空間有不同的視覺特點(diǎn)，HIS 顏色空間正符合人類對(duì)顏色描述的特點(diǎn)[13]。它由色調(diào)H、飽和度S和強(qiáng)度I組成，可將強(qiáng)度分量從彩色圖像攜帶的彩色信息（色調(diào)和飽和度）中分離。飽和度是指被純白光稀釋程度的度量，將強(qiáng)度和飽和度應(yīng)用到過曝光區(qū)域修正具有明顯優(yōu)勢(shì)。

本文針對(duì)上述問題，提出一種新的修正WCE圖像過曝光區(qū)域的分割融合算法。先對(duì)典型的潰瘍和息肉過曝光區(qū)域增強(qiáng)處理，降低其他區(qū)域的影響，提取圖像的亮度和飽和度分量對(duì)圖像進(jìn)行分析，通過設(shè)計(jì)的分割算法得到強(qiáng)、弱過曝光兩分量圖像，在將兩分量融合得到完整的過曝光區(qū)域，最后通過填充修復(fù)得到修正圖，盡可能地改善圖像質(zhì)量和灰度信息，為后續(xù)圖像識(shí)別以及醫(yī)生診斷提供有力的幫助。

1 圖像過曝光區(qū)域強(qiáng)度和梯度分析

圖1 為息肉幀和潰瘍幀進(jìn)行過曝光標(biāo)注圖。圖1（a）存在較多的過曝光區(qū)域。經(jīng)過計(jì)算，圖像有94 856個(gè)像素點(diǎn)，過曝區(qū)像素點(diǎn)為2 902個(gè)，占3.1%。圖1（b）中高曝光區(qū)占總像素0.43%。

圖1 WCE 過曝光區(qū)域標(biāo)注情況

由圖1 可知，高曝光區(qū)呈白色。這里用Prewitt近似獲取其梯度，采用相鄰兩像素間的差分來表示像素梯度。以圖2 中的Prewitt 卷積原理圖為例，x和y方向的梯度為：

圖2 Prewitt 卷積原理

由表1 信息可知，通過分析息肉、潰瘍過曝光區(qū)域強(qiáng)度、梯度的信息進(jìn)行比較發(fā)現(xiàn)，過曝區(qū)域強(qiáng)度值較高，基本都高出了228，甚至達(dá)到了250，但是所有區(qū)域強(qiáng)度均值為107。過曝光區(qū)域的梯度比圖像的平均梯度都要高。由于圖像的紋理、顏色受到過曝光各區(qū)域的影響，導(dǎo)致醫(yī)生在診斷時(shí)容易出現(xiàn)誤診情況，因此對(duì)過曝光區(qū)域修正必不可少。

2 修正圖像局部過曝光的算法設(shè)計(jì)

2.1 算法總體思路

通過對(duì)過曝光區(qū)域分析得知，過曝光區(qū)域強(qiáng)度明顯高于其他區(qū)域的強(qiáng)度值。在常規(guī)的RGB 顏色空間中，它能夠產(chǎn)生多種色彩，但是人類對(duì)顏色的敏感程度較差。由于人眼對(duì)亮度敏感程度大于對(duì)顏色的濃淡程度，在此用HIS 顏色空間描述色彩，其中H為色調(diào)、S為飽和度和I為亮度。飽和度和亮度應(yīng)用在過曝光區(qū)域修正中具有明顯的優(yōu)勢(shì)。

表1 息肉、潰瘍過曝光區(qū)域信息

RGB 顏色空間與HIS 色彩空間轉(zhuǎn)換如下：

過曝光區(qū)域檢測(cè)通常根據(jù)圖像的直方圖閾值、梯度跳躍檢測(cè)以及色彩劇變等具有差異較大區(qū)域進(jìn)行圖像分割。

本研究提出一種修正WCE 圖像局部過曝光分割算法，如圖3所示。先對(duì)過曝光區(qū)域進(jìn)行增強(qiáng)處理，減少普通區(qū)域?qū)Ψ指畹挠绊?。通過分離出飽和度和亮度，模型1 對(duì)強(qiáng)爆光區(qū)域進(jìn)行分割，再次將結(jié)果輸入到模型2 進(jìn)行不明顯的弱曝光區(qū)域分割，通過融合并輸出掩膜，最后進(jìn)行填充修復(fù)得到目標(biāo)圖像。

圖3 修正WCE 局部過曝光分割算法流程

2.2 過曝光區(qū)域增強(qiáng)處理

一部分圖像存在過曝光區(qū)域，且不影響病灶判斷，但是其顏色與過曝光區(qū)域相近，在檢測(cè)過曝光區(qū)域時(shí)會(huì)造成一并處理計(jì)算增大的問題。為了更好地得到過曝光區(qū)域，需要對(duì)圖像進(jìn)行增強(qiáng)，突出細(xì)節(jié)，減少該區(qū)域的影響。Othmane[14]提出了一種非線性反射光增強(qiáng)的方法，將RGB 顏色中像素的最小值與最大值比來重新賦值給3 個(gè)通道，即：

式中，R'、G'和B'分別為新的三通道像素值。式（6）主要對(duì)反光區(qū)域進(jìn)行增強(qiáng)，而文字區(qū)域和高曝光區(qū)域沒有得到增強(qiáng)。對(duì)式（6）進(jìn)行新的權(quán)重分配改進(jìn)，由圖像三維直方圖圖4 可知，B、G通道有顯著凸起，與周圍形成對(duì)比；過曝光區(qū)域B、G 兩通道強(qiáng)度主要分布在225～235，少數(shù)過曝光區(qū)域在B、G 兩通道上強(qiáng)度都達(dá)到225 以上；由于組織R 分量強(qiáng)度偏大，其過曝光區(qū)域與普通正常區(qū)域強(qiáng)度差別不明顯。因此，保持式（6）中B 和G通道權(quán)重不變，R 通道權(quán)重降低，得到過曝光區(qū)域增強(qiáng)效果如圖5 所示。

圖4 WCE 幀三通道三維直方圖

圖5 過曝光區(qū)域增強(qiáng)效果

2.3 強(qiáng)、弱過曝光區(qū)域分割

2.3.1 模型1：強(qiáng)過曝光區(qū)域分割

定義強(qiáng)過曝光區(qū)域?yàn)閃CE 圖像中很多清晰、肉眼能辨別的過曝光區(qū)域，通常顯示為白色，通過模型1 即基于自適應(yīng)閾值對(duì)過曝光區(qū)域分割。

RGB 顏色空間轉(zhuǎn)換為HIS 顏色空間后，對(duì)分量S和I進(jìn)行處理。任意給定像素Xij的S和I通道設(shè)定自適應(yīng)閾值TS和TI：

式中：mean為取平均值；Sri與Scj是Xij的S分量所在的行之和與列之和；Iri與Icj是Xij的I分量所在行之和與列之和；α和β為系數(shù)，系數(shù)的大小關(guān)系到過曝光區(qū)域的完整提取。

檢測(cè)圖像是否為過曝光區(qū)域的條件是：

式中，S(Xij)和I(Xij)為S和I分量Xij處的值。

若滿足式（11），標(biāo)記為過曝光區(qū)域。將HIS變換到RGB，對(duì)標(biāo)記的過曝光區(qū)域三通道均賦值為255，其他區(qū)域賦值為0，得到二值圖像。改進(jìn)后的算法與Othmane 方法相比較，可看出加強(qiáng)了過曝光區(qū)域中不明顯的地方。模型1 能夠分割出更加豐富和完整的過曝光區(qū)域，用Canny 算法提取過曝光區(qū)域進(jìn)行對(duì)比，如圖6 所示。

圖6 分割效果對(duì)比結(jié)果

2.3.2 模型2：較弱過曝光區(qū)域分割算法

通過模型1 采用基于自適應(yīng)閾值分割，能處理大部分過曝光區(qū)域，但是沒有達(dá)到預(yù)期效果，導(dǎo)致分割不完整。在模型1 未分割出來的部分，這里稱為弱曝光區(qū)域。此時(shí)，提出模型2 對(duì)弱曝光區(qū)域進(jìn)行處理，原理如圖7 所示。利用原圖對(duì)M1按照領(lǐng)域填充得到N1，使用布特沃斯低通濾波器對(duì)N1進(jìn)行濾波處理得到圖像N2，使用差分重新分離過曝光區(qū)域。

圖7 模型2 流程

其中，過曝光區(qū)域填充主要是通過鄰域填充來獲得不包含強(qiáng)過曝光的圖像，具體操作如下：

（1）提取M1中白色區(qū)域邊緣輪廓；

（4）計(jì)算單一輪廓的Xij的平均值P；

（5）在N0將P賦予輪廓內(nèi)的像素；

（6）重復(fù)上述操作，直到所有輪廓填充完整得到N1。

考慮通過濾波來模糊其輪廓和內(nèi)部，并使整體圖像顏色均勻，提升差分效果。采用布特沃斯低通濾波器（Butterworth Filter，BLPF）進(jìn)行過濾，實(shí)現(xiàn)能在高頻和低頻之間的平滑過渡。經(jīng)濾波后的N2與N0作差分，得到差分函數(shù)為：

式中，N2B(Xij)為N2圖像中B 通道Xij的值，N0B(Xij)為N0圖像B 通道Xij的值。

式中，T2為模型2 的判別閾值，取T2=1.2。

若此處像素值大于1.2，即為過曝光區(qū)域，否則標(biāo)記為正常，再經(jīng)過二值化處理得到過曝光區(qū)域M2，如圖8 所示。從圖8 可看出，基本上所有過曝光區(qū)域都被分割出來，得到了模型1 未達(dá)到的效果。

圖8 模型2 分割和輪廓檢查結(jié)果

2.4 圖像融合及其填充修復(fù)

2.4.1 模型1 與模型2 結(jié)果按規(guī)則融合

由于使用模型2過程中改變了像素領(lǐng)域的強(qiáng)度，此時(shí)邊緣較為模糊。在此，使用拉普拉斯對(duì)圖像進(jìn)行銳化處理，突出邊緣信息，最后再與模型1 融合。

2.4.2 圖像填充修復(fù)

從模型2 分割效果圖可知，掩膜存在一些的斑點(diǎn)，通過中值濾波進(jìn)行處理后進(jìn)行圖像填充，采用鄰域鏡像替換法修復(fù)圖像。

3 仿真實(shí)驗(yàn)與結(jié)果分析

3.1 圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)

圖像質(zhì)量的評(píng)估有主觀和客觀兩種。主觀評(píng)估是根據(jù)某個(gè)尺度和個(gè)人經(jīng)驗(yàn)對(duì)圖像的視覺效果給出分?jǐn)?shù)，通過判別者評(píng)分進(jìn)行加權(quán)處理，最后得到圖像質(zhì)量的主觀評(píng)估結(jié)果?？陀^評(píng)估是仿照人類的視覺效果用計(jì)算機(jī)處理的方式，對(duì)圖像進(jìn)行質(zhì)量評(píng)估，通過計(jì)算圖像的均值、方差、邊緣信噪比等與圖像進(jìn)行比較，實(shí)現(xiàn)客觀評(píng)估結(jié)果。

上述兩種評(píng)估方法中，主觀評(píng)估會(huì)受方法、情緒等個(gè)人因素影響，導(dǎo)致評(píng)估結(jié)果有偏差?？陀^評(píng)估與其正好相反，克服了個(gè)人因素的影響，且具有計(jì)算簡(jiǎn)便、穩(wěn)定性較高等優(yōu)點(diǎn)。所以，在評(píng)估圖像質(zhì)量時(shí)常采用客觀評(píng)估法。

在此選用均值評(píng)估法對(duì)圖像質(zhì)量進(jìn)行評(píng)估，根據(jù)圖像的灰度值反映圖像亮度的明暗程度。圖像均值越小，表示圖像越暗，色彩越深；均值越大，則反之。若圖像輸入為f(x,y)，大小為M×N，則輸出公式如下：

由于灰度值方圖恰好反映圖像灰度值與像素點(diǎn)個(gè)數(shù)的關(guān)系，即在某個(gè)灰度值范圍內(nèi)像素點(diǎn)個(gè)數(shù)越多均值就越大，點(diǎn)數(shù)個(gè)數(shù)越少則均值越小。本文繪制圖像的灰度直方圖，比較圖像處理前后的變化，統(tǒng)計(jì)過曝光點(diǎn)經(jīng)預(yù)處理前后的個(gè)數(shù)，評(píng)估圖像質(zhì)量。

3.2 結(jié)果分析

文中共采用息肉、潰瘍兩幅圖片，實(shí)驗(yàn)在Intel Core i7、8 GB、Windows 7、Matlab R2016b環(huán)境下進(jìn)行。首先，利用算法對(duì)圖像進(jìn)行分割處理，得到息肉和潰瘍的局部過曝光區(qū)域；其次，對(duì)局部過曝光區(qū)域進(jìn)行修復(fù)；最后，輸出修復(fù)圖像。

從圖9 和圖10 可知，本文算法最大限度改善了圖片質(zhì)量和灰度信息，有效提升了視覺效果。從圖11 和圖12 可看出，在原圖像中，灰度值在220～250 的像素點(diǎn)較多，一定程度上被認(rèn)為是過曝光像素點(diǎn)。經(jīng)過本文的算法處理后，這個(gè)區(qū)間的像素個(gè)數(shù)大幅度減少，甚至息肉修正后的直方圖此區(qū)間個(gè)數(shù)基本為0。

圖9 修正前后息肉幀效果對(duì)比

圖10 修正前后潰瘍幀效果對(duì)比

圖11 息肉修復(fù)前后圖像直方圖對(duì)比

圖12 潰瘍修復(fù)前后圖像直方圖對(duì)比

表2 統(tǒng)計(jì)了修正后圖像的灰度值在220～250的像素點(diǎn)個(gè)數(shù)（即過曝光點(diǎn)個(gè)數(shù)），發(fā)現(xiàn)在這個(gè)區(qū)間內(nèi)像素點(diǎn)個(gè)數(shù)明顯下降，息肉、潰瘍過曝光區(qū)域像素個(gè)數(shù)分別下降99.8%和97.5%，總體平均下降97.8%。通過統(tǒng)計(jì)原圖修正前后、圖像直方圖以及過曝光點(diǎn)像素個(gè)數(shù)進(jìn)行對(duì)比，發(fā)現(xiàn)運(yùn)用提出的算法能夠有效修復(fù)圖像局部過曝光顏色、亮度及紋理信息。

表2 過曝光像素點(diǎn)分析

4 結(jié)語

本文提出了一種基于分割融合算法的息肉和潰瘍局部過曝光修正方法，為后續(xù)圖像識(shí)別和醫(yī)生診斷病灶提供了很大幫助，能夠提高識(shí)別準(zhǔn)確率。文中采用的算法可推廣應(yīng)用到其他場(chǎng)景，只需根據(jù)異常區(qū)域大小和圖像大小來調(diào)整。

（1）針對(duì)傳統(tǒng)多曝光圖像融合算法會(huì)導(dǎo)致圖像顏色失真的問題，本文基于HIS 顏色空間的亮度和飽和度分量修正圖像，有效解決了顏色失真問題，同時(shí)提高了圖像質(zhì)量。

（2）使用本文算法對(duì)圖像過曝光區(qū)域修正之后，該灰度值區(qū)間的像素點(diǎn)個(gè)數(shù)明顯降低，總體平均下降了97.8%，得到了更加符合人眼所感知的圖像，改善了圖像紋理、顏色等，驗(yàn)證了所提算法對(duì)過曝光區(qū)域紋理和顏色增強(qiáng)的有效性。