亮度和對比度調整的內窺鏡圖像增強技術

李 凱，徐 超，馮 博，劉鴻瑞

(安徽大學 電子信息工程學院，合肥 230601)

1 引 言

內窺鏡圖像的質量在微創(chuàng)手術中至關重要.醫(yī)生通過電子內窺鏡圖像進行診斷和手術.盡管醫(yī)生通過內窺鏡可以直接觀察到人體內臟器官的組織形態(tài)，體內病變的情況，以及顏色和形態(tài)發(fā)生明顯改變的病灶，但是對于微小的、扁平的早期癌變和結構復雜的部位則不易診斷.研究表明，胃癌和直腸癌嚴重威脅到人類健康[1].直腸癌診斷常采用白光內窺鏡，不能清晰展現出組織和血管特征，從而導致誤診和漏診.同時，由于成像設備以及人體內部結構的復雜性的限制，由內窺鏡直接獲得的圖像往往存在血管及其周圍組織對比度較低的問題，從而導致一些血管特征的缺失.因此，需要對內窺鏡圖像進行增強處理.

直方圖均衡化(HE)[2，3]由于其實現的直接性和簡便性而被廣泛用于對比度增強.但是它存在信息內容丟失、噪聲放大、過度增強等問題.為了解決直方圖均衡的缺點，研究人員提出了大量基于直方圖均衡的方法.Kim[4]基于平均灰度值分解圖像首先提出了平均保持雙直方圖均衡(BBHE)的方法.Wang等人[5]基于中值或相等面積值分解直方圖提出的對偶子圖像直方圖均衡化(DSIHE).Chang等人[6]提出了基于圖像直方圖的均值和方差將原始圖像分割成4個子圖像的四直方圖均衡，但是這種方法不能處理亮度誤差和色彩保留.文獻[7]提出了限制對比度自適應直方圖均衡(CLAHE)，采用閾值剪切直方圖防止過度增強，但是用于增強內窺鏡圖像時會出現顏色失真.

Retinex理論也常用于圖像增強，基于Retinex理論的算法包括單尺度Retinex(SSR)、多尺度Retinex(MSR)[8，9]、具有顏色恢復功能的多尺度Retinex(MSRCR)算法[10].MSRCR算法增加了顏色恢復過程，并且避免了由于MSR引起的顏色飽和度下降.盡管MSRCR方法在提供動態(tài)范圍壓縮，色彩還原和保留大多數細節(jié)方面表現出了強大的能力，但憑經驗設置了大量參數，這限制了此方法的泛化能力并導致光暈和色彩失真.

Demirel等人[11]提出的基于奇異值分解的均衡技術雖然增強了圖像的整體對比度，但是內窺鏡圖像需要出色的邊緣對比度以及足夠的亮度.Kallel等人[12]基于全局直方圖(GHE)的奇異值均衡與自適應伽瑪校正結合方法，對比度增強效果不理想，并且亮度保持不均.Sahnoun等人[13]提出了一種可調參數的奇異值均衡方法，但是憑經驗設置參數難以適合不同圖像.Zhou等人[14]提出了一種基于伽瑪校正與CLAHE的混合方法.由于無法解決噪聲增強問題，并且其伽瑪校正不具有自適應性，因此不適用于增強內窺鏡圖像.Palanisamy等人[15]將基于伽瑪校正的奇異值均衡技術與CLAHE相結合用于圖像增強，但其伽瑪校正不能適應于所有亮度圖像，無法保存暗圖像中明亮區(qū)域的邊緣細節(jié)，對于中等亮度圖像會出現過度增強.

為了增強內窺鏡圖像對比度，并且保留血管的邊緣細節(jié)，本文提出了一種融合框架.基于剪裁直方圖的加權分布伽瑪校正的奇異值均衡方法增強亮度，對奇異值均衡圖像執(zhí)行CLAHE增強局部對比度.所提出的方法，僅對低頻分量執(zhí)行奇異值均衡，防止增強高頻分量的噪聲.

本文主要貢獻如下：

1)本文提出一種基于剪裁直方圖的自適應加權分布伽瑪校正(AGCWHD)，將剪裁直方圖的累積分布函數作為加權分布函數的調整參數.

2)基于AGCWHD，本文提出對暗圖像采用截斷伽瑪值方法、利用負像增強亮圖像和根據對比度強弱增強中等亮度圖像.

3)提出了一種基于明顯失真(JND)閾值[16]自適應奇異值均衡加權參數的方法.

2 實驗室內窺鏡圖像數據集(LEI_D)

通過合肥德銘電子有限公司提供的內窺鏡手術視頻，采集了500張內窺鏡圖像.建立名為LEI_D的數據集，如圖1所示.LEI_D數據集圖像包含了泌尿外科、胸外科、腫瘤科、心臟大血管外科、心血管外科、耳鼻咽喉科、腎臟內科、婦產科、肝膽胰外科等不同科室的內窺鏡手術視頻.采集的內窺鏡圖像涵蓋了不同器官組織和病灶，包含了口腔、鼻孔、膀胱、肝臟、腸胃、膽囊、子宮肌瘤、泌尿腫瘤、垂體腺瘤、復發(fā)性上頜竇腫瘤、胃癌、直腸癌等.

圖1 LEI_D數據集

3 提出方法

3.1 提出的框架流程

本文框架流程如圖2所示.第1部分亮度增強，首先，基于自建的LEI_D數據集，將內窺鏡圖像轉換到HSV顏色空間，根據圖像亮度不同對V分量執(zhí)行不同策略的自適應伽瑪校正.輸入圖像為暗圖像時，采用基于截斷伽瑪值的AGCWHD，亮圖像采用基于負像的AGCWHD，中等亮度圖像根據對比度水平確定伽瑪值(詳情見3.3節(jié)).其次，對原始和伽瑪校正后的V通道執(zhí)行離散小波分解，對低頻分量進行奇異值均衡，得到亮度增強圖像(詳情見3.4節(jié)).第2部分對比度增強，基于Lab顏色空間對亮度增強圖像的L分量采用CLAHE增強局部對比度，得到最終增強圖像(詳情見3.5節(jié)).

圖2 算法框架流程圖

3.2 內窺鏡圖像的分類

在LEI_D數據集中，研究發(fā)現內窺鏡圖像的亮度存在較大差別.例如胃部由于器官結構復雜，圖像亮度較暗；而一些結構相對平滑的器官和病灶，圖像相對較亮.由于亮度差異會對后續(xù)的增強產生較大影響，因此本文提出將圖像分成暗圖像、中等亮度圖像、亮圖像3個不同類別之一，采用不同策略對內窺鏡圖像進行增強.根據統(tǒng)計量進行閾值識別來確定其類型.

(1)

其中mI表示圖像平均亮度，常數Tt定義為預期正常圖像的全局平均亮度.如果T<-τt，判斷為暗圖像；如果T>τt，判斷為亮圖像；如果-τt

3.3 自適應加權直方圖分布伽瑪校正

內窺鏡圖像存在亮度不均情況，需要對亮度進行調整.因此在HSV顏色空間中對V通道執(zhí)行自適應伽瑪校正實現亮度矯正.通過保留色相(H)和飽和度(S)通道避免圖像色彩失真.為了防止過度增強，根據自適應加權分布伽瑪校正(AGCWD)[17]，本文提出一種基于剪裁直方圖的自適應加權分布伽瑪校正(AGCWHD).通過剪裁原始直方圖，計算累積分布函數cdf(l)，作為加權分布函數pdfw(l)的調整參數α.其中剪裁直方圖定義如下：

(2)

其中h(l)表示原始直方圖，l∈(0，1，…，255)，剪裁閾值Tw由原始直方圖均值表示，定義為：

(3)

其中l(wèi)max表示圖像像素最大值，將裁剪直方圖的累積分布函數作為調整參數α，不僅能夠有效改善低照度圖像的對比度，并且可以避免亮度過度增強.基于AGCWHD方法，本文采用不同策略對暗圖像、中等亮度圖像、亮圖像進行增強.

3.3.1 基于截斷伽瑪值的AGCWHD增強暗圖像

暗圖像明亮區(qū)域的血管邊緣細節(jié)經過傳統(tǒng)的伽瑪校正增強后存在丟失現象.這種問題歸因于在轉換中值和高強度像素時使用了過低的伽瑪值，導致像素向255移動.這會引起過度增強，遮擋了明亮區(qū)域的邊緣和結構紋理.

為了減輕這種缺陷，本文創(chuàng)新性的提出基于截斷伽瑪值的AGCWHD方法，將γ限制在合理的閾值內.我們通過如下公式截斷自適應伽瑪值.

γ(l)=max(τ，1-cdfw(l))

(4)

其中τ是伽瑪值的截斷閾值，修改的累積分布函數cdfw(l)由pdfw(l)求得.當1-cdfw(l)的值小于τ時，伽瑪值將被提升為τ.通過截斷伽瑪值，保持γ值大于τ，從而合理地限制了明亮像素的對比度調節(jié)，避免細節(jié)損失.同時，伽瑪值設置為τ也足夠小，能夠擴展暗像素的動態(tài)范圍.閾值τ由實驗結果確定為0.5.

3.3.2 基于對比度強弱增強中等亮度圖像

自適應加權分布伽瑪校正處理一些中等亮度圖像會出現過度增強.本文將中等亮度圖像劃分為低對比度圖像(Lc)和中等對比度圖像(Mc).根據圖像均值和標準偏差確定伽瑪值，能夠有效解決亮度過度增強和細節(jié)丟失問題.由以下公式對圖像進行劃分.

(5)

其中D=diff(μ+2σ，μ-2σ)，μ和σ表示圖像的平均值和標準偏差，參數λ用來定義圖像的對比度.根據實驗結果表明，λ值設置為3較為合適.

對于低對比度圖像，γ由圖像標準偏差求得.

γ=-log2(σ)

(6)

對于中等對比度圖像，γ由圖像平均值和標準偏差聯(lián)合求得.

(7)

3.3.3 基于負像的AGCWHD增強亮圖像

AGCWHD直接應用于亮圖像時，由于使用了不正確的映射功能，將導致增強效果較差.本文提出基于負像的方法，其生成的自適應伽瑪值在低像素時會下降較快，高像素時會趨向于平緩變化.因此，能夠合理地提高亮度和對比度.其中負像定義為：

(8)

圖3 基于負像的方法

3.4 加權自適應奇異值均衡

奇異值分解(SVD)被認為可以解決照明問題，奇異值矩陣表示輸入圖像的強度信息，對奇異值矩陣的任何修改都會影響圖像的強度，因此可以改善圖像的對比度.任意圖像矩陣A由奇異值分解如下：

A=UΔVT

(9)

Sahnoun等人[13]提出的離散小波變換-奇異值分解(DWT-SVD)技術，憑經驗設置加權參數對于少量圖像可行，但當圖像數量較大時可行性較差，并且很難根據不同圖像特征設置合適的值.

因此，本文提出了一種加權自適應奇異值均衡的方法，根據圖像亮度特征，自適應計算均衡奇異值矩陣加權參數，能夠適用于任意亮度圖像.

基于Sahnoun等人[13]的方法，采用V通道低頻分量(LF)和Vγ通道低頻分量(LFγ)的奇異值矩陣Δ和Δγ加權求和的方式均衡奇異值矩陣，定義如下：

(10)

(11)

其中l(wèi)mean表示圖像平均亮度.根據得到的亮度JND閾值，本文提出如下函數自適應確定加權參數β，定義為：

(12)

將原始和自適應伽瑪校正后的V通道低頻分量采用改進的奇異值均衡方法進行增強.對均衡奇異值矩陣執(zhí)行逆SVD，以生成均衡的低頻分量(LLeq).采用軟閾值[18]，對原始V通道高頻分量進行去噪，從而減少噪聲的影響.最后執(zhí)行逆小波變換(IDWT)，以獲得原始內窺鏡圖像增強后的V通道分量.使用HSV顏色空間獲得的增強圖像以RGB顏色空間表示.如圖4(b)所示.

圖4 算法各步驟效果圖

3.5 基于CLAHE的局部對比度增強

為了增強內窺鏡圖像血管對比度，使用限制對比度自適應直方圖均衡(CLAHE)技術實現局部對比度增強.CLAHE使用源自鄰域的轉換函數對每個像素進行變換，但限制輸入圖像的局部直方圖的高度，以控制局部對比度的增強程度.為了防止圖像的顏色失真，本文僅在亮度通道上執(zhí)行CLAHE對圖像進行局部對比度增強.由于Lab顏色空間可以提供與視覺差異有關的更均勻的顏色差異，并且能夠更好地分離亮度和顏色，其L 分量與人類對亮度的感知緊密匹配，因此，采用L分量增強局部對比度較為合適.本文將奇異值均衡化圖像轉換到Lab顏色空間，對L分量執(zhí)行CLAHE[14]，最后將使用Lab顏色空間獲得的增強圖像以RGB顏色空間表示，得到最終增強圖像.如圖4(c)所示.

4 結果與分析

本節(jié)從主觀和客觀兩方面評估所提出算法的性能，并在自建的LEI_D數據集上進行分析和驗證.對于不同亮度的各種病灶和組織的內窺鏡圖像，所提出的方法都能取得很好的增強效果.

4.1 主觀分析

醫(yī)生在診斷和手術時醫(yī)學內窺鏡圖像的視覺體驗尤為重要，直接影響醫(yī)生的判斷和操作.因此，增強內窺鏡圖像血管對比度的同時，視覺方面需要盡可能保持圖像血管和器官組織的自然程度，同時需要保持邊緣細節(jié)的清晰.如圖5-圖7所示，從暗圖像、中等亮度圖像、亮圖像3類比較了現有增強技術和提出方法的效果.

圖5 與現有算法的暗圖像效果圖比較

如圖5(b)-圖7(b)顯示，AGCWD方法會引起亮度的過度增強和血管邊緣模糊.如圖5(c)-圖7(c)所示，MSRCR在一定程度上可以很好的增強細節(jié)，但存在過度增強和偽影現象，并且存在色彩失真.如圖5(d)-圖7(d)所示，CLAHE雖然在血管對比度和細節(jié)增強方面產生了良好的效果，但是造成了色彩失真.如圖5(e)-圖7(e)所示，Kallel等人的方法會導致圖像結構和血管邊緣細節(jié)丟失，并且局部亮度存在過度增強現象.如圖5(f)-圖7(f)所示，Sahnoun等人的方法也存在丟失結構和血管邊緣細節(jié)的情況，局部圖像存在亮度增強不足或增強過度現象，并且血管對比度增強效果不明顯.如圖5(g)-圖7(g)所示，Palanisamy等人的方法雖然能較好的增強亮圖像血管對比度，并且能夠較好地保持圖像顏色和亮度.但是會丟失暗圖像明亮區(qū)域血管細節(jié)和邊緣，而對中等亮度圖像存在過度增強現象.如圖5(h)-圖7(h)所示，針對不同亮度圖像，本文提出的算法在圖像亮度調整和血管對比度增強方面達到了令人滿意的效果.較好的保持了圖像的平均亮度和邊緣細節(jié)，同時避免了圖像的過度增強和顏色失真.

圖6 與現有算法的中等亮度圖像效果圖比較

圖7 與現有算法的亮圖像效果圖比較

4.2 客觀分析

客觀指標對于評價圖像增強技術性能優(yōu)劣非常重要.因此，本文使用峰值信噪比(PSNR)[19]指標評估噪聲性能，在重建增強圖像時，PSNR越高，重建圖像的質量越好.采用結構相似度(SSIM)[20]指標測量增強圖像和原始圖像之間的相似度，SSIM的值越高，圖像結構變化越小.采用梯度幅度相似性偏差(GMSD)[21]指標通過梯度評估圖像失真度，GMSD值越小，圖像失真越小.視覺顯著性指數(VSI)[22]利用圖像顯著性特征圖的失真來計算圖像質量，VSI值越大，表明圖像質量越好.采用特征相似指數測量(FSIM)[23]來比較原始圖像和增強圖像的特征，較高的FSIM值可獲得更好的性能.采用絕對平均亮度誤差(AMBE)[24]指標來評估亮度保持的程度，并且具有較小AMBE值的增強算法對應于更好的性能.通過以上客觀指標評估現有技術和提出方法的有效性.

根據亮度差異，如表1～表3所示，分別從暗圖像、中等亮度圖像、亮圖像對提出方法進行定量分析.對于3類圖像，提出的方法在PSNR方面勝過所有比較算法，產生了最高的PSNR值，從而實現了出色的噪聲性能.提出的方法在SSIM和FSIM也實現了最好的性能，表明提出的算法能更好的保留圖像結構和特征.此外，與其他方法相比，提出的算法實現了最小的GMSD值和最高的VSI值，因此圖像失真最小，且具有更好的圖像質量.在AMBE方面，暗圖像和亮圖像有最小的AMBE值，從而可以更好地保存圖像亮度.而對于中等亮度圖像，Sahnoun等人方法的AMBE值勝過所有其他方法.

表1 暗圖像實驗數據表

表2 中等亮度圖像實驗數據表

表3 亮圖像實驗數據表

但是視覺顯示表明，在亮度方面Sahnoun的方法產生的圖像亮度不均勻，邊緣較暗，中間較亮.雖然所提出的方法給出的AMBE處于次優(yōu)，但圖像整體亮度平均，視覺質量優(yōu)于其他方法.

因此，不僅主觀評估顯示提出方法效果更好，同時客觀分析也表明，與其他增強技術相比，本文提出的方法能夠產生更好的視覺效果和性能指標，具有良好的對比度增強和血管邊緣細節(jié)保留能力.

5 總 結

本文提出一種基于改進的自適應伽瑪校正的DWT-SVD與CLAHE 融合的內窺鏡圖像血管增強技術.針對暗、中等和亮圖像采用不同策略伽瑪校正進行奇異值均衡，有效解決了局部過度增強和血管邊緣模糊、結構細節(jié)丟失問題.對Lab顏色空間的L分量執(zhí)行CLAHE有效增強了血管局部對比度，并且避免了色彩失真.通過主觀和客觀評價，所提出方法表現出良好的增強效果.在未來的研究工作中，我們將嘗試提高提出算法處理其他類型圖像的能力，而不僅限于內窺鏡圖像.