一種結(jié)合直方圖均衡化和MSRCR的圖像增強新算法

李 錦，王俊平，萬國挺，李紫陽，許 丹，曹洪花，張廣燕

（西安電子科技大學 通 信工程學院，陜西 西 安 710071）

近年來，隨著圖像處理技術的迅猛發(fā)展，圖像增強作為一種基本的圖像預處理手段已經(jīng)在遙感、通信、生物醫(yī)學、軍事公安、工業(yè)生產(chǎn)等領域中有著廣泛的應用.圖像增強處理是為了某種應用目的去改善圖像的質(zhì)量和視覺效果，讓觀察者得到直觀、清晰、適于分析的依據(jù)，增加對某種信息的辨識能力，使處理后的圖像對某些特定的應用比原圖更加有效.在集成電路（IC）工業(yè)制造中，缺陷是影響成品率的主要障礙之一，由此影響的成品率問題占總成品率的70%以上.為了對IC制造中真實多余物缺陷進行分類與識別，IC多余物缺陷的特征提取是非常重要的，在抽取缺陷之前，需要對IC真實缺陷圖進行增強.因此，對圖像的預處理算法提出了更高的要求.

目前國內(nèi)外學者已經(jīng)從圖像特征、圖像視覺效果及其各種數(shù)學理論方面發(fā)展了多種圖像增強算法[1－4].但針對不同的應用需求，不同的算法也就有了一定的局限性[5－7].基于直方圖變換的增強技術針對圖像的空間域進行，是一種較成熟的算法，實現(xiàn)也比較簡單.但由于傳統(tǒng)直方圖均衡化后造成圖像過度增強，且無法保持圖像的均值亮度和熵值，在實際工程中很少應用.為此，許多學者提出了大量改進的直方圖均衡化方法[8－10].而基于Retinex人眼視覺模型也已經(jīng)發(fā)展了多種有效的算法[11－14]，但大部分算法會產(chǎn)生泛白發(fā)灰、顏色失真和對比度低的現(xiàn)象.

為了解決經(jīng)典的直方圖均衡化（HE）和多尺度Retinex彩色恢復（MSRCR）算法存在的問題，筆者提出了一種將HE和MSRCR相結(jié)合的圖像增強（Histogram Equalization MSRCR，HEMSRCR）新算法，將兩種算法處理后的圖像按照一定的圖像融合規(guī)則重新合并為一幅新圖像.針對IC真實缺陷圖進行預處理增強，即用直方圖均衡化增強圖像的對比度，用MSRCR算法對圖像進行增強壓縮動態(tài)范圍提高暗區(qū)域的細節(jié)，最后通過融合算法將各算法生成的圖像進行圖像融合.實驗結(jié)果證明了文中算法不僅能夠很好地刻畫IC缺陷圖像細節(jié)，增加圖像的信息熵，且增強后的圖像顏色自然、明亮生動，具有較好的整體視覺效果.尤其在IC圖像缺陷特征提取中，經(jīng)過文中算法的圖像增強預處理后，能更有利于后續(xù)的目標檢測和特征提取.經(jīng)實驗測試，同樣對各類對比度差、模糊、光照不均的圖像有很好的增強效果，算法具有通用性.

1 直方圖均衡化原理

直方圖是對圖像灰度分布進行統(tǒng)計分析的重要手段.修正直方圖可以增強圖像的對比度.近年來，基于直方圖修正的各種算法[8－10]大量涌現(xiàn)，傳統(tǒng)的直方圖均衡化的基本思想是把原始圖像的直方圖變換為均勻分布的形式，從而增加圖像灰度的動態(tài)范圍，達到增強對比度的效果.經(jīng)過均衡化處理的圖像，其灰度級出現(xiàn)的概率基本相同.傳統(tǒng)的直方圖均衡化方法是以圖像各灰度級概率的累積分布函數(shù)作為變換函數(shù)，按照這樣的變換關系，就可得到一幅灰度概率密度均勻分布的圖像.累積分布函數(shù)可表示為

其中，rj為變換前的歸一化灰度級，T（rk）為變換函數(shù)，sk為變換后的歸一化灰度級，nj為原圖像中出現(xiàn)第k級灰度級的像素個數(shù)，n為圖像中像素的總數(shù)，pr（rj）為變換前圖像取第k級灰度值的概率.

2 多尺度Retinex彩色恢復算法

人類視覺系統(tǒng)是世界上最好的圖像處理系統(tǒng)，近年來，國內(nèi)外很多專家學者對人類視覺系統(tǒng)進行了深入的研究.Retinex是Land等[11]提出的一個關于人類視覺系統(tǒng)如何調(diào)節(jié)感知到物體的顏色和亮度模型.后來，Jobson等[12]以此為基礎，發(fā)展了單尺度Retinex、多尺度Retinex和多尺度Retinex彩色恢復算法.基于經(jīng)典的Retinex增強算法，現(xiàn)已出現(xiàn)多種改進的Retinex增強算法[13－14]，均在不同方面達到了一定的效果.

Retinex算法的基本內(nèi)容：圖像由亮度圖像和反射圖像構(gòu)成，分別用L（x，y）和R（x，y）表示，其關系可表示為

其中，亮度分量L是被觀察者或圖像采集設備收到的構(gòu)成圖像，反射分量R決定圖像的內(nèi)在性質(zhì).Retinex方法對圖像處理的目的就是從圖像I中獲得物體的反射性質(zhì)分量R.

中心/環(huán)繞Retinex算法理論的基本思想：通過賦予其周圍環(huán)繞像素的不同權(quán)值來估計每一個中心像素的亮度，所賦予的比例權(quán)值關系完全由環(huán)繞函數(shù)來確定.Jobson等[13]根據(jù)這一理論提出了單尺度Retinex算法（SSR），該算法可表示為

其中，Ri（x，y）是Retinex的輸出，Ii（x，y）是第i個像素顏色譜帶的圖像分布，F(xiàn)（x，y）是高斯環(huán)繞函數(shù).

SSR算法不能同時滿足細節(jié)增強和顏色保真兩個特性，Jobson等又提出了基于SSR算法的多尺度Retinex算法（MSR）[13].MSR算法可表示為

其中，Ri（x，y）表示第i個通道Retinex的輸出，i∈R，G，B，表示3個顏色譜帶；Fn（x，y）表示高斯環(huán)繞函數(shù)，Wn表示與Fn（x，y）相關的權(quán)重系數(shù)；N表示尺度的個數(shù)，這里N＝3，表示彩色圖像.大量的實驗測試表明，對于大多數(shù)圖像，選取大、中、小3個尺度，一般較大尺度大于200，較小尺度小于20.

MSR算法是在SSR算法的基礎上把多個固定尺度的色彩通道進行線性加權(quán)綜合來提高增強的，在增強過程中，圖像可能會因為增加了噪聲而造成圖像的局部細節(jié)色彩失真，不能顯現(xiàn)出物體的真正顏色效果，使整體視覺效果變差.針對這一不足，引入彩色恢復因子C到MSR算法中，來彌補由于圖像局部區(qū)域?qū)Ρ榷仍鰪姸鴮е骂伾д娴娜毕?改進的算法可表示為

其中，Ci表示第i個通道的彩色恢復因子，用來調(diào)節(jié)3個通道顏色的比例；f（·）表示顏色空間的映射函數(shù)；β是增益常數(shù)；α是受控制的非線性強度.MSRCR算法利用彩色恢復因子C來調(diào)節(jié)原始圖像中3個顏色通道之間的比例關系，從而把相對暗區(qū)域的信息突顯出來以達到消除圖像色彩失真的缺陷.處理后的圖像局部對比度提高，亮度與真實的場景相似，在人們視覺感知下圖像顯得更加逼真.利用MSRCR算法處理后的圖像像素值一般會出現(xiàn)負值.通過gain/offset對圖像修正，可表示為

其中，參數(shù)G和O取決于軟件中的算法實現(xiàn).

3 基于HEMSRCR的新算法

為了克服上述經(jīng)典直方圖均衡化和MSRCR算法的缺點，并考慮到運用圖像融合的特點，筆者提出了HEMSRCR的圖像增強新算法.

3.1 HEMSRCR圖像融合

圖像融合的目的是綜合同一個場景的多個算法結(jié)果圖像的信息，使合成后的圖像具有更多的信息，更易于人類視覺或計算機視覺系統(tǒng)的理解，以便更好地進行后續(xù)處理.根據(jù)處理圖像的表征層不同，圖像融合技術一般可分為像素級融合、特征級融合和決策級融合[15].一般像素級圖像融合比較直觀，處理后可使觀察者更加容易地識別出潛在的目標.像素級圖像融合通常也稱為數(shù)據(jù)層圖像融合.常用的數(shù)據(jù)層圖像融合方法有平均和加權(quán)平均，平均是直接將兩幅圖像在空域內(nèi)進行算術平均處理，這種平均可以提高圖像的信噪比，但降低了圖像的對比度；加權(quán)平均則是依據(jù)不同圖像的質(zhì)量，給出一組最佳的加權(quán)系數(shù)，然后對它們進行加權(quán)平均處理，是一種簡單的多幅圖像融合方法，也就是對多幅原圖像的對應像素點進行加權(quán)平均.結(jié)合圖像融合的思想，先用直方圖均衡化算法和MSRCR算法分別對圖像進行處理，然后把處理后的圖像按照一定的比例加權(quán)平均之后，融合新的圖片，在一定比例范圍之內(nèi)得到了很好的增強效果.

設輸入圖像A（i，j）表示HE算法處理后的圖像的照度函數(shù)，B（i，j）表示MSRCR處理后的圖像的照度函數(shù)，輸出圖像F（i，j）表示融合圖像.圖像的大小為256×256像素，i和j為圖像中某一像素的坐標，且｛i，j｝∈ [256，256]，｛A，B｝∈ [0，255].加權(quán)平均圖像融合算法可表示為其中，λ為加權(quán)系數(shù)，且0≤λ≤1，可根據(jù)需要調(diào)節(jié)λ的大小.通過對大量圖片進行實驗測試，得出最佳權(quán)重系數(shù)范圍為0.6～0.8，在這個系數(shù)范圍內(nèi)，用文中算法對IC缺陷圖像進行增強后，得到的圖片缺陷輪廓邊緣更加突出，圖片信息熵更大，更有利于后續(xù)的缺陷特征提取.

3.2 HEMSRCR算法

以文中提出的HEMSRCR圖像融合的概念為基礎，可得到HEMSRCR算法的步驟流程如下：第1步 計算初始直方圖，即記錄每一個像素出現(xiàn)的次數(shù).

第2步 由第1步得到的初始直方圖計算歸一化直方圖和累積直方圖.

第3步 根據(jù)式（1），求均衡化映射（舊圖→新圖）關系，得到增強圖像A（i，j）.

第4步 將輸入的彩色圖像Ii（x，y）分解為R、G、B這3幅圖像，依次將其數(shù)據(jù)類型轉(zhuǎn)換為double型.以下分別對每幅圖像進行處理（以R為例）：

（1）根據(jù)式（3）和式（4），確定高斯環(huán)繞函數(shù)計算出相應的高斯模板，選取尺度C的值為15，80，250.

（2）利用式（5），計算3種尺度下得到結(jié)果的加權(quán)平均，權(quán)重系數(shù)W 的值分別取0.33、0.33、0.34.

（3）利用式（7）和式（8），計算彩色恢復因子，代入式（6），計算RMSRCRi（x，y）.

（4）利用gain/offset對圖像進行調(diào)整，如式（9）所示，得到RMSRCRi（x，y）′，并對其進行線性拉伸.

第5步 對R、G、B這3個通道分別進行第4步，最后整合成完整的增強彩色圖像B（i，j）.

第6步 將得到的圖像A（i，j）和B（i，j）利用式（10）進行加權(quán)融合，λ的取值在0.6～0.8范圍時最佳.

算法在VS2010平臺上采用C＋＋語言編程實現(xiàn)，經(jīng)大量實驗驗證，文中提出的增強算法中的參數(shù)設置如表1所示時，具有較強的魯棒性和有效性.表1中參數(shù)的選取是經(jīng)過上文的理論推導和大量的實驗測試得出的最佳取值.

表1 文中算法中的參數(shù)取值表

3.3 算法的通用性分析

為了測試HEMSRCR增強算法的魯棒性和通用性，選取了15幅質(zhì)量較差的圖像進行處理，其中包括模糊、光照不均、光照不足等的圖像分別進行HE算法、MSRCR算法和HEMSRCR算法的增強處理.當加權(quán)系數(shù)在0.6～0.8范圍時，HEMSRCR算法均能獲得較好的視覺效果.從圖1信息熵對比中也可以看出，HEMSRCR算法處理后的圖像均高于原圖像和其他兩種算法，在一定程度上反映了處理后的圖像灰度分布相對均勻、圖像的細節(jié)較為突出、輪廓清晰，該算法具有一定的通用性.采用HEMSRCR算法增強后的圖像信息熵較原圖約提高了16%，較HE算法約提高了18%倍，較MSRCR算法約提高了12%.而HE算法較原圖降低了2%，MSRCR算法較原圖提高了4%.

圖1 原圖及各算法增強后圖像的信息熵對比

3.4 算法增強效果的評價

為了驗證算法的有效性，將文中算法、HE算法和MSRCR算法進行主觀定性對比和客觀定量對比.圖2是對比實驗的結(jié)果圖.圖2（a）為332×470像素的真實缺陷的形貌原圖，圖2（b）是經(jīng)過直方圖均衡化處理后的缺陷圖，圖2（c）是進行MSRCR算法處理后的缺陷圖，圖2（d）～（f）是經(jīng)過文中的HEMSRCR算法處理后的缺陷圖.

圖2 不同算法對IC真實缺陷圖extra1的增強效果

3.4.1 主觀評價

觀察者的主觀評價是最直接、最常用的圖像質(zhì)量評價方法，通常可分成絕對評價和相對評價.絕對評價是指由觀察者根據(jù)預先規(guī)定的評價尺度或自己的經(jīng)驗，對待測圖像給出質(zhì)量判斷；相對評價是指由觀察者對一組圖像按質(zhì)量高低進行分類，并給出質(zhì)量分數(shù).文中采用國際上規(guī)定的主觀評價的五分制，得出隨機抽取的若干幅缺陷圖像的不同增強效果的主觀評分.如表2所示，采用HEMSRCR算法處理圖像的效果評價最高，且與權(quán)重的選取有關，權(quán)重選在0.6～0.8范圍內(nèi)效果最佳；單獨采用MSRCR算法處理的效果次之，單獨采用直方圖均衡化算法的效果評價較差.

表2 不同算法對缺陷圖像增強處理結(jié)果的質(zhì)量尺度評價表

3.4.2 客觀評價

通常視覺效果好的圖像應當具備原始場景的亮度、豐富的圖像特征和真實的色彩效果.文中采用的客觀質(zhì)量評價標準為：均值、標準差、信息熵和平均梯度，其中，圖像均值可以用來衡量圖像的平均亮度；標準差可以體現(xiàn)圖像的局部對比度；平均梯度可以體現(xiàn)圖像的清晰度；信息熵則用來衡量圖像信息的豐富程度.表3則是對圖2的客觀評價參量的統(tǒng)計.從表3可以看出，采用HE算法、MSRCR算法和HEMSRCR算法增強的效果都有所改善，HEMSRCR算法增強處理后的圖像均值高于HE算法的，而低于MSRCR算法的，較好地突出了圖像的細節(jié)，增強了圖像的亮度和對比度.同時，增強后圖像的標準差及信息熵相對于原圖，也有不同程度的增加，其中HEMSRCR算法對圖像處理時有一個最佳比例系數(shù)達到了最佳的效果，優(yōu)于HE和MSRCR算法的，這與圖像的主觀視覺感官是一致的.綜合分析，采用文中算法能有效地改善圖像的對比度和清晰度等，能較好地復原圖像中物體本來的顏色，并且能更好地突出缺陷特征，有利于后續(xù)缺陷特征的提取.

通過主觀與客觀相結(jié)合的質(zhì)量評價方法對多組圖像的增強效果進行了比較，HEMSRCR算法處理后所包含的圖像信息豐富，能夠更好地刻畫IC缺陷圖像細節(jié)，而且增強后的圖像顏色自然、明亮生動，具有較好的整體視覺效果.尤其在IC圖像缺陷特征提取中，經(jīng)過圖像增強，更有利于后續(xù)的目標檢測和特征提取.

表3 不同算法對圖像extra1增強效果的客觀評價統(tǒng)計參量

4 結(jié)束語

在直方圖均衡化和Retinex理論基礎上，筆者提出了一種直方圖均衡化和多尺度Retinex彩色恢復相結(jié)合的彩色圖像融合新算法.實驗結(jié)果表明，該算法在各方面優(yōu)于HE算法和MSRCR算法的單獨處理，該算法既能提高圖像的層次感和清晰度，使圖像的顏色、亮度、對比度處理的結(jié)果更符合人眼視覺特性，有效改善了圖像的整體視覺效果，而且在一定程度上提高了圖像的信息熵，使圖像的細節(jié)更加突出，尤其對于IC缺陷版圖進行HEMSRCR算法增強處理后，更有利于后續(xù)的目標檢測和缺陷特征提取.

[1] Yu J H，Kim Y T.Effective Color Correction Method Employing HSV Color Model[J].Journal of Measurement Science and Instrumentation，2012，3（1）：39－45.

[2] 張廣燕，王俊平，汪松，等.一種SLIP模型的圖像增強新算法[J].西安電子科技大學學報，2014，41（1）：105－109.Zhang Guangyan，Wang Junping，Wang Song，et al.New Image Enhancement Algorithm Based on the SLIP Model[J].Journal of Xidian University，2014，41（1）：105－109.

[3] 馬時平，張明，畢篤彥，等.一種細節(jié)保持的Retinex圖像增強算法[J].西安電子科技大學學報，2010，37（3）：541－546.Ma Shiping，Zhang Ming，Bi Duyan，et al.Novel Detail Preserving Retinex Algorithm for Image Enhancement[J].Journal of Xidian University，2010，37（3）：541－546.

[4] Wang Jinhua，Bi Haijiang.Retinex－based Color Correction for Displaying High Dynamic Range Images[C]//Ineternational Confernece on Signal Processing Proceedings.Piscataway：IEEE，2010：1021－1024.

[5] Salihah A N，Mashor M Y，Harun N H，et al.Improving Colour Image Segmentation on Acute Myelogenous Leukaemia Images Using Contrast Enhancement Techniques[C]//IEEE EMBS Conference on Biomedical Engineering ＆Sciences.Piscataway：IEEE，2010：246－251.

[6] 楊先鳳，張靜，彭博.基于相似性度量的加權(quán)醫(yī)學超聲圖像對比度增強方法 [J].計算機工程與設計，2011，32（3）：995－1101.Yang Xianfeng，Zhang Jing，Peng Bo.Edge Enhancement of Medical Ultrasonic Images Based on Similarity[J].Computer Engineering and Design，2011，32（3）：995－1101.

[7] Demirel H，Ozcinar C，Anbarjafari G.Satellite Image Contrast Enhancement Using Discrete Wavelet Transform and Singular Value Decomposition[J].IEEE Geoscience and Remote Sensing Letters，2010，7（2）：333－337.

[8] 吳成茂.可調(diào)直方圖均衡化的正則解釋及其改進[J].電子學報，2011，39（6）：1278－1284.Wu Chengmao.Regularization Explanation of Adjustable Histogram Equalization and Its Improvement[J].Acta Electronica Sinica，2011，39（6）：1278－1284.

[9] 陳文飛，許雪峰，苗作華，等.亮度自適應的保熵直方圖均衡化方法[J].計算機工程與應用，2012，48（16）：157－161.Chen Wenfei，Xu Xuefeng，Miao Zuohua，et al.Entropy Preserving Histogram Specification with Adaptive Brightness[J].Computer Engineering and Applications，2012，48（16）：157－161.

[10] Lin P H，Shen C T，Lin C C，et al.Contrast Enhancement on Color Images Using Iterative Histogram Rearrangement[C]//The 13th IEEE International Symposium on Consumer Electronics.Piscataway：IEEE，2009：382－386.

[11] Land E H.Recent Advances in Retinex Theory and Some Implications for Cortical Computations：Color Vision and the Natural Images[J].Proceedings of the National Academy of Sciences，1983，80（16）：5163－5169.

[12] Jobson D J，Rahman Z，Woodell G A.Properties and Performance of a Center/surround Retinex[J].IEEE Transactions on Image Processing，1997，6（3）：451－462.

[13] Jobson D J，Rahman Z，Woodell G A.A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes[J].IEEE Transactions on Image Processing，1997，6（7）：965－976.

[14] 李權(quán)合，畢篤彥 ，何林遠.退化過程模擬模型及其在圖像增強中的應用[J].西安電子科技大學學報，2011，38（6）：185－192.Li Quanhe，Bi Duyan，He Linyuan.Degradation Process Simulation Model and Its Use in Image Enhancement[J].Journal of Xidian University，2011，38（6）：185－192.

[15] 那彥，焦李成.基于多分辨率分析理論的圖像融合方法[M].西安：西安電子科技大學出版社，2007.