吳明祥 于瓅
摘要:傳統(tǒng)的Retinex算法均是采用固定尺度對霧天圖像整體進行去霧增強,但是對局部霧霾濃度分布不均的圖像,自適應(yīng)性較弱,圖像細節(jié)增強也有所欠佳?;诖颂岢鲆环N基于K-means圖像深度聚類的自適應(yīng)Retinex算法。該算法通過暗通道原理獲取霧天圖像的景深,用K-means聚類算法對圖像深度進行聚類,以深度所屬不同類別來估計局部霧天濃度,將相似深度的圖像劃分成不同子圖,并自適應(yīng)的獲取尺度進行增強,最后對子圖進行融合,完成對圖像整體的增強。結(jié)果表明,相對于傳統(tǒng)的多尺度Retinex算法和其他去霧算法,文中算法對于圖像局部具有較好的自適應(yīng)成像增強效果,在圖像細節(jié)增強、顏色重建恢復(fù)等方面均表現(xiàn)良好。
關(guān)鍵詞:圖像增強;自適應(yīng)成像;圖像重建恢復(fù);Retinex;K-means
中圖分類號:TP391 ? ? ? ?文獻標識碼:A
文章編號:1009-3044(2020)28-0028-05
Abstract: The traditional Retinex algorithm uses a fixed scale to enhance the fog image as a whole, but for the image with uneven local haze concentration distribution, the adaptability is weak, and the image detail enhancement is also poor. Based on this, an adaptive Retinex algorithm based on K-means image depth clustering is proposed. In this algorithm, the depth of field of fog image is obtained by the principle of dark channel, and the depth of image is clustered by K-means clustering algorithm. The local fog concentration is estimated by the difference of depth. The image of similar depth is divided into different subgraphs, and the adaptive acquisition scale is enhanced. Finally, the subgraphs are fused to complete the overall the image ?enhancement. The results show that, compared with the traditional multi-scale Retinex algorithm and other defogging algorithms, the algorithm in this paper has a better adaptive imaging and enhancement effect for the local image, and performs well in image detail enhancement, color reconstruction-restoration and other aspect.
Key words: Image enhancement; Adaptive imaging; Image reconstruction-restoration; Retinex; k-means
近年來,霧天圖像增強[1~3]作為計算機圖像處理領(lǐng)域的研究重點之一,出現(xiàn)了很多的經(jīng)典算法。LAND等人[4]基于色彩恒常性理論提出了Reinex算法,為圖像增強提供了新思路,并在圖像去霧上得到越來越多的應(yīng)用。G.A.WOODELL等人[5,6]提出了單尺度Retinex算法(Single-Scale Retinex,SSR)和多尺度Retinex算法(Multi-Scales Retinex,MSR),將其應(yīng)用到霧天圖像增強上;D.J.JOSHON等人[6]提出了帶色彩恢復(fù)的MSR算法(Multi-Scales Retinex with Color Restoration, MSRCR),提升了圖像色彩恢復(fù)效果;汪貴榮等人[7]提出了基于照度分割的多尺度Retinex算法,加強了圖像的亮度細節(jié)。
研究成果表明,MSRCR對于霧天圖像有較好的增強效果。然而該算法通過多個尺度增強后進行加權(quán)平均,雖取得一個較為折中的增強效果,卻也導(dǎo)致結(jié)果在細節(jié)處理上欠佳,并對于局部霧霾濃度分布不均的圖像,算法也不能實現(xiàn)局部動態(tài)的增強。
何凱明等人[8,9]提出的基于暗通道先驗的圖像去霧算法(簡稱HE算法),利用暗原色和霧天退化模型估計出大氣散射模型參數(shù),具有良好的去霧效果。HE算法指出圖像中局部霧霾濃度大小與圖像景深(深度)成正相關(guān)性,霧霾濃度越大,景深越大,反之越小。
本文提出了一種基于K-means圖像深度聚類的自適應(yīng)Retinex算法。該算法以霧霾濃度和圖像景深的正相關(guān)性為依據(jù),通過K-means算法[10]將原始圖像分割成深度相似的子圖,將各子圖的Retinex尺度依照圖像深度進行線性映射求解,再對子圖進行自適應(yīng)的單尺度Reinex算法增強,依照子圖在原始圖像中的位置融合子圖,實現(xiàn)對圖像的增強。
1 Retinex算法理論
1.1 單尺度Retinex和多尺度Retinex算法介紹
Retinex算法基于色彩恒常性理論[11],認為圖像中物體表面信息由自身特性決定,與周圍環(huán)境無關(guān)。由此原始圖像[sx,y]分解為入射分量[lx,y]和反射分量[rx,y]:
2 K-means的圖像深度聚類算法
傳統(tǒng)的Retinex算法都只是圖像全局性增強,即使MSR考慮到不同尺度對增強的影響,但本質(zhì)上只是利用多個尺度加權(quán)平均獲得折中效果,未考慮局部性差異。為了更好地對霧天圖像局部區(qū)域進行增強,由暗通道原理圖像深度不僅與圖像中物體與拍攝者的遠近有關(guān),與圖像中霧的濃度也成正比,霧的濃度越大,圖像深度越深,反之越淺。因此利用圖像深度來獲知圖像中霧的分布和濃度,對圖像進行分割,再使用不同尺度對子圖進行增強,增強后的圖片提升了圖像細節(jié),除霧效果更好。
K-means算法以距離作為數(shù)據(jù)對象間相似性度的標準,數(shù)據(jù)間距離越小,相似性越高,越有可能同屬一類簇。由于圖像局部深度變化平緩,確定不同深度的閾值變得困難,且隨著不同場景霧天圖像的加入,圖像深度聚類的復(fù)雜度也增加。由此文中運用MinBatchKMeans算法[12],該算法基于K-means,對數(shù)據(jù)進行抽樣生成數(shù)據(jù)子集,再進行聚類。自適應(yīng)的分類不同景深,在應(yīng)對不同場景的有霧圖像也具有自適應(yīng)性。MinBatchKMeans算法相對原有算法降低了計算時間,利用隨機采樣降低樣本中噪音點的影響,避免出現(xiàn)不同類別中樣本數(shù)過多或過少的情況。具體流程和示例如圖2、3所示。
從圖3(b)看出,霧霾濃度加大導(dǎo)致圖像局部信息有所丟失,景深隨之變大。完成圖像深度聚類后,可以得到一個明顯帶有色彩邊界的圖像(c),由(c)圖對原始圖像進行分割,進行自適應(yīng)尺度的增強。
3 基于K-means圖像深度聚類的自適應(yīng)Retinex算法
3.1一種可變?yōu)V波器
上文分析可知,圖像局部景深[d]與霧的濃度成正相關(guān)。根據(jù)Retinex增強理論,當(dāng)尺度[σ]較大時,圖像顏色保真性較好,但增強效果較差,適用于霧霾濃度低的場景;當(dāng)[σ]較小時,圖像增強細節(jié)較好,但全局性較差,適用于霧濃度較高的場景?;诖?,圖像深度[d]與尺度[σ]也具有正相關(guān)性。文中定義了一種可變?yōu)V波器,根據(jù)各圖像中不同景深[d]計算自適應(yīng)的[σ]值。
將圖像深度在聚類后分為n塊(n為聚類的個數(shù))不同深度去區(qū)間的子圖,遍歷子圖中的景深值,得到子圖的平均深度,公式如下:
3.2基于K-means圖像深度聚類的自適應(yīng)Retinex算法
綜上所述,本文提出一種基于K-means圖像深度聚類的自適應(yīng)Retinex算法。該算法首先基于暗通道原理獲取原始圖像的深度圖像,其次用K-means對深度圖像進行聚類處理,再依據(jù)可變?yōu)V波器求解不同深度區(qū)域的尺度,之后根據(jù)不同尺度多次對圖像使用帶有顏色增益加權(quán)的單尺度Retinex算法,依據(jù)各深度圖在原始圖像上的對應(yīng)關(guān)系,將不同子圖進行融合,完成圖像的自適應(yīng)去霧增強,算法流程如圖4所示:
基于此流程,得出[n]個去霧子像([n]由聚類個數(shù)決定),每張子像都完成了自適應(yīng)增強。再依據(jù)子圖對應(yīng)原圖的位置,對每張子圖進行融合,得到最終結(jié)果,公式如下:
4 實驗與分析
文中實驗的圖像均取自不同場景下的霧天圖像,考慮到計算時間成本,圖像聚類的K值選擇5,子圖的數(shù)目[n]=5。實驗主要分為兩個部分:第一步設(shè)置不同大小的尺度閾值[σ_max]和[σ_min],用文中算法對多個圖像進行增強,通過數(shù)據(jù)對比,評價不同尺度閾值的增強效果;第二步將文中算法與He算法、MSRCR和自動色彩均衡快速算法(ACE)[13]算法的增強效果進行比較。
4 .1選取[σ]閾值范圍
圖5是不同尺度閾值下對圖像增強后的結(jié)果,[σ_min]和[σ_max]分別選取了(15,280)、(15,200)、(15,110)、(40,110)、(60,150)五組數(shù)據(jù)進行對比。從圖5的(b)(c)(f)看出,閾值[σ]選取的范圍越大,圖像的亮度越暗、顏色越深,局部顏色失真產(chǎn)生邊緣現(xiàn)象;如(d)(e)所示,當(dāng)閾值范圍較小時,增強的細節(jié)較好、顏色較為自然。
文中引入均值(Mean Value)、標準差(Standard Deviation)、信息熵(Information Entropy)、平均梯度(Mean Gradient)作為標準評價,在不同閾值范圍[σ_min,σ_max]下,圖5的Farm和Town數(shù)據(jù)如表1、2所示. 可以看出當(dāng)[σ]選取的范圍為(40,110)時,各項數(shù)據(jù)均處于較高水平。
文中引入折線圖來顯示閾值范圍與增強效果之間的關(guān)系,如圖6所示,當(dāng)[σ]的范圍從(15,280)到(60,150),圖像的各項數(shù)據(jù)呈現(xiàn)由低到高再轉(zhuǎn)低的趨勢。
綜合分析,當(dāng)閾值大小在80左右,且范圍較小時,有較好的增強效果。因此文中選取[σ_max=110],[σ_min=40]作為[σ]閾值的最大值最小值。
4.2不同算法增強效果對比
圖7是文中提出的算法與其他算法的圖像處理結(jié)果??梢钥闯鑫闹兴惴ㄔ诰植考毠?jié)和色彩恢復(fù)上表現(xiàn)得較為出色。相對文中算法,HE算法整體增強較好,但得到的圖像普遍偏暗;ACE算法色彩恢復(fù)相對單一,局部細節(jié)欠佳:MSRCR的結(jié)果較差,總體亮度偏高。
表3、表4的為不同算法的評價數(shù)據(jù),其中HE算法的均值普遍較低,導(dǎo)致圖像整體亮度偏低;相對的MSRCR算法均值較高,但其他數(shù)據(jù)均較低,增強結(jié)果欠佳;ACE算法各項數(shù)據(jù)較為均衡。文中算法的均值在120左右,符合人眼視覺觀察所需像素值標準,標準差、信息熵和平均梯度的數(shù)值表現(xiàn)良好。
6 結(jié)論
文中算法通過圖像不同的景深差異來估計圖像局部霧霾濃度,對不同濃度的霧霾場景進行自適應(yīng)尺度的增強,很好地彌補了傳統(tǒng)Retinex算法在固定尺度下只注重圖像全局性增強的缺點。相對其他算法,文中算法的處理后的圖像整體亮度較高,細節(jié)較好,具有良好的顏色恢復(fù)性,在提升了圖像局部細節(jié)的同時,也兼顧了全局性增強。由于文中算法采取了自適應(yīng)尺度對圖像進行去霧增強,當(dāng)尺度閾值范圍較大時,子圖融合后的圖像邊緣色差較大;當(dāng)所有尺度閾值整體偏小時,圖像的顏色恢復(fù)會出現(xiàn)一定的色彩失真現(xiàn)象。如何提高更好的自適應(yīng)性是后面需要考慮的重點。
參考文獻:
[1] 孫小明,孫俊喜,趙立榮,等.暗原色先驗單幅圖像去霧改進算法[J].中國圖象圖形學(xué)報,2014,19(3):381-385.
[2] Kim J H,Jang W D,Sim J Y,et al.Optimized contrast enhancement for real-time image and video dehazing[J].Journal of Visual Communication and Image Representation,2013,24(3):410-425.
[3] 謝鳳英,湯萌,張蕊.基于Retinex的圖像增強方法綜述[J].數(shù)據(jù)采集與處理,2019,34(1):1-11.
[4] Land E H,McCann J J.Lightness and retinex theory[J].Journal of the Optical Society of America,1971,61(1):1.
[5] Jobson D J,Rahman Z,Woodell G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.
[6] Rahman Z,Jobson D J,Woodell G A.Multi-scale retinex for color image enhancement[J].Proceedings of 3rd IEEE International Conference on Image Processing,1996,3:1003-1006.
[7] 汪榮貴,朱靜,楊萬挺,等.基于照度分割的局部多尺度Retinex算法[J].電子學(xué)報,2010,38(5):1181-1186.
[8] He K M,Sun J,Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25,2009,Miami,F(xiàn)L,USA.IEEE,2009:1956-1963.
[9] He K M,Sun J,Tang X O.Fast matting using large kernel matting Laplacian matrices[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.June 13-18,2010,San Francisco,CA,USA.IEEE,2010:2165-2172.
[10] Hartigan J A,Wong M A.Algorithm AS 136:a K-means clustering algorithm[J].Applied Statistics,1979,28(1):100.
[11] 朱靜.色彩恒常性理論及其在圖像增強中應(yīng)用研究[D].合肥:合肥工業(yè)大學(xué),2011.
[12] 徐君,黃亞樓,李飛.K-Means聚類中序列模式和批量模式的比較研究[J].計算機科學(xué),2004,31(6):156-158,193.
[13] 袁雪庚,顧耀林.自動色彩均衡快速算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2005,17(10):2269-2274.
【通聯(lián)編輯:唐一東】