應(yīng)用字典學(xué)習(xí)算法改善Bayer格式圖像彩色恢復(fù)效果

朱 波 汶德勝 王 飛 李 華 宋宗璽

①(中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所 西安 710119)

②(中國(guó)科學(xué)院研究生院 北京 100049)

③(西安交通大學(xué) 西安 710049)

④(商洛學(xué)院 商洛 726000)

1 引言

基于單片探測(cè)器的彩色成像都是在探測(cè)器前加一片顏色濾波陣列(CFA)來(lái)實(shí)現(xiàn)，如應(yīng)用最為廣泛的Bayer濾波陣列[1]。利用陣列中每一個(gè)像素與其周圍像素點(diǎn)的強(qiáng)度相關(guān)性來(lái)估算出缺失的另外兩種顏色，這種處理稱為彩色插值(color interpolation或demosaicking)。目前，彩色插值算法很多，從原理上可大體歸納為以下4類：第1類，將Bayer格式中每4個(gè)像素看作一個(gè)像素來(lái)處理，這種方法簡(jiǎn)單，也利于硬件實(shí)現(xiàn)[2]；第2類，利用單一顏色通道，獨(dú)立的進(jìn)行彩色插值，如：雙線性插值(b i l i n e a r interpolation)和雙3次插值(bicubic convolution interpolation)[3,4]；第3類插值算法考慮了各顏色通道之間的關(guān)系，利用梯度變化增加通道之間的相關(guān)性，因此插值結(jié)果偽彩色大大減少[3,5]；第4類，利用局部方向插值，一般比較常用的是由文獻(xiàn)[6]提出的二階Laplace變換，在選擇的方向上分別進(jìn)行計(jì)算，再進(jìn)行結(jié)果合并、優(yōu)化，從而得到彩色圖像。盡管第4類插值算法已經(jīng)取得了比較好的彩色復(fù)原效果。但是為了讓彩色圖像邊緣更加銳利，更好地滿足視覺(jué)效果，許多非線性插值技術(shù)被應(yīng)用到了圖像處理上[4,7,8]。

本文借鑒文獻(xiàn)[9,10]的思想，利用局部方向插值對(duì)Bayer格式馬賽克圖像進(jìn)行處理，提出了一種基于字典學(xué)習(xí)的非線性算法來(lái)增強(qiáng)插值得到的圖像的邊緣信息。因?yàn)榉较蛐畔⑹腔謴?fù)邊緣的關(guān)鍵，首先，對(duì)圖像的R,B通道進(jìn)行上下左右方向插值，獲取缺失的G顏色信息。再將R,B通道各個(gè)方向的插值結(jié)果根據(jù)方向梯度進(jìn)行合并操作。接著利用高斯混合模型(GMM)分類方法對(duì)學(xué)習(xí)字典進(jìn)行分類，對(duì)被估計(jì)的缺失分量進(jìn)行學(xué)習(xí)，與被估計(jì)像素相似的像素就可以用來(lái)對(duì)估計(jì)值進(jìn)行加強(qiáng)，而不是將濾波結(jié)果的平均值作為加權(quán)，這樣就得到了缺失的綠色分量，當(dāng)分量得到后，利用類似方法就可以得到其它兩種缺失分量，最終，獲取整幅彩色圖像。

2 改進(jìn)的插值算法

2.1 算法的理論基礎(chǔ)

由文獻(xiàn)[2,3,5]的理論分析和第3節(jié)的試驗(yàn)結(jié)果可以知道，幾乎所有的線性插值算法在圖像偽彩色的消除上都不夠理想，因此文獻(xiàn)[11,12]提出了插值效果更好的非線性方法。如圖1(a)所示，文獻(xiàn)[11]算法在水平和垂直兩個(gè)方向分別進(jìn)行局部插值，再對(duì)插值結(jié)果進(jìn)行合并運(yùn)算，取得了不錯(cuò)的效果。

圖1 Bayer格式圖像

應(yīng)用式(1)對(duì)4個(gè)方向進(jìn)行合并計(jì)算，得到4個(gè)方向的計(jì)算加權(quán)系數(shù)為

2.2 分量估計(jì)算法

其中J(x)是正則項(xiàng)，τ是一個(gè)小的常數(shù)。由于自然界的圖像在一定的域里，比如小波域，是稀疏的，因此，x可表示為字典的形式，即x≈ψα，這樣，由y來(lái)估計(jì)x就可以轉(zhuǎn)化為求l1范數(shù)的最小化問(wèn)題：

在基于字典的學(xué)習(xí)算法里，一般不會(huì)以整幅圖作為學(xué)習(xí)樣本，因?yàn)檫@樣會(huì)使樣本易變，而且會(huì)引進(jìn)許多冗余錯(cuò)誤。所以一般選取合適大小的圖像塊作為樣本，假設(shè)以R0為中心的圖像塊大小為s×s，這樣插值輸出的圖像就為y0=x0+v0，式(5)就相應(yīng)地表示為

一旦最優(yōu)化，估計(jì)值就可以由0=ψα0得到。

對(duì)式(6)，應(yīng)用拉格朗日乘子[10,12,13,15]，有等式：

這樣，式(3)的插值計(jì)算就轉(zhuǎn)化成了對(duì)式(7)的優(yōu)化問(wèn)題。對(duì)該問(wèn)題的求解，文獻(xiàn)[12]提出了非局部適應(yīng)閾值(NAT)算法，文獻(xiàn)[15]提出了基于字典的算法，但是這些算法在分類相似圖像塊，即學(xué)習(xí)樣本時(shí)，應(yīng)用的是類似于k-means分類方法，雖然計(jì)算量稍小，但是k-means分類不夠精細(xì)，而且如果取到不好的初始值，就會(huì)得到比較差的結(jié)果，從而不能保證全局的最優(yōu)，所以，我們對(duì)算法進(jìn)行了改進(jìn)。

2.3 改進(jìn)的分量估計(jì)算法

在對(duì)算法進(jìn)行描述前，先介紹一下高斯混合模型(GMM)，及其分類原理。

(1)高斯混合模型(GMM)簡(jiǎn)介 高斯混合模型(GMM)分類法現(xiàn)在已經(jīng)廣泛應(yīng)用于各種科學(xué)領(lǐng)域，如：模式識(shí)別、信號(hào)處理和圖像處理等[16,17]。GMM算法的思想是假設(shè)有N個(gè)觀測(cè)樣本，記為XN={x1,x2,…,xN}，這些樣本來(lái)自k*個(gè)高斯分布：

其中，每個(gè)觀測(cè)樣本xt(1≤t≤N)為列向量，即x1t, …,xdt。而p(xt|)就是第j個(gè)服從參數(shù)的高斯分布，其中，是第j個(gè)分量均值向量和協(xié)方差矩陣，是該分量的混合系數(shù)。GMM分類就是從N個(gè)觀測(cè)樣本中估計(jì)出參數(shù)記為其中k為分類數(shù)k*。這樣，就構(gòu)成了如式(9)所示的最大似然(ML)函數(shù)：

對(duì)式(9)的求解即找到這樣一組參數(shù)，使似然函數(shù)取得最大值，這樣就完成了參數(shù)估計(jì)。顯而易見(jiàn)，GMM學(xué)習(xí)的結(jié)果是一些概率密度函數(shù)，也就是數(shù)據(jù)點(diǎn)被分配到每個(gè)組的概率，這就比k-means分類提供了更多的信息，因此，它的分類效果也就更好。圖2(a)為經(jīng)過(guò)k-means分類法得到的點(diǎn)分類結(jié)果，而圖2(b)為經(jīng)過(guò)GMM分類法得到的點(diǎn)分類結(jié)果，可以很清楚地看出，GMM分類法得到的結(jié)果邊緣更加清楚，即GMM算法在細(xì)節(jié)分類方面明顯優(yōu)于k-means方法。

(2)改進(jìn)算法實(shí)現(xiàn)過(guò)程 為了獲取好的插值結(jié)果，對(duì)于式(7)的求解，本文采用字典學(xué)習(xí)算法來(lái)實(shí)現(xiàn)。首先要構(gòu)建一個(gè)圖像塊字典庫(kù)，即選取一系列高品質(zhì)的標(biāo)準(zhǔn)圖像，并從這些圖像中截取大量的圖像塊來(lái)實(shí)現(xiàn)。圖像塊的選擇原則是不能太小，比如3×3，雖然比較精細(xì)，但是插值結(jié)果會(huì)帶來(lái)偽彩色并使圖像平滑處出現(xiàn)錯(cuò)誤，而圖像塊選的太大又會(huì)使分辨率降低，因此，本文圖像塊的大小選擇為7×7。假設(shè)選取M個(gè)圖像塊S=[s1,s2,…,sM]，一般情況下，對(duì)于一個(gè)局部估計(jì)，這些圖像塊是冗余且大部分是不相關(guān)的，這樣不僅使計(jì)算量增加，多余的信息也會(huì)帶來(lái)偽信息，表現(xiàn)為插值結(jié)果中的偽彩色。為了克服這些不足，本文利用GMM將S分為K類{Φk}，也就是將S分為K組，這樣，就將具有相同樣式的圖像塊進(jìn)行了字典分類，相對(duì)于之前過(guò)多的圖像塊，不僅在數(shù)量上減少，而且子字典都是同類型，這就便于學(xué)習(xí)，從而得到高質(zhì)量的恢復(fù)效果。而且，這種學(xué)習(xí)樣本是基于圖像塊，而不是單個(gè)像素，因此，學(xué)習(xí)的結(jié)果就更接近真實(shí)圖像。同時(shí)，為了減少運(yùn)算量并有效地去除噪聲，應(yīng)用PCA技術(shù)來(lái)提取字典的主要分量，去除冗余成分，使字典學(xué)習(xí)更加高效[15,18]。本文算法的具體實(shí)現(xiàn)過(guò)程如下：

圖2 應(yīng)用k-means和GMM分類法得到的點(diǎn)分類結(jié)果

(1)輸入?yún)⒘浚?/p>

(a)Bayer格式的馬賽克圖像X；

(b)高品質(zhì)的字典圖像塊S；

(2)對(duì)X的R,B通道進(jìn)行上下左右局部方向插值(LDI)，并進(jìn)行合并計(jì)算；

2.4 ,分量插值算法

參考2.1節(jié)的做法，我們可以得到R0處的B分量0=G0+，其中為R0處B-G梯度的估計(jì)值。同理，得到R1處的B分量其中為R1處B-G梯度的估計(jì)值。有了和就可以仿照分量的插值過(guò)程，進(jìn)行R通道B分量的彩色插值恢復(fù)，得到相應(yīng)的輸出結(jié)果。再利用同樣的方法，我們可以插值得到B通道的R分量，G通道的B分量和G通道的R分量了。

3 試驗(yàn)結(jié)果與評(píng)價(jià)

為了驗(yàn)證算法的效果，本文進(jìn)行了標(biāo)準(zhǔn)圖像和實(shí)際拍攝圖像的試驗(yàn)。字典庫(kù)圖像選取了若干幅McMaster圖像庫(kù)中的高品質(zhì)圖片。試驗(yàn)結(jié)果的評(píng)價(jià)分整體主觀目視評(píng)價(jià)和客觀峰值信噪比(PSNR)評(píng)價(jià)。

3.1 標(biāo)準(zhǔn)圖像試驗(yàn)

標(biāo)準(zhǔn)圖像試驗(yàn)樣本，我們使用了Kodak圖像集和 McMaster圖像集中的部分具有代表性的圖片，如圖3所示。

首先，將圖3的標(biāo)準(zhǔn)圖像按照Bayer格式轉(zhuǎn)換成相應(yīng)的馬賽克圖像，然后應(yīng)用幾種插值算法分別進(jìn)行彩色恢復(fù)，整體效果和局部特寫如圖 4和圖5所示。

圖3 試驗(yàn)用標(biāo)準(zhǔn)圖像

圖4 幾種算法對(duì)圖3(b)彩色恢復(fù)效果

圖5 幾種算法對(duì)圖3(f)彩色恢復(fù)效果

由圖4和圖5可以看出，視覺(jué)效果方面，本文算法插值得到的圖像偽彩色較少，邊緣銳利，整體效果最好?？陀^評(píng)價(jià)方面，幾種算法對(duì)圖3的Bayer格式圖像插值得到的彩色圖像R,G,B通道的PSNR數(shù)值如表1所示。

3.2 實(shí)際拍攝的圖像試驗(yàn)結(jié)果

除了對(duì)標(biāo)準(zhǔn)圖像進(jìn)行試驗(yàn)，我們還對(duì)實(shí)際拍攝的近景和遠(yuǎn)景圖像進(jìn)行了彩色恢復(fù)。圖6(a)，圖7(a)為應(yīng)用DALSA公司IA-G3彩色CMOS探測(cè)器設(shè)計(jì)的某相機(jī)拍攝的Bayer格式馬賽克圖像，圖6(b)，圖7(b)為應(yīng)用本文算法得到的相應(yīng)彩色圖像，從結(jié)果可以看出，圖像色彩逼真，邊緣銳利，整體效果令人滿意。

表1 幾種算法對(duì)圖3圖像插值結(jié)果的PSNR數(shù)值統(tǒng)計(jì)(dB)

圖6 實(shí)際拍攝的5 m近景圖像彩色恢復(fù)效果

圖7 實(shí)際拍攝的遠(yuǎn)景圖像彩色恢復(fù)效果

4 結(jié)束語(yǔ)

本文提出了一種基于字典學(xué)習(xí)的非線性 Bayer格式彩色圖像恢復(fù)算法，將插值過(guò)程由水平和垂直兩個(gè)方向改為上下左右4個(gè)方向進(jìn)行，并應(yīng)用了分類效果更好的GMM來(lái)構(gòu)建字典，從而使獲取的彩色圖像效果更好。通過(guò)對(duì)Kodak和McMaster標(biāo)準(zhǔn)圖像和實(shí)際拍攝的圖像進(jìn)行試驗(yàn)表明，視覺(jué)效果良好，偽彩色較少，單通道PSNR最高達(dá)到41 dB，整體性能優(yōu)于許多現(xiàn)有插值算法。但是，由于字典學(xué)習(xí)過(guò)程是基于循環(huán)、查找等操作，再加上PCA變換等技術(shù)的運(yùn)用，所以本算法復(fù)雜度高，計(jì)算量比較大，以插值500×500的McMaster圖像為例，在Intel Core2 Duo CPU T9550 2.66 GHz電腦上使用Matlab2008a軟件，需要的時(shí)間大概是10 min左右，所以，下一步的工作是對(duì)本算法進(jìn)行優(yōu)化，降低算法的時(shí)間復(fù)雜度。

[1]Bayer B E. Color imaging array[P]. 美國(guó)專利, 3971065, 1975.

[2]王暕來(lái), 楊春玲. 基于最大類間方差法的圖像分割系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[OL]. www.altera.com.cn/education/univ/local/events/articles/july08-3.pdf, 2008, 6.

Wang Jian-lai and Yang Chun-ling. Implementation of image segmentation system based on Otsu method[OL]. www.altera.com.cn/education/univ/local/events/articles/july08-3.pdf,2008, 6.

[3]Pei Soo-chang and Tam Io-kuong. Effectivse color interpolation in CCD color filter arrays using signal correlation[J].IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(6): 503-513.

[4]Li Xin and Orchard M T. New edge-directed interpolation[J].IEEE Transactions on Image Processing, 2001, 10(10):1521-1527.

[5]Malvar H S, He Li-wei, and Cutler R. High-quality linear interpolation for demosaicing of Bayer-patterned color images[C]. IEEE International Conference on Acoustics,Speech and Signal Processing, Quebec, Canada, 2004:485-488.

[6]Adams J E and Hamilton J F. Adaptive color plane interpolation in single color electronic camera[P]. 美國(guó)專利,5506619, 1996.

[7]Wallach D, Lamare F, and Kontaxakis G. Super-resolution in respiratory synchronized positron emission tomography[J].IEEE Transactions on Medical Imaging, 2012, 31(2):438-447.

[8]Ma Jiang-lin, Chan Cheung-wai, and Canters F. An operational superresolution approach for multi-temporal and multi-angle remotely sensed imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1): 110-123.

[9]Charles A S, Olshausen B A, and Rozell C J. Learning sparse codes for hyperspectral imagery[J].IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5): 963-978.

[10]Mu Guang-wu, Gao Xin-bo, Zhang Kai-bing,et al..Single image super resolution with high resolution dictionary[C].IEEE International Conference on Image Processing, Brussels,Belgium, 2011: 1141-1144.

[11]Zhang Lei and Wu Xiao-lin. Color demosaicking via directional linear minimum mean square-error estimation[J].IEEE Transactions on Image Processing, 2005, 14(12):2167-2178.

[12]Zhang Lei, Wu Xiaolin, Buades A,et al.. Color demosaicking by local directional interpolation and nonlocal adaptive thresholding[J].Journal of Electronic Imaging, 2011, 20(2):203016(1-16).

[13]Chang Edward, Cheung Shiu-fun, and Pan D Y. Color filter array recovery using a threshold-based variable number of gradients[C]. SPIE Conference on Sensors, Cameras and Applications for Digital Photography, San Jose, California,1999: 36-42.

[14]楊清山, 郭成安, 金明錄. 基于Gabor多通道加權(quán)優(yōu)化與稀疏表征的人臉識(shí)別方法[J].電子與信息學(xué)報(bào), 2011, 33(7):1618-1624.

Yang Qing-shan, Guo Chen-gan, and Jin Ming-lu. Face recognition based on Gabor multi-channel weighted optimization and sparse representation[J].Jounal of Electronics&Information Technology, 2011, 33(7):1618-1624.

[15]Dong Wei-sheng, Zhang Lei, and Shi Guang-ming. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[16]Zeng Hong and Cheung Yiu-ming. A new feature selection method for Gaussian mixture clustering[J].Pattern Recognition, 2009, 42(2): 243-250.

[17]Zhang Kai-bing, Gao Xin-bo, and Li Xue-long. Partially supervised neighbor embedding for example-based image super-resolution[J].IEEE Journal of Selected Topics inSignal Processing, 2011, 5(2): 230-239.

[18]Zhang Lei, Lukac R, Wu Xiao-lin,et al..PCA-based spatially adaptive denoising of CFA images for single-sensor digital cameras[J].IEEE Transactions on Image Processing, 2009,18(4): 797-812.

[19]Menon D, Andriani S, and Calvagno G. Demosaicing with directional filtering and aposterioridecision[J].IEEE Transactions on Image Processing,2007, 16(1): 132-141.