基于彩色化的色度圖像超分辨率重建算法研究

秦 潔 李 莉

(安徽農(nóng)業(yè)大學(xué)經(jīng)濟(jì)技術(shù)學(xué)院， 合肥 230000)

相比灰度圖像，彩色圖像包含的信息更多，具備更多的色彩通道，各通道之間具有關(guān)聯(lián)性。在彩色圖像通道中應(yīng)用灰度圖像處理方法，效果一般都不理想，會(huì)導(dǎo)致圖像失真[1]。對(duì)彩色圖像的處理通常是將圖像的特性如亮度、色度分離出來(lái)，集中對(duì)亮度進(jìn)行處理。忽視對(duì)色度的處理，會(huì)導(dǎo)致圖像中彩色通道信息缺失的問(wèn)題[2]。提升彩色圖像的色度，可以顯著提升其視覺(jué)效應(yīng)[3]。彩色圖像超分辨率重建，目的就在于豐富圖像的色度信息。圖像彩色化的過(guò)程就是基于灰度圖像及部分色彩信息來(lái)實(shí)現(xiàn)對(duì)圖像的色彩獲取，增強(qiáng)圖像色度信息[4]。在處理低分辨率彩色圖像時(shí)，選擇色度作為圖像處理參數(shù)，應(yīng)用效率較好的彩色化算法提升圖像的色度，可解決圖像失真問(wèn)題，改善其視覺(jué)效果。

1 圖像質(zhì)量的主觀(guān)評(píng)價(jià)標(biāo)準(zhǔn)

圖像在獲取、壓縮、處理、傳輸、顯示等過(guò)程中，總是存在一定程度失真的問(wèn)題。評(píng)價(jià)圖像質(zhì)量的方法可分為主觀(guān)評(píng)價(jià)方法和客觀(guān)評(píng)價(jià)方法，前者是憑借評(píng)價(jià)人員的主觀(guān)感知來(lái)評(píng)價(jià)圖像的質(zhì)量；后者是依據(jù)模型給出的量化指標(biāo)，模擬人類(lèi)視覺(jué)系統(tǒng)感知機(jī)制來(lái)衡量圖像質(zhì)量。圖像質(zhì)量的主觀(guān)評(píng)價(jià)結(jié)果，與評(píng)價(jià)人員的個(gè)人能力、知識(shí)構(gòu)成等都息息相關(guān)。為了確保圖像評(píng)價(jià)的客觀(guān)性，選擇的評(píng)價(jià)人員要具備一定的專(zhuān)業(yè)能力，評(píng)價(jià)人員數(shù)量要在20人以上，最后按平均意見(jiàn)得分(MOS)標(biāo)準(zhǔn)(見(jiàn)表1)判斷圖像的質(zhì)量。

表1 MOS標(biāo)準(zhǔn)

2 灰度圖像彩色化技術(shù)

圖像顏色基本都是由YUV通道構(gòu)成。圖像的YUV聯(lián)合相關(guān)性，表示在特定的位置上圖像的色度、亮度都存在相似的局部幾何特征(local geometry)，在流形結(jié)構(gòu)(manifold)方面也較為相似[5]。局部幾何特征反映了某個(gè)位置的像素點(diǎn)和相鄰的像素的關(guān)系。應(yīng)用線(xiàn)性加權(quán)方式，可分別得到三通道YUV圖像信息，如圖1所示。

2.1 鄰域相似像素

鄰域的色度計(jì)算中，一般是采用菱形窗口鄰域或矩陣中心方式。這往往會(huì)導(dǎo)致像素值存在較大誤差，特別是在需要加權(quán)值非負(fù)的紋理、邊緣等區(qū)域，當(dāng)領(lǐng)域值的誤差較大時(shí)，在求和時(shí)就會(huì)給圖像彩色化帶來(lái)較大的失真。例如，在某個(gè)邊緣區(qū)域內(nèi)的像素點(diǎn)，分別應(yīng)用不同計(jì)算方式獲取鄰域像素值，結(jié)果如圖2所示。其中：a.應(yīng)用矩形鄰域分布方式，加權(quán)求和過(guò)程中會(huì)計(jì)算綠色像素值，結(jié)果紅色像素點(diǎn)顏色發(fā)生了明顯失真現(xiàn)象；b.應(yīng)用鄰域相似搜索矩陣搜索選擇和紅色像素點(diǎn)相似度較高的像素值，結(jié)果圖中該圖像點(diǎn)基本沒(méi)有發(fā)生失真。因此，我們應(yīng)用鄰域相似搜索矩陣方式，來(lái)獲取鄰域像素點(diǎn)。

圖1 彩色圖像的YUV通道圖像

圖2 像素點(diǎn)的不同鄰域分布方式

通過(guò)鄰域相似像素搜索，綜合分析圖像中不同像素點(diǎn)的相對(duì)距離，然后還要對(duì)不同像素之間的差異進(jìn)行分析。以相似度d定義圖像中各個(gè)像素點(diǎn)之間的差異及距離等，分別計(jì)算以像素點(diǎn)k位置為圓中心、半徑為r的窗口內(nèi)所有的非k像素點(diǎn)j。

(1)

2.2 自回歸模型

基于圖像彩色化通道的YUV聯(lián)合相關(guān)性，包含了色度、亮度的局部幾何特征結(jié)構(gòu)。YUV聯(lián)合相關(guān)性每個(gè)像素點(diǎn)的亮度計(jì)算方式，為鄰域像素線(xiàn)性加權(quán)組合；色度計(jì)算方式，為領(lǐng)域組合關(guān)系。

通過(guò)構(gòu)建自回歸模型，來(lái)計(jì)算鄰域像素線(xiàn)性加權(quán)中心像素模型。

(2)

式中：Yk為亮度圖像Y上某個(gè)像素點(diǎn)k的亮度；Yki為鄰域像素亮度；wki為亮度的加權(quán)系數(shù)。

同理，對(duì)于色度圖像U，構(gòu)建自回歸模型如下：

(3)

3 色度圖像超分辨率重建算法

3.1 圖像色彩初始化的算法選擇

圖像超分辨率重建，是在低分辨率(LR)圖像中，通過(guò)處理信號(hào)的方法，估計(jì)高分辨率(HR)圖像。目前，關(guān)于高分辨率圖像的研究主要集中在灰度圖像領(lǐng)域，而在重建彩色圖像高分辨率過(guò)程中，采用的參數(shù)主要為圖像亮度信息；對(duì)于圖像的色度信息，通常只進(jìn)行插值處理，結(jié)果構(gòu)建得到的圖像的色度質(zhì)量不高。在圖像超分辨率重建過(guò)程中，為了提高圖像色彩的初始化質(zhì)量，我們采用IBP算法。

按IBP算法，是在人工初始化圖象值后，反復(fù)迭代圖像構(gòu)建過(guò)程，并引用超分辨率圖像不斷修正誤差值，得到和原圖相似的生成圖像[6-7]。迭代重構(gòu)最小的誤差值為e(IH)。

(4)

式中：IL表示原圖的低分辨率圖像分辨率；IH表示高分辨率圖像分辨率；D表示采樣算子；L表示低通濾波器。誤差值e(IH)越小，表示圖像質(zhì)量越好。

在初始化色彩顏色信息過(guò)程中，采用IBP算法。以重構(gòu)4倍分辨率為例。如圖3所示，低分辨率圖像在一個(gè)4×4放大的圖像塊中。在重建過(guò)程中，將已知色度值全部放在相對(duì)應(yīng)的采樣算子位置處。此時(shí)，每個(gè)放大圖像塊都可以得到一個(gè)色度值。接下來(lái)，應(yīng)用該色度值進(jìn)行彩色化運(yùn)算，得到初始高分辨率色度圖像。最后，應(yīng)用雙立方插值來(lái)迭代采樣過(guò)程，得到初始化后的色度分量值。IBP算法初始化后的色度分量值，更接近原圖像的像素值，具備更好的色度初始化相似度。

圖3 低分辨率圖像在放大4倍圖像塊中的位置

3.2 彩色化算法改進(jìn)

運(yùn)用圖像的彩色化算法如基于亮度圖像的超分辨率重建技術(shù)，在圖像邊緣重構(gòu)過(guò)程中容易發(fā)生失真現(xiàn)象，且計(jì)算速度比較慢。下面提出一種最優(yōu)彩色化算法。

圖像亮度的鄰域變化，直接表明了像素區(qū)域類(lèi)型；亮度鄰域像素的差值大小，反映著當(dāng)前重建區(qū)域是否處于邊緣區(qū)域范圍。由此，采用亮度差值關(guān)系來(lái)計(jì)算色度鄰域加權(quán)值，充分利用圖像邊緣位置包含的隱藏信息，處理后的圖像質(zhì)量更高。

在YUV顏色空間內(nèi)，當(dāng)圖像的某個(gè)像素點(diǎn)k的鄰域亮度差值都較小，認(rèn)為在該點(diǎn)的鄰域色度差值也比較小。鄰域像素集的色度加權(quán)和為Nk，則誤差J(U)的計(jì)算公式為：

(5)

式中：wks為鄰域像素的加權(quán)值；s表示當(dāng)前像素點(diǎn)。

對(duì)于未知顏色的像素點(diǎn)，鄰域像素集的色度加權(quán)和的誤差計(jì)算公式為：

UH=arg minJ(U)

(6)

式中：J(U)為加權(quán)和的誤差和。

在上述算法中，像素點(diǎn)k的鄰域亮度差值和加權(quán)值wks存在反比關(guān)系，即鄰域亮度差值越小，加權(quán)值越大。因此，設(shè)計(jì)加權(quán)值計(jì)算公式為：

(7)

式中：Wk為歸一化系數(shù)；α是一個(gè)常數(shù)，以此保證圖中像素點(diǎn)的穩(wěn)定性；σk為像素點(diǎn)的鄰域方差。

3.3 高分辨率色度圖像重建算法

在BIP算法中，圖像高分辨率色度在計(jì)算過(guò)程中采用雙立方插值方式。色度插值方式不會(huì)對(duì)像素點(diǎn)所處像素進(jìn)行誤差重建判斷，會(huì)統(tǒng)一無(wú)差別反饋所有區(qū)域范圍內(nèi)的誤差值進(jìn)入迭代過(guò)程，因此必然會(huì)產(chǎn)生邊緣區(qū)域失真現(xiàn)象。

Dai等人通過(guò)優(yōu)化調(diào)整雙邊帶濾波IBP算法中高斯窗口系數(shù)來(lái)提高圖像的邊緣特性，實(shí)驗(yàn)結(jié)果表明該算法具備較好的圖像邊緣質(zhì)量[8]。Dong等人，在反向投影步驟前就重建局部誤差值，設(shè)計(jì)了非局部IBP算法[9]。但他們沒(méi)有對(duì)BIP算法流程進(jìn)行優(yōu)化，只是通過(guò)增加邊緣像素色度來(lái)提高邊緣圖像質(zhì)量。

我們?cè)O(shè)計(jì)的融合了最優(yōu)化彩色化算法的IBP算法(以下簡(jiǎn)稱(chēng)“IBPCSR”算法)，可以實(shí)現(xiàn)圖像色度值的獲取，同時(shí)還具備較好的圖像邊緣處理能力。首先，根據(jù)4×4放大圖像塊來(lái)獲取已知色度位置及其值的大小；然后，在計(jì)算未知色度值中引用最優(yōu)彩色化算法。

4 實(shí)驗(yàn)及其結(jié)果分析

實(shí)驗(yàn)選取的窗口為5×5，高斯低通濾波器方差為2，重建倍數(shù)為4。采用圖像模糊處理來(lái)驗(yàn)證 IBPCSR算法。對(duì)比算法為：基于學(xué)習(xí)的高分辨算法[6]，簡(jiǎn)稱(chēng)“Liu”；基于4倍高分辨率算法[7]，簡(jiǎn)稱(chēng)“Huang”；傳統(tǒng)雙立方插值算法。

首先，按主觀(guān)評(píng)價(jià)法對(duì)各算法重構(gòu)圖像進(jìn)行比較。圖4所示為實(shí)驗(yàn)分析的部分圖像。圖5所示為圖像“花”在高分辨率模糊處理后的實(shí)驗(yàn)結(jié)果，其中，第一排為重建后色度原圖；第二排為差值圖像；第三排為重構(gòu)后的彩色圖像。

圖4 實(shí)驗(yàn)中的部分圖像

圖5 不同方法對(duì)花圖的重構(gòu)結(jié)果

對(duì)比重構(gòu)結(jié)果可知：按IBPCSR算法處理后，高分辨率色度圖像具備非常好的圖像質(zhì)量，邊緣更加銳利；在邊緣區(qū)域范圍內(nèi)的重構(gòu)差值都比較小，圖的損失更少；在重構(gòu)好的高分辨率圖像中，彩色度和相似度都更高。

客觀(guān)得到的各個(gè)算法在PSNR(峰值信噪比)、SSIM(結(jié)構(gòu)相似性)[10-11]上的值，見(jiàn)表2和表3。從表中數(shù)據(jù)可以看出，與其他算法相比，IBPCSR算法具備非常好的峰值信噪比，重建后的高分辨率圖像和原圖的結(jié)構(gòu)相似度較高。這表明重視色度處理，可以提升高分辨率彩色圖像質(zhì)量，減少邊緣區(qū)域范圍內(nèi)圖像的色彩失真現(xiàn)象。

5 結(jié) 語(yǔ)

隨著圖像技術(shù)的快速發(fā)展，人們對(duì)圖像質(zhì)量的要求也越來(lái)越高。為提高圖像的逼真度，設(shè)計(jì)了基于彩色化的色度圖像超分辨率重建算法。在圖像YUV通道基礎(chǔ)上，應(yīng)用鄰域相似搜索矩陣，獲取得到較高質(zhì)量的鄰域像素點(diǎn)，并通過(guò)構(gòu)建自回歸模型來(lái)計(jì)算鄰域像素線(xiàn)性加權(quán)中心像素模型；應(yīng)用BIP算法，初始化色彩顏色信息，初始化后的色度分量值更加接近原圖像的像素值，具備較高的色度初始化相似度；設(shè)計(jì)最優(yōu)彩色化算法，快速重構(gòu)低失真的圖像邊緣。實(shí)驗(yàn)結(jié)果表明，運(yùn)用色度圖像超分辨率重建算法，獲得的重構(gòu)圖像質(zhì)量高，邊緣區(qū)域范圍內(nèi)的失真率較低。

表2 不同算法的PSNR值 單位：dB

表3 不同算法的SSIM值 單位：dB