視頻衛(wèi)星影像的Bayer插值重建

吳佳奇， 汪韜陽， 彭雨芬， 張過

(1.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院，阜新 123000； 2.武漢大學(xué)遙感信息工程學(xué)院，武漢 430079； 3.湖北地信科技集團(tuán)股份有限公司，武漢 430074； 4.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，武漢 430079)

0 引言

隨著近年來衛(wèi)星對(duì)地觀測(cè)技術(shù)的突飛猛進(jìn)，對(duì)衛(wèi)星影像的應(yīng)用需求已從定期的靜態(tài)普查向?qū)崟r(shí)動(dòng)態(tài)監(jiān)測(cè)方向發(fā)展，利用衛(wèi)星對(duì)全球熱點(diǎn)區(qū)域和目標(biāo)進(jìn)行持續(xù)監(jiān)測(cè)，獲取動(dòng)態(tài)信息已成為迫切需求。衛(wèi)星視頻可以直接、全面地獲取實(shí)時(shí)動(dòng)態(tài)信息，對(duì)遙感應(yīng)用的新開拓和新發(fā)展有著重要意義[1]。UrTheCast公司于2013年底和2014年初將2臺(tái)相機(jī)安置在國(guó)際空間站上，其中IRIS相機(jī)在世界范圍內(nèi)首次能夠獲取高清彩色視頻，空間分辨率為1.1 m[2]。長(zhǎng)光衛(wèi)星技術(shù)有限公司于2015年10月發(fā)射商用衛(wèi)星“吉林一號(hào)”視頻01和02星，于2017年初再次發(fā)射升級(jí)改進(jìn)的視頻03星，“吉林一號(hào)”視頻系列衛(wèi)星其搭載的高空間分辨率視頻相機(jī)，在國(guó)內(nèi)首次實(shí)現(xiàn)了高清彩色視頻影像的獲??； 珠海歐比特公司于2017年6月15日發(fā)射了2顆視頻衛(wèi)星——OVS1A和OVS1B，同樣具備衛(wèi)星視頻拍攝能力[3-4]。衛(wèi)星的視頻相機(jī)獲取高清彩色視頻一般采用Bayer模板[5]的成像方式，在相機(jī)成像系統(tǒng)中只采用一個(gè)CMOS傳感器。相機(jī)拍攝時(shí)，在每一個(gè)像素位置只獲取物理三基色(紅、綠、藍(lán))其中一種分量，其他2種顏色被過濾掉。按照這種方式獲取的影像是Bayer影像。Bayer影像可以減少三分之二的數(shù)據(jù)量，節(jié)省星上存儲(chǔ)資源，減輕星地傳輸壓力。但由于Bayer影像損失彩色信息，必須對(duì)其進(jìn)行插值重建處理，恢復(fù)成全彩色影像后才能用于后處理和應(yīng)用。Bayer插值重建的方法一般分為以下幾種： 基本法[6]、波段間相關(guān)法[7]、邊緣導(dǎo)向法[8-9]、迭代法[10]和濾波法[11]等。一幅影像的細(xì)節(jié)主要體現(xiàn)在高頻區(qū)域，高頻區(qū)域附近存在較大的灰度突變，因此在Bayer插值重建時(shí)容易產(chǎn)生誤差，導(dǎo)致影像信息流失和失真。但是，高頻區(qū)域的明顯灰度突變情況一般發(fā)生在一個(gè)方向上(水平、垂直或?qū)蔷€)，而與灰度突變方向相垂直方向的灰度變化是平滑的(低通)，沿著該方向進(jìn)行線性插值能夠取得高精度的插值結(jié)果。邊緣導(dǎo)向插值法利用插值像素與鄰域、相鄰波段的多尺度相關(guān)性特性，準(zhǔn)確獲取影像邊緣方向，并沿著邊緣方向進(jìn)行插值，一般具有最好的插值效果和精度，但往往耗時(shí)較多[12-13]。濾波法主要利用Bayer影像的頻率信息，通過帶通濾波分離高、低頻信號(hào)，或采用濾波器重建全彩色的亮度、色度信號(hào)[14]，進(jìn)而完成Bayer影像插值重建。濾波法主要針對(duì)影像頻率域的處理，而非像素級(jí)，因此具有非常快的運(yùn)行速度。經(jīng)典的亮度色度多路分解重建濾波算法(least-squares luma-chroma demultiplexing，LSLCD)[15]利用最小二乘法訓(xùn)練全彩色的標(biāo)準(zhǔn)影像集得到通用的高、低頻帶通濾波器，然后采用濾波重建彩色信號(hào)，該方法效果好且速度快。但訓(xùn)練出的帶通濾波器無法適應(yīng)所有頻率情況，且影像都具有一定程度的頻譜混淆，在濾波時(shí)無法完全區(qū)分和提取高、低頻信號(hào)。尤其針對(duì)噪聲多的衛(wèi)星視頻影像，容易在邊緣附近的低頻區(qū)域產(chǎn)生拉鏈和顆?，F(xiàn)象。此外，經(jīng)典的三步優(yōu)化插值法(three step demosaicing，TSD)[16]采用帶有權(quán)值的二階拉普拉斯算子計(jì)算梯度，同時(shí)利用梯度差區(qū)分高、低頻區(qū)域和邊緣方向進(jìn)行邊緣導(dǎo)向插值，最后采用色差域的中值濾波優(yōu)化重建結(jié)果。該方法能有效提升優(yōu)化整體插值效果，但高頻邊緣區(qū)域仍不清晰、拉鏈和偽彩色現(xiàn)象有所殘留。

通過對(duì)LSLCD和TSD方法研究可以得出，二者存在優(yōu)勢(shì)互補(bǔ)的特性?？紤]衛(wèi)星視頻影像低頻區(qū)域分布較多的特點(diǎn)，深入分析LSLCD和TSD的研究思路，本研究提出了一種基于亮度-色度信號(hào)濾波重建的邊緣導(dǎo)向Bayer插值重建新方法，將LSLCD的信號(hào)濾波法與TSD的迭代優(yōu)化處理和邊緣導(dǎo)向方法思路相結(jié)合，通過引入低頻區(qū)域的梯度判斷，并進(jìn)行相應(yīng)的區(qū)域更新優(yōu)化和邊緣導(dǎo)向插值，有效解決了低頻區(qū)域的拉鏈和邊緣區(qū)域插值誤差等常見問題，提升了插值重建效果和精度。

1 衛(wèi)星視頻影像Bayer插值重建基本原理

1.1 信號(hào)濾波初始重建

全彩色影像可以被分解為亮度和色度信號(hào)，而亮度可表示為各分量與其加權(quán)系數(shù)的加權(quán)和[17]，公式為

I(x,y)=L+C，

(1)

(2)

(3)

式中：I為彩色影像；L為彩色影像的亮度；C為色度；p為加權(quán)系數(shù)；i為三基色(紅、綠、藍(lán))顏色分量，i=1，2，3。

而Bayer影像在每個(gè)像素位置只保留一個(gè)顏色值，可以被表達(dá)為每個(gè)顏色分量按照Bayer模板進(jìn)行降采樣的結(jié)果，Bayer模板如圖1所示。

(a) Bayer彩色模板(b) Bayer紅色模板 (c) Bayer綠色模板 (d) Bayer藍(lán)色模板

(4)

(5)

(6)

式中：ICFA(x,y)為Bayer影像；Ii(x,y)為原始影像第i顏色波段；mi(x,y)為正交降采樣函數(shù)，根據(jù)空間位置(x，y)是否出現(xiàn)特定顏色而取值1或0；i和j表示不同基色。令式(4)中，mi(x,y)=pi+m′(x,y)，pi取值與式(3)相同，m′表示均值為0的波動(dòng)函數(shù)，其取值可通過m和p確定。于是，式(4)可變換為

(7)

又根據(jù)式(1)和式(4)可以得出，Bayer影像也可被分解為亮度和色度，其中Bayer影像的亮度與全彩色影像的亮度保持一致，因此Bayer影像亮度可用全彩色影像的亮度代替。Bayer影像可被分解為一個(gè)亮度信號(hào)和2個(gè)調(diào)制色度信號(hào)，得出Bayer模型為

ICFA(x,y)=L+C1(-1)(x+y)+C2[(-1)x-(-1)y]，

(8)

(9)

式中L，C1和C2分別為全彩色影像的一個(gè)亮度和2個(gè)色度信號(hào)。進(jìn)一步作傅里葉變換為

FICFA(u,v)=FL(u,v)+FC1(u-0.5,v-0.5)+FC2a(u-0.5,v)+FC2b(u,v-0.5)。

(10)

針對(duì)信號(hào)C1，C2a和C2b設(shè)計(jì)濾波器為h1，h2a和h2b，色度信號(hào)C1分量在空間頻率(0.5，0.5)處進(jìn)行調(diào)制，而信號(hào)C2a和C2b分量在空間頻率(0.5，0)和(0，0.5)處進(jìn)行調(diào)制。濾波設(shè)計(jì)的基本原則為使得濾波重建的色度信號(hào)與原始信號(hào)的平方誤差最小，其表達(dá)式為

(11)

式中：X∈(1,2a,2b)；CX表示對(duì)應(yīng)的色度信號(hào)。若已知一張全彩色影像，即可得到對(duì)應(yīng)的CX和ICFA，進(jìn)而根據(jù)式(11)可求得對(duì)應(yīng)的3個(gè)濾波器h1，h2a和h2b。為提高濾波器的準(zhǔn)確度和普適性，將24張標(biāo)準(zhǔn)柯達(dá)影像作為參考進(jìn)行訓(xùn)練，建立24個(gè)方程，從而利用最小二乘方法對(duì)濾波器進(jìn)行平差優(yōu)化。在平差計(jì)算時(shí)，濾波尺寸為11×11的結(jié)果最好[18]。求得濾波所對(duì)應(yīng)的頻率響應(yīng)如圖2所示。

(a) h1(b) h2a(c) h2b

在求得濾波后，可以利用相應(yīng)的帶通濾波器獲得Bayer影像的3個(gè)色度信號(hào)，進(jìn)而可利用式(8)的Bayer模型重建全彩色影像。

1.2 基于低頻區(qū)域判斷的插值重建

在初始處理中，利用影像的高頻色度信息進(jìn)行重建，信號(hào)串?dāng)_的影響不能完全避免，導(dǎo)致邊緣附近的低頻區(qū)域容易產(chǎn)生拉鏈效應(yīng)。一種推薦的優(yōu)化方法是TSD方法中的色差空間中值濾波法[16]。由于色差空間的平滑性，該方法可以很好地保留邊緣信息、優(yōu)化插值灰度值，并能去除噪點(diǎn)； 但也由于色差空間的平滑性，對(duì)低頻區(qū)域的精化效果有限。本文在TSD方法的基礎(chǔ)上，在綠色更新時(shí)，首先通過梯度判斷區(qū)分高、低頻區(qū)域，在低頻區(qū)域采用邊緣方向插值，在高頻區(qū)域采用色差空間中值濾波； 紅色(藍(lán)色)更新時(shí)，在綠色空間更新優(yōu)化的基礎(chǔ)上，在新的色差空間中結(jié)合濾波和方向插值法做進(jìn)一步優(yōu)化處理，完成插值重建。

具體根據(jù)像素鄰域及波段間的高相關(guān)性，利用水平、垂直和鄰域3個(gè)梯度進(jìn)行低頻區(qū)域的判斷。如圖3的Bayer插值模板，數(shù)字代表像素位置，R，G和B分別代表該位置為紅光、綠光或藍(lán)光波段像素。

圖3 Bayer插值模板

以R7位置為例，引入二階拉普拉斯算子，水平梯度δH2為

δH2=G6-G8+ 2R7-R5-R9,

(12)

式中│ │表示絕對(duì)值操作符。垂直梯度δV2為

δV2=G3-G11+ 2R7-R1-R13。

(13)

鄰域梯度δHV為

δHV= (G3+G11)/2-(G6+G8)/2+(2×R7+R5+R9)/4-(2×R7+R1+R13)/4 。

(14)

在獲得3個(gè)梯度基礎(chǔ)上，可以利用條件δH2

對(duì)綠光波段的R7位置進(jìn)行更新時(shí)，首先進(jìn)行低頻判斷，若滿足條件，則認(rèn)為該點(diǎn)處在低頻區(qū)域，然后通過比較梯度確定插值方向，進(jìn)行導(dǎo)向插值更新灰度值。

R7位置的綠色灰度更新為

(15)

若低頻判斷不滿足條件，則說明該像素處在非低頻區(qū)域，按照色差域的中值濾波進(jìn)行更新，即

G7=R7+med7(G-R)3×3，

(16)

式中med7( )3×3表示3×3窗口中值濾波后位置7處的值；G-R表示綠光波段和紅光波段相減得到的色差影像。

綠光波段更新后，可以利用新的綠色空間進(jìn)一步獲得更為準(zhǔn)確的新色差影像B-G和R-G。對(duì)藍(lán)光波段插值時(shí)，需計(jì)算圖3中的G3，G6和R7這3個(gè)位置的像素值。針對(duì)藍(lán)光波段的G3位置插值可得

B3=G3+med7(B-G)3×3。

(17)

B6同理于B3。對(duì)藍(lán)光波段的R7位置插值時(shí)，首先利用求得的B3和B6更新藍(lán)綠色差影像，然后利用新的色差影像的鄰域相關(guān)性進(jìn)行方向插值。色差影像的水平梯度δHBG為

δHBG=B6-G6-B8+G8。

(18)

垂直梯度δVBG為

δVBG=B3-G3-B11+G11。

(19)

于是，B7為

(20)

紅色更新同理。

綜上，本文方法的具體流程如圖4所示。

圖4 方法流程

首先，通過濾波的方法提取Bayer影像的亮度、色度信號(hào)，利用Bayer模型式(8)得到插值重建的初始結(jié)果； 然后，在綠色空間中，融合3種梯度進(jìn)行平滑區(qū)域判斷，并利用色差域的中值濾波和導(dǎo)向插值分別進(jìn)行高、低頻區(qū)域的精化處理； 最后，在更新后的紅綠和藍(lán)綠色差空間中，再利用色差域的中值濾波和導(dǎo)向插值更新插值結(jié)果，得到全彩色影像。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文所提出的Bayer影像插值重建新方法，分別選取吉林一號(hào)視頻衛(wèi)星01星和03星共4組視頻的部分幀進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中低頻區(qū)域判斷閾值T1和T2的取值為經(jīng)驗(yàn)值，一般取值10～15之間。視頻01星和03星的載荷參數(shù)對(duì)比如表1所示。

表1 吉林一號(hào)視頻衛(wèi)星01星和03星參數(shù)對(duì)比

對(duì)Bayer影像插值重建后得到的全彩色影像如圖5所示，其中圖5(a)和(b)為01星視頻影像，影像大小為2 k×1.5 k； 圖5(c)和(d)為03星視頻影像，影像大小為4 k×3 k。

從視頻中分別截取了8個(gè)感興趣區(qū)域，如圖6所示，其中(a)—(d)為01星影像，(e)—(h)為03星影像。地物信息和類別豐富，包含了紋理密集和低頻平滑區(qū)域，在這些區(qū)域進(jìn)行Bayer插值重建時(shí)容易產(chǎn)生誤差。其中圖6(a)為農(nóng)田，包含了低頻區(qū)域和細(xì)條帶邊緣區(qū)域； 圖6(b)的林地和圖6(h)的房屋(小面積建筑群)，主要包含了邊緣密集區(qū)域和周邊小面積低頻區(qū)域； 圖6(c)和圖6(f)主要面向小面積目標(biāo)(機(jī)動(dòng)車)的重建； 圖6(d)的街道和圖6(e)屋頂主要包含了細(xì)條帶高頻邊緣和周邊的平滑區(qū)域； 圖6(g)為水體邊緣，包含了大范圍低頻區(qū)域和低頻邊緣的過渡。

(a) 01星農(nóng)田 (b) 01星林地 (c) 01星機(jī)動(dòng)車 (d) 01星街道

(e) 03星屋頂 (f) 03星機(jī)動(dòng)車(g) 03星水體邊緣 (h) 03星房屋

2.2 對(duì)比實(shí)驗(yàn)與分析

2.2.1 定性分析

因人眼對(duì)誤差的敏感度較高，尤其對(duì)于紋理豐富、邊緣拉鏈或低頻區(qū)域中的噪聲點(diǎn)等區(qū)域。因此，在圖6各區(qū)域中分別截取了8個(gè)感興趣區(qū)域(紅框范圍)，通過視覺觀察重建結(jié)果的細(xì)節(jié)，對(duì)插值方法作主觀視覺評(píng)價(jià)，如表2所示。通過觀察插值細(xì)節(jié)可以得出，TSD方法結(jié)果影像的整體質(zhì)量較好，地物邊緣一般較清晰，尤其是小面積地物類型，如表2 b林地中的樹木、c和f中的機(jī)動(dòng)車(小目標(biāo))、以及h中的房屋。但某些“長(zhǎng)條帶”的高頻邊緣區(qū)域顯得不夠清晰，如a中農(nóng)田的地塊邊界和耕地壟溝、d和f中道路邊界以及e中的長(zhǎng)條狀屋頂邊緣。同時(shí)，TSD方法又存在較明顯的拉鏈和顆?，F(xiàn)象，尤其是邊緣附近的低頻區(qū)域，比如d，f和h中紅、藍(lán)房屋頂區(qū)域內(nèi)部的白色拉鏈現(xiàn)象較突出。產(chǎn)生該結(jié)果的主要原因是TSD方法邊緣梯度及其方向的判斷在一些邊緣區(qū)域不夠準(zhǔn)確，在線性插值時(shí)誤將灰度跳變的方向當(dāng)作邊緣方向，同時(shí)在利用其他波段插值時(shí)，處在邊緣的點(diǎn)和噪聲對(duì)低頻區(qū)域產(chǎn)生了一定影響。而g中的河道邊緣由于較平滑，并沒有明顯的模糊表現(xiàn)。LSLCD方法結(jié)果中，整體的邊緣銳利效果優(yōu)于TSD方法，地物輪廓更加清晰明顯，可區(qū)分度和可識(shí)別度較高。但在高頻邊緣容易出現(xiàn)插值誤差，比如e中的長(zhǎng)條狀屋頂邊緣，與鄰域灰度相比跳變較大，偽彩色的現(xiàn)象嚴(yán)重。此外，LSLCD方法處理結(jié)果的噪點(diǎn)現(xiàn)象整體較明顯。產(chǎn)生該結(jié)果的主要原因是通過標(biāo)準(zhǔn)影像集樣本訓(xùn)練得出的濾波器不能完全適合所有情況，尤其是細(xì)條帶邊緣區(qū)域及附近的平滑區(qū)域頻譜混淆嚴(yán)重，使得重建色度信號(hào)有所丟失。本文提出的方法與上述2種經(jīng)典方法相比較，在視覺效果上具有較明顯的提升，能夠有效消除大量的拉鏈、顆粒和噪點(diǎn)現(xiàn)象，同時(shí)又能保持邊緣的銳利。如a和b中農(nóng)田和林地的邊緣清晰銳利，同時(shí)減少了平滑區(qū)域噪點(diǎn)現(xiàn)象； c和f中機(jī)動(dòng)車輪廓完整明顯，可識(shí)別度和對(duì)比度較高； 道路清晰，尤其是f中道路邊緣附近拉鏈現(xiàn)象較少； d，e和h中建筑物邊緣清晰、附近平滑區(qū)域幾乎無顆?，F(xiàn)象，顏色飽滿均勻； d中細(xì)條帶道路邊緣和e中細(xì)條帶邊緣偽彩色和附近拉鏈現(xiàn)象明顯減弱，邊緣銳化提升顯著； g中水體邊緣的區(qū)域噪聲降低明顯，整體更加平滑自然。此外，在實(shí)驗(yàn)結(jié)果中，空間分辨率小于1 m的視頻影像Bayer插值重建效果整體優(yōu)于空間分辨率為1.1 m的視頻影像。

表2 不同方法重建細(xì)節(jié)對(duì)比

2.2.2 定量分析

由于衛(wèi)星視頻的Bayer影像難以獲取地面真值影像作為參考，本文采用了一種無參考的影像質(zhì)量定量評(píng)價(jià)方法[19]。模糊和噪聲是影像質(zhì)量退化的最重要因子，通過計(jì)算影像的模糊比和噪聲比能夠?qū)崿F(xiàn)影像的質(zhì)量評(píng)價(jià)，同時(shí)與主觀差異平均判定(difference mean opinion score，DMOS)高度相關(guān)[20]。模糊比Blurratio和噪聲比Noiseratio可分別表示為

(21)

(22)

式中：Blurcnt和Noisecnt分別表示模糊點(diǎn)和噪聲點(diǎn)的總數(shù)；Edgeent表示邊緣點(diǎn)的總數(shù)；M和N分別表示影像的行列數(shù)。模糊點(diǎn)、噪聲點(diǎn)和邊緣點(diǎn)的計(jì)算可參見文獻(xiàn)[19]，這里不再贅述。

選擇圖6中4幅Bayer插值重建結(jié)果影像進(jìn)行無參考質(zhì)量評(píng)價(jià)，將本文方法與經(jīng)典TSD和LSLCD方法的評(píng)價(jià)結(jié)果對(duì)比如表3所示。

表3 Bayer插值重建的模糊比和噪聲比對(duì)比

模糊比和噪聲比越低，表示圖像質(zhì)量越好。從表3可知，在模糊比方面，01星農(nóng)田的TSD方法數(shù)值最低，本文方法的結(jié)果略高，但整體相當(dāng)； 而在其他影像結(jié)果來看，本文方法的數(shù)值最低。主要得益于高頻的修正和低頻判斷后的導(dǎo)向插值精處理，擁有最好的模糊比表現(xiàn)。而LSLCD方法在邊緣附近的低頻區(qū)域的訓(xùn)練擬合不佳，影響了邊緣插值精度。在噪聲比方面，3種方法各有優(yōu)勢(shì)，綜合來看TSD方法結(jié)果最優(yōu)，但優(yōu)勢(shì)不夠顯著，三者相差無幾?？傮w而言，本文方法在噪聲水平相當(dāng)?shù)那疤嵯拢：缺憩F(xiàn)最佳，有效保證了影像邊緣的清晰程度，綜合表現(xiàn)最好。

3 結(jié)論

本研究基于經(jīng)典三步優(yōu)化和多路信號(hào)濾波法，利用Bayer影像的亮度和色度信號(hào)重建全彩色影像初值，進(jìn)而結(jié)合色差域中值濾波、導(dǎo)向插值等方法進(jìn)行更新優(yōu)化處理，解決Bayer插值重建局部低頻區(qū)域效果不佳的問題。提出的方法可應(yīng)用于視頻衛(wèi)星輻射預(yù)處理中的彩色重建環(huán)節(jié)。得出以下結(jié)論：

1)衛(wèi)星視頻低頻區(qū)域占比大，地物間對(duì)比度較低，基于波段間的導(dǎo)向Bayer插值方法在邊緣附近的低頻區(qū)域容易產(chǎn)生噪點(diǎn)、拉鏈現(xiàn)象。

2)面向高清衛(wèi)星視頻影像的Bayer插值重建時(shí)，本文方法能有效提升影像整體質(zhì)量?？臻g分辨率越高，插值重建效果越好。

3)本文方法中利用梯度進(jìn)行低頻區(qū)域判斷并進(jìn)行相應(yīng)處理的思路，能夠在保持邊緣清晰的基礎(chǔ)上，有效抑制拉鏈、偽彩色和顆粒噪聲等現(xiàn)象，質(zhì)量提升顯著。