立體視頻顏色校正算法

白海亮，呂朝輝，蘇志斌

(中國(guó)傳媒大學(xué)信息工程學(xué)院，北京100024)

1 引言

在進(jìn)行立體視頻采集時(shí)，各個(gè)視點(diǎn)的攝像機(jī)經(jīng)常會(huì)出現(xiàn)局部或者整體的顏色差異。攝像機(jī)參數(shù)設(shè)置、CCD或CMOS感光器件的噪音、相機(jī)快門速度和曝光時(shí)間抖動(dòng)也都會(huì)導(dǎo)致所得到各個(gè)視點(diǎn)視頻的顏色產(chǎn)生差異。這些差異可能會(huì)影響到觀看效果，并導(dǎo)致場(chǎng)景深度信息恢復(fù)的錯(cuò)誤，從而影響到立體視頻的進(jìn)一步處理。當(dāng)人們直接觀看這樣的立體視頻或立體圖像時(shí)，大腦在自動(dòng)拼接這些圖像時(shí)就會(huì)產(chǎn)生不舒適感。所以，必須對(duì)立體視頻進(jìn)行顏色校正。

目前存在大量的顏色校正算法，但大多數(shù)是針對(duì)單目圖像的顏色校正，也存在一些算法可以應(yīng)用于立體視頻圖像顏色校正的，文獻(xiàn)［1］對(duì)這些目前存在的顏色校正算法進(jìn)行總結(jié)和分類，并對(duì)各類算法的局限性進(jìn)行評(píng)價(jià)。其中文獻(xiàn)［2］則使用一個(gè)已知形狀的顏色立方體，其對(duì)設(shè)備和環(huán)境依賴性過(guò)強(qiáng);文獻(xiàn)［3］則根據(jù)圖像直方圖分割結(jié)果對(duì)圖像分割區(qū)域;文獻(xiàn)［4］利用卡曼濾波器來(lái)滿足顏色參數(shù)從而追蹤出主域顏色并進(jìn)行校正;文獻(xiàn)［5］利用SIFT特征點(diǎn)提取算法分別提取各個(gè)圖像中的SIFT特征點(diǎn)，并用OF-SIFT特征點(diǎn)匹配算法進(jìn)行配對(duì)，并采用Mean-Shift算法進(jìn)行顏色分割。

綜合考慮算法的效率性、結(jié)果的準(zhǔn)確性和實(shí)現(xiàn)的難易以及方法的可操作性和可推廣性，本文提出了一種利用SURF算法進(jìn)行特征點(diǎn)提取，并構(gòu)建匹配點(diǎn)間映射關(guān)系的方法來(lái)實(shí)現(xiàn)圖像顏色校正。

2 SURF算法原理

BAY等人提出了SURF(Speeded Up Robust Features)算法［6］。該算法采用了類似SIFT算法的思想，使用快速Hessian矩陣檢測(cè)出特征點(diǎn)，并通過(guò)積分圖像減少SURF算法的計(jì)算時(shí)間，提高算法效率。它的原理主要有以下四個(gè)步驟:

2.1 構(gòu)建Hessian矩陣

Hessian矩陣是SURF算法的核心，通過(guò)特定核間的卷積計(jì)算二階偏導(dǎo)數(shù)，這樣便能計(jì)算出H矩陣的三個(gè)矩陣元素Lxx、Lxy、Lyy，從而計(jì)算出H矩陣:

高斯函數(shù)是處理尺度空間的好方法，但是在實(shí)際過(guò)程中，它需要進(jìn)行離散化和裁剪(如圖1)。利用方框?yàn)V波 (boxfilters)近似高斯二階偏導(dǎo)。方框?yàn)V波(boxfilters)可以通過(guò)積分圖像快速的計(jì)算得到，計(jì)算量與與模板大小無(wú)關(guān)，從而提高了算法的計(jì)算效率。

圖1 方框?yàn)V波(boxfilters)對(duì)高斯二階偏導(dǎo)的近似

如上圖所示，用的一個(gè)9×9的方框?yàn)V波(box)模板近似最低尺度σ=1.2的高斯二階偏導(dǎo)數(shù)。Dxx，Dxy，Dyy為方框(box)濾波同圖像卷積后的值，用于分別代替Lxx，Lxy，Lyy。為了計(jì)算簡(jiǎn)單高效和平衡在Hessian行列式中的相關(guān)權(quán)值，直接把應(yīng)用到矩形區(qū)域中的權(quán)值設(shè)置0.9。這樣就得到如下表達(dá)式:

按照上式所示的近似Hessian矩陣的計(jì)算方法，記錄下在σ尺度下的圖像中的每一點(diǎn)響應(yīng)。

2.2 構(gòu)建尺度空間

要實(shí)現(xiàn)特征點(diǎn)的尺度不變性，必須在不同尺度下該特征點(diǎn)的物理位置一樣。尺度空間通常由圖像金字塔來(lái)實(shí)現(xiàn)的，通過(guò)圖像與不同尺度下的高斯函數(shù)卷積，并對(duì)初始圖像做采樣處理，得到更高階的圖像金字塔。Lowe提出的SIFT特征就是通過(guò)對(duì)圖像金字塔相鄰層求差，從而得到DoG空間，然后在該空間下求局部極值點(diǎn)來(lái)定位特征點(diǎn)［7］。SURF使用的方法不同，它通過(guò)不同尺度下的濾波模板來(lái)對(duì)原始圖像處理，原始圖像保持不變。如圖2所示。

圖2 尺度空間的構(gòu)建(左:SIFT右:SURF)

2.3 精確定位特征點(diǎn)

所有小于預(yù)設(shè)極值的取值都被丟棄，增加極值使檢測(cè)到的特征點(diǎn)數(shù)量減少，最終只有幾個(gè)特征最強(qiáng)點(diǎn)會(huì)被檢測(cè)出來(lái)。檢測(cè)過(guò)程中使用與該尺度層圖像解析度相對(duì)應(yīng)大小的濾波器進(jìn)行檢測(cè)，以3×3的濾波器為例，該尺度層圖像中9個(gè)像素點(diǎn)之一，圖3檢測(cè)特征點(diǎn)與自身尺度層中其余8個(gè)點(diǎn)和在其之上及之下的兩個(gè)尺度層9個(gè)點(diǎn)進(jìn)行比較，共26個(gè)點(diǎn)，圖3中標(biāo)記‘x’的像素點(diǎn)的特征值若大于周圍像素則可確定該點(diǎn)為該區(qū)域的特征點(diǎn)。

2.4 特征點(diǎn)匹配

圖像經(jīng)過(guò)特征點(diǎn)檢測(cè)提取后，每個(gè)特征點(diǎn)可以用一個(gè)64維的向量表示，對(duì)于一幅圖像中的每一個(gè)特征點(diǎn)，本文采用最大近鄰向量匹配方法進(jìn)行特征點(diǎn)匹配，設(shè)S1、S2分別為兩幅圖像I1、I2通過(guò)SURF方法提取的特征點(diǎn)集合。對(duì)S1中的每一個(gè)特征點(diǎn)p1i計(jì)算S2中各個(gè)特征點(diǎn)的歐氏距離，得到最小及次小距離值分別為d1、d2，對(duì)應(yīng)S2中的特征點(diǎn)分別為q1i、q2i。若d1≤ad2(a為最小距離與次小距離的比值，本文取a=0.65)則認(rèn)為p1i與q1i匹配，否則丟棄該點(diǎn)，p1i在S2中無(wú)匹配點(diǎn)。

圖3 3×3的鄰域

3 實(shí)現(xiàn)方案

本文采用的顏色校正方法一種基于SURF圖像特征點(diǎn)匹配提取和構(gòu)造映射關(guān)系的顏色校正方法。其算法要求首先利用SURF特征匹配提取法分別提取待校正視點(diǎn)圖像和參考圖像間的特征點(diǎn)，并找到其中匹配特征點(diǎn)對(duì)。當(dāng)兩幅圖像存在顏色差異時(shí)，這些匹配點(diǎn)對(duì)也會(huì)產(chǎn)生相關(guān)的顏色差異，從這些點(diǎn)對(duì)能夠反映出目標(biāo)圖像與源圖像的對(duì)應(yīng)顏色關(guān)系。最后，利用已經(jīng)構(gòu)造好的映射關(guān)系，將待校正圖像作為輸入，輸出則是校正后的圖像，就完成校正過(guò)程。

首先，對(duì)所要處理的圖像進(jìn)行顏色轉(zhuǎn)換。一般地，攝像機(jī)采集的視頻圖像可以以多種顏色空間格式進(jìn)行保存，比較常見(jiàn)的包括RGB空間、YUV空間和 HIS(色調(diào)、飽和度、亮度)［8］，考慮到后續(xù) SURF特征點(diǎn)提取和映射關(guān)系的建立都需要用到灰度圖像，而RGB是現(xiàn)有的圖像設(shè)備最初采集到的顏色信息和最終顏色顯示所用的顏色空間，因此直接選擇RGB顏色空間進(jìn)行處理。

然后利用SURF特征提取算法分別對(duì)待校正圖像和參考圖像分別進(jìn)行特征點(diǎn)提取，并計(jì)算匹配點(diǎn)對(duì)。SURF特征提取算法有很強(qiáng)的健壯性，對(duì)于圖像的旋轉(zhuǎn)、平移、亮度變化和一定程序的幾何形變和噪聲都有一定的穩(wěn)定性，因此在每幅圖像中一般都能提出上千個(gè)特征點(diǎn)，經(jīng)過(guò)匹配，一般都能找到數(shù)百個(gè)匹配點(diǎn)對(duì)［9］。

圖像的亮度和色度差異可歸為兩類:乘性差異和加性差異［10］;加性差異表示像素亮色度值的線性變換，如灰度級(jí)偏移等，主要由相機(jī)元件的暗電流產(chǎn)生;乘性差異受相機(jī)元件的感光靈敏度、放大和量化因子、以及鏡頭的透射系數(shù)變化所影響;因此可得出立體視頻左右視點(diǎn)圖像的亮度和顏色對(duì)應(yīng)關(guān)系:

式中:f(x，y)為當(dāng)前圖像在位置(x，y)的像素某一顏色分量值，a、b分別為乘性因子和加性因子，Δx、Δy為左右視點(diǎn)對(duì)應(yīng)像素存在位置上的差異，x、y設(shè)為左視點(diǎn)圖像中對(duì)應(yīng)點(diǎn)的數(shù)值。為求a、b值將公式變換為尋求當(dāng)前圖像與待校正的圖像的差的平方的最小值，當(dāng)取得最小值時(shí)的a、b值即為模型的參數(shù)值。接下來(lái)，把所有像素點(diǎn)都通過(guò)此公式進(jìn)行校正，就可以完成圖像校正。

直方圖是立體視頻顏色校正的所有方法中廣泛應(yīng)用并簡(jiǎn)便易行的一種辦法。文獻(xiàn)［11］通過(guò)計(jì)算待校正圖像和參考圖像的亮度(Y)直方圖，利用當(dāng)前圖像和參考圖像亮度直方圖，尋求校正后的參考圖像亮度直方圖與當(dāng)前圖像亮度直方圖的差值的最小值，當(dāng)采用全搜索方法取得最小值時(shí)，此時(shí)的a，b值為最佳匹配值，即線性校正模型的參數(shù)值。其色度分量(U、V分量)的校正方法與亮度分量(Y分量)的相同。如此，便可對(duì)圖像進(jìn)行校正。

4 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)選擇MATLAB作為實(shí)現(xiàn)工具，應(yīng)用上面的兩種算法分別進(jìn)行實(shí)驗(yàn)。

應(yīng)用320 ×240的標(biāo)準(zhǔn)視頻“Race1”和“Flamenco2”?！癛ace1”和“Flamenco2”都由 KDDI公司提供，文件格式都為4:2:0的YUV格式，視點(diǎn)編號(hào)都從0開(kāi)始，不同的是“Race1”有8個(gè)視點(diǎn)，“Flamenco2”有5個(gè)視點(diǎn)。實(shí)驗(yàn)所采用的標(biāo)準(zhǔn)立體視頻的各個(gè)視點(diǎn)已經(jīng)存在顏色偏差，不需要對(duì)圖像進(jìn)行加擾。在本次實(shí)驗(yàn)中，我們?cè)凇癛acel”中選擇視點(diǎn)3作為參考視點(diǎn)，在“Flamenco2”中選擇視點(diǎn)2作為參考視點(diǎn)。

當(dāng)待校正圖像與參考圖像進(jìn)行SURF變換后，就可以得到了相應(yīng)的特征點(diǎn)。尋找匹配點(diǎn)對(duì)，并對(duì)特征點(diǎn)進(jìn)行預(yù)處理，來(lái)排除誤匹配，這反映了SURF特征匹配的穩(wěn)健高效。

對(duì)于320 ×240的圖像，R，G，B三個(gè)通道各找到230，256，256 個(gè)匹配點(diǎn)。

這些匹配點(diǎn)具體位置如下圖:

其中，(a)、(b)兩幅圖片為R通道的匹配結(jié)果，(c)、(d)兩幅圖片為G通道的匹配結(jié)果，(e)、(f)兩幅圖片為B通道的匹配結(jié)果?？梢钥闯觯琒URF算法匹配特征點(diǎn)的準(zhǔn)確行和高效性。

分別可得到這些匹配點(diǎn)的坐標(biāo)和各通道顏色值。接下來(lái)，利用公式:

即可對(duì)圖像進(jìn)行校正，校正結(jié)果如下圖:

其中，(a)為原始圖像(視點(diǎn)0，第100幀)，(b)為參考圖像(視點(diǎn)3，第100幀)，(c)為直方圖校正后的圖像，(d)為SURF算法校正后的圖像，可以看出，SURF校正的結(jié)果還是比較明顯的。校正前的圖像顏色偏亮，對(duì)比度較低，而經(jīng)過(guò)校正后，圖像的對(duì)比度明顯增強(qiáng)，亮度也與參考圖像漸漸趨近一致。

為了使結(jié)果更具說(shuō)服力，本文又采用了MPEG三維音視頻專家組(3DAV)建議的立體視頻的Soccer序列，來(lái)進(jìn)一步驗(yàn)證顏色校正算法的性能。本文采用多視點(diǎn)序列中靠近中間視點(diǎn)位置的兩路視頻，選擇其中一路視頻序列作為參考視點(diǎn)(左視點(diǎn))，以另外一路編碼視頻序列(右視點(diǎn))的顏色信息為基準(zhǔn)對(duì)參考圖像進(jìn)行顏色校正，以提高編碼視頻序列的編碼性能。

具體校正結(jié)果如下圖:

其中，圖(a)為待校正圖像，圖(b)為參考圖像，圖(c)為直方圖校正結(jié)果，圖(d)為基于SURF的校正結(jié)果。

5 小結(jié)

從上述實(shí)驗(yàn)結(jié)果表明，本文提出的基于SURF的顏色校正方法很好地解決了立體圖像對(duì)間顏色差異的問(wèn)題，特征點(diǎn)匹配效果明顯，而且速度快，校正結(jié)果比直方圖校正更接近原圖像。因此，基于SURF的顏色校正算法可以有效并準(zhǔn)確地實(shí)現(xiàn)立體視頻顏色校正。

［1］Xu W，Mulligan J.Performance Evaluation of Color Correction Approaches for Automatic Multi-view Image and Video Stitching［J］.CVPR，10，2010，263–270.

［2］Unal G，Yezzi A，Soatto S，Slabaugh G.A variational approach to problems in calibration of multiple cameras［J］.Pattern Analysis and Machine Intelligence，29(8):1322-1338.

［3］Yi Liu，Yongfang Wang，Zhaoyang Zhang.Color Correction Method Based on Histogram Segmentation for Multiview Video［J］.Wireless Mobile and Computing(CCWMC)2009:539-542.

［4］Feng Shao，Gangyi Jiang，Mei Yu.Dominant Color Tracking Based ColorCorrection for Multi-view Video Using Kalman Filter［J］.Computational Intelligence and Software Engineering(CISE)2009:1-4.

［5］王琦.基于立體視覺(jué)的邊界提取研究［D］.中國(guó)科學(xué)技術(shù)大學(xué)，2010，中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù).

［6］BAY H，TUVTELLARS T，GOOL L Van.SURF:speeded up robust features［C］.Proceedings of the European Conference on Computer Vision，2006，404-417.

［7］AYERSB，BOUTELL M.Home interior classification using sift keypoint histograms ［J］.IEEE，2007，1-6.

［8］劉頤，王永芳，張兆楊.不同顏色空間多視點(diǎn)視頻顏色校正的性能分析［J］.電視技術(shù)，2009(11).

［9］Bay H.SURF:Speeded Up Robust Features［J］.Computer Vision and Image Understanding，San Diego:Academic Press Inc Elsevier Science，2008，110(3):346-359.

［10］姜浩，張蕾.一種基于直方圖匹配的立體視頻顏色校正算法［J］.信息通信技術(shù)，2009(5).

［11］常志華，王子立.一種基于直方圖匹配的顏色校正方法［J］.科技資訊，2007(13).