一種基于基元匹配的立體圖像修復(fù)算法

饒 屾，楊志平

（浙江交通職業(yè)技術(shù)學(xué)院，浙江 杭州 311112）

數(shù)字圖像修復(fù)技術(shù)，即通過(guò)計(jì)算機(jī)技術(shù)，對(duì)缺損圖像進(jìn)行修復(fù)，使得觀察者通過(guò)肉眼察覺不出圖像曾被修改過(guò)的一種數(shù)字圖像處理技術(shù)。數(shù)字圖像修復(fù)，在影視后期制作、文物保護(hù)及特殊目標(biāo)移除等眾多領(lǐng)域有著廣泛的應(yīng)用前景。國(guó)內(nèi)外學(xué)者針對(duì)圖像修復(fù)技術(shù)進(jìn)行了深入的研究，也取得了眾多的科研成果[1~4]。近年來(lái)，隨著立體顯示設(shè)備的發(fā)展與普及，針對(duì)立體圖像進(jìn)行修復(fù)也成為數(shù)字圖像修復(fù)領(lǐng)域的研究熱點(diǎn)。立體圖像是由左右兩幅視圖組成的一組數(shù)字圖像，其左視圖只能被左眼看見，右視圖只能被右眼看見，由于左右視圖存在微小的差別，使得左右眼產(chǎn)生視差，從而形成立體感，如圖1所示。立體圖像雖然是由兩幅二維視圖組成的一組圖像，但是由于左右視圖的內(nèi)容之間具有約束關(guān)系，因此，對(duì)立體圖像進(jìn)行修復(fù)，不但需要對(duì)圖像內(nèi)容進(jìn)行修復(fù)，還需要盡量保持左右視圖中像素間的約束關(guān)系。因此，直接采用二維圖像修復(fù)方法對(duì)三維立體圖像進(jìn)行修復(fù)，難以保存修復(fù)后左右視圖的視差信息，進(jìn)而影響圖像的立體效果。

圖1 立體圖像的左右視圖

為了實(shí)現(xiàn)立體圖像的修復(fù)，國(guó)內(nèi)外學(xué)者進(jìn)行了廣泛的研究，也取得了一定的研究成果。如Thangamani等采用基于樣本塊修復(fù)與基于邊緣修復(fù)相結(jié)合的方法，對(duì)三維圖像進(jìn)行修復(fù)，取得了較好的修復(fù)效果[5]；HuanyuWang采用三維圖像修復(fù)方法清除移動(dòng)視頻上的噪聲，也取得了不錯(cuò)的效果[6]；Kostler等在PDE算法的基礎(chǔ)上，對(duì)光流信息等非線性和各向異性擴(kuò)散信息建立模型，用于對(duì)缺損圖像進(jìn)行修復(fù)，實(shí)驗(yàn)證明，該算法能夠改善PDE修復(fù)圖像所導(dǎo)致的輪廓模糊的問(wèn)題，并能應(yīng)用到三維圖像的修復(fù)當(dāng)中[7]；王龍?zhí)斓忍岢霾捎渺o電修復(fù)場(chǎng)模型對(duì)三維模型進(jìn)行修復(fù)，能夠較好的修復(fù)三維模型中的缺損部分[8]；張倩等將預(yù)處理深度圖像和圖像修復(fù)算法相結(jié)合來(lái)填補(bǔ)三維圖像映射后的空洞，也取得了不錯(cuò)的效果[9]。雖然當(dāng)前針對(duì)立體圖像修復(fù)研究取得了不少的成果，但大多數(shù)研究是針對(duì)三維立體模型進(jìn)行空洞修復(fù)，而不是針對(duì)三維數(shù)字圖像進(jìn)行修復(fù)。此外，當(dāng)前對(duì)三維立體圖像修復(fù)的研究也大多是通過(guò)擴(kuò)展二維圖像修復(fù)算法來(lái)對(duì)三維圖像進(jìn)行修復(fù)，往往只考慮到修復(fù)立體圖像的內(nèi)容，而對(duì)圖像深度信息的修復(fù)考慮較少。事實(shí)上，三維立體圖像與二維數(shù)字圖像的最重要區(qū)別主要就體現(xiàn)在深度信息上。因此，對(duì)三維立體圖像進(jìn)行修復(fù)，不但要考慮對(duì)圖像內(nèi)容進(jìn)行修復(fù)，還要考慮對(duì)圖像的深度信息進(jìn)行修復(fù)。

本文通過(guò)對(duì)左右視圖進(jìn)行基元匹配，對(duì)缺損視圖進(jìn)行修復(fù)，在對(duì)圖像內(nèi)容進(jìn)行修復(fù)的同時(shí)，也保留了圖像是三維景深信息，取得了較好的修復(fù)效果。

1 三維立體成像原理

二維世界中的點(diǎn)可以用（x，y）來(lái)表示，而三維世界中的點(diǎn)需要用（x，y，z）來(lái)表示，這個(gè) z就是物體的景深。人類之所以能夠感知外界環(huán)境的三維信息，是由于左、右眼能夠同時(shí)獲取外界環(huán)境的兩幅圖像，然后通過(guò)這兩幅圖像的不同視差來(lái)獲得物體的景深信息，如圖2所示為雙目立體成像系統(tǒng)的原理圖。

圖2 雙目立體成像系統(tǒng)的原理圖

從圖2可以看出，空間中點(diǎn)P在左、右視圖（成像平面）中的成像點(diǎn)是點(diǎn)P1和點(diǎn)P2(由極線幾何約束可知，y1=y2，兩攝像機(jī)之間的距離為b，攝像機(jī)到成像平面的焦距為f，則根據(jù)三角形法則可以算出，空間點(diǎn)P在左視圖坐標(biāo)系中的坐標(biāo)為：

其中，

b為兩攝像機(jī)中心軸之間的距離；

f為攝像機(jī)到成像平面之間的距離（焦距）；

d=x1-x2，為空間點(diǎn)P在左右視圖上的視差。

2 立體圖像修復(fù)算法

2.1 像素深度平滑

對(duì)立體圖像進(jìn)行修復(fù)，不但需要修復(fù)左右視圖的缺損內(nèi)容，而且還需要使得修復(fù)后的立體圖像的深度信息不會(huì)劇烈變化，以免引起觀察者的察覺。因此，在修復(fù)過(guò)程中，本文借鑒中值濾波器的濾波思想，對(duì)圖像缺損區(qū)域的深度信息進(jìn)行平滑，如圖3所示，假設(shè)整副圖像為I，右斜線區(qū)域?yàn)槿睋p區(qū)域Φ，左斜線（含黑色區(qū)域）為完整區(qū)域Ω（Ω=I-Φ）,黑色區(qū)域?yàn)檫吘墔^(qū)域。其深度平滑步驟如下：

（1）選擇矩陣濾波器的尺寸n，本文取n=9，即9×9的矩陣濾波器，如圖3中的灰色框所示；

（2）對(duì)視圖缺損區(qū)域從上到下，從左到右進(jìn)行掃描，得到缺損區(qū)域邊緣中的一點(diǎn)p；

（3）以點(diǎn)p作為濾波器的中心點(diǎn)，計(jì)算濾波器矩陣中每個(gè)像素的深度di，并計(jì)算出平均深度，其中缺損區(qū)域的像素深度為0；

（4）將矩陣濾波器中包含的缺損區(qū)域的像素的深度值全部取。

圖3 深度平滑示意圖

2.2 基元匹配算法

由上述分析可知，為了獲得缺損區(qū)域中像素的深度，首先需要計(jì)算出完整區(qū)域Ω中的像素深度，其計(jì)算方法有基于特征的基元匹配算法、基于相位的基元匹配算法和區(qū)域立體匹配算法等。為了計(jì)算方便，本文采用基于顏色特征的基元匹配算法。本文假設(shè)當(dāng)前立體圖像中左視圖為完整圖像，右視圖的內(nèi)容有部分缺損，在應(yīng)用2.1節(jié)算法計(jì)算缺損區(qū)域的像素深度時(shí)，設(shè)當(dāng)前需要計(jì)算深度的右視圖像素點(diǎn)的坐標(biāo)為，則其計(jì)算步驟如下：

（1）在左視圖中從左往右搜索第yl0行的所有像素（其中對(duì)每個(gè)像素點(diǎn)計(jì)算其八領(lǐng)域點(diǎn)和其本身與右視圖對(duì)應(yīng)像素點(diǎn)的差值之和，即

（2）找出所有像素點(diǎn)中diff的最小值min（diff），其對(duì)應(yīng)的像素點(diǎn)（，即是左視圖中與右視圖）對(duì)應(yīng)的像素點(diǎn)。

2.3 缺損區(qū)域修復(fù)

通過(guò)2.1和2.2節(jié)的分析，即可求出右視圖中缺損區(qū)域中每個(gè)像素點(diǎn)的深度信息，對(duì)缺損區(qū)域中的每個(gè)像素點(diǎn)（xr，yr），將其像素深度d及其在右視圖中的二維坐標(biāo)帶入公式（1），即可求得該像素點(diǎn)在左視圖中的對(duì)應(yīng)像素點(diǎn)坐標(biāo)（xl，yl）。將左視圖中該像素點(diǎn)的顏色值填充到右視圖中的對(duì)應(yīng)像素點(diǎn)（xr，yr），即完成對(duì)缺損區(qū)域中該像素點(diǎn)的修復(fù)。重復(fù)該過(guò)程，直到右視圖中所有缺損區(qū)域都修復(fù)完為止，即完成了立體圖像中缺損區(qū)域的修復(fù)。

3 實(shí)驗(yàn)結(jié)果及分析

立體圖像質(zhì)量的評(píng)價(jià)方法主要分為兩種：主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)法是記錄一部分觀察者（人）的觀察效果，通過(guò)統(tǒng)計(jì)分析得出立體圖像的評(píng)價(jià)分?jǐn)?shù)。但這種方法存在操作復(fù)雜，不確定性大的缺點(diǎn)；客觀評(píng)價(jià)法是通過(guò)建立一定的數(shù)學(xué)模型來(lái)對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)，從而達(dá)到主觀評(píng)價(jià)的效果?？陀^評(píng)價(jià)法具有速度快、確定性好、操作方便的優(yōu)點(diǎn)，因此得到了廣泛的應(yīng)用。

為了驗(yàn)證本文算法的有效性，本文采用PSNR立體圖像客觀評(píng)價(jià)法[10]，對(duì)修復(fù)后的立體圖像進(jìn)行評(píng)價(jià)，其評(píng)價(jià)的主要原理是：視差圖的質(zhì)量決定了立體圖像的質(zhì)量，將修復(fù)后圖像的視差圖與原始（未缺損）視差圖進(jìn)行對(duì)比，計(jì)算出PSNR值。PSNR值代表修復(fù)后圖像的失真度，PSNR值越大，則圖像失真度越小，表示圖像的立體效果越好。表1是本文實(shí)驗(yàn)采用的圖源，分別用本文算法與直接使用Criminisi算法對(duì)左右視圖進(jìn)行修復(fù)的修復(fù)結(jié)果進(jìn)行對(duì)比，其PSNR評(píng)價(jià)值如表2所示。

表1 實(shí)驗(yàn)圖例

表2 修復(fù)圖像的PNSR評(píng)價(jià)值

從表2可知，通過(guò)本文算法對(duì)三幅立體圖像進(jìn)行修復(fù)，其修復(fù)后的PNSR立體圖像評(píng)價(jià)值均大于直接采用Criminisi算法進(jìn)行修復(fù)的PNSR評(píng)價(jià)值，說(shuō)明本文算法修復(fù)后的立體圖像與源圖像更接近，更好的保留了原圖像的三維景深信息。

4 結(jié)束語(yǔ)

當(dāng)前針對(duì)立體圖像缺損的修復(fù)方法大多是直接采用二維圖像修復(fù)算法進(jìn)行擴(kuò)展，其修復(fù)效果往往沒有保留三維立體圖像的景深信息，導(dǎo)致修復(fù)效果不理想。本文首先采用基于顏色特征值的基元匹配算法獲取像素的景深信息，再借鑒濾波器原理求出右視圖缺損區(qū)域中每個(gè)像素點(diǎn)的深度信息，最后通過(guò)立體圖像成像公式求出缺損區(qū)域中每個(gè)像素點(diǎn)在左視圖中的對(duì)應(yīng)像素點(diǎn)，來(lái)完成立體圖像的修復(fù)。從修復(fù)實(shí)驗(yàn)及對(duì)比評(píng)價(jià)結(jié)果來(lái)看，本文算法在修復(fù)過(guò)程中兼顧了景深信息的修復(fù)，其修復(fù)效果更接近于原始視圖，達(dá)到了較好的三維修復(fù)效果。

[1]Chan TF,Shen JH.Non-texture inpainting by curvature-driven diffusions(CDD)[J].Journal of Visual Communication and Image Representation，2001，12(4):436-449.

[2]TaiX,Borok S,etal.Image denoising using TV-stokesequation with an orientation-matching minimization[A].International Conferenceon Scale Spaceand VariationalMethods in Computer Vision[C].Voss,Norway，2009:90-501.

[3]Criminisi A,Pérez P,et al.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing，2004，13(9):1200-1212.

[4]Martinez-Noriega R,Roumy A,etal.Exemplar-based image in painting:fast priority and coherent Nearest Neighbor search[C].2012 IEEE INTERNATIONAL WORKSHOP ON MACHINE LEARNING FOR SIGNAL PROCESSING,Santander,SPAIN,2012:1-6.

[5]Thangamani K,Ishikawa T,Makita K,etc.Hybrid inpainting algorithm with superpixels and hash table for inpainting the 3D model[C].System Integration(SII),2011 IEEE/SICE International Symposium on Kyoto，2011（12）:667-672.

[6]Huanyu Wang,Zhiming Tan.Detection and removal of adherent noises in video from amoving camera[C].Man,and Cybernetics(SMC),2012 IEEE International Conference on Seoul，2012（10）:2545-2550.

[7]Kostler H,Prummer M.Adaptive variational sinogram interpolation of sparsely sampled CT data[J].Pattern Recognition,2006.ICPR 2006.18th International Conference on Hong Kong.2006:778-781.

[8]王龍?zhí)?，汪增?三維場(chǎng)景中被遮擋邊界與錯(cuò)覺輪廓的感知修復(fù)[J].模式識(shí)別與人工智能，2006，19(02):137-142.

[9]張 倩，劉蘇醒，鞠 芹，等.采用圖像修復(fù)的基于深度圖像復(fù)制[J].光電子.激光，2009，20(10):1381-1384.

[10]楊嘉琛，侯春萍,沈麗麗.基于PSNR立體圖像質(zhì)量客觀評(píng)價(jià)方法[J].天津大學(xué)學(xué)報(bào)，2008，41(12):1448-1452.