改進(jìn)投影變換和保留結(jié)構(gòu)特征的拼接圖像修復(fù)算法

魏啟元+呂曉琪+谷宇

摘 要： 拼接圖像含有不規(guī)則的邊界，需通過裁剪圖像和補(bǔ)充像素獲得矩形圖像。直接裁剪的方式丟棄了圖像周圍的像素；基于樣本塊的圖像修復(fù)算法存在物體結(jié)構(gòu)上的不連續(xù)和不完整；利用馬爾科夫隨機(jī)場模型修補(bǔ)圖像的方法搜索范圍大，效率低。提出通過改進(jìn)投影變換實(shí)現(xiàn)拼接圖像的空間變換，減少拼接后圖像周圍的空缺區(qū)域面積，結(jié)合邊界保留的細(xì)縫段裁剪算法對拼接圖像進(jìn)行矩形化擴(kuò)充，實(shí)現(xiàn)拼接圖像周圍像素和內(nèi)部物體結(jié)構(gòu)信息的保留。實(shí)驗(yàn)結(jié)果表明，該方法實(shí)現(xiàn)了拼接圖像視角最大化，未引入視覺可見形變，有效實(shí)現(xiàn)了拼接圖像的矩形修復(fù)。

關(guān)鍵詞： 拼接圖像； 矩形化擴(kuò)充； 細(xì)縫段裁剪； 邊界保留； 圖像修補(bǔ)

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）23?0038?05

Abstract： The splicing image contains the irregular boundary， and its rectangular shape is acquired by means of image cutting and pixel supplementary. Since the direct cutting mode may discard the pixels around the image， the image completion algorithm based on sample block has the discontinuous and incomplete object structure， and the image completion method based on Markov random field model has broad search scope and low efficiency， a method of improving the projection transformation is proposed to realize the space transformation of the splicing image， so as to reduce the vacant areas around the spliced image， and combined the seam segment carving algorithm for boundary feature reservation to perform the rectangular expansion for the splicing image so as to realize the reservation of the pixels around the splicing image and object structure information inside the image. The experimental results show that the proposed method can realize the maximum visual angle of the splicing image， and rectangular completion of the splicing image without the visual visible deformation.

Keywords： splicing image； rectangular expansion； seam segment carving； edge preservation； image completion

0 引 言

圖像拼接是將兩幅或者多幅有重疊部分的圖像疊加成一幅大型的具有較寬視角的圖像，目前已廣泛應(yīng)用于機(jī)器視覺、醫(yī)學(xué)圖像處理、遙感數(shù)據(jù)分析等領(lǐng)域[1?2]。由于拍攝時(shí)刻、視點(diǎn)、設(shè)備的差異，浮動(dòng)圖像往往存在尺度變化[3]、透視形變、扭曲等差別。為了解決上述問題，文獻(xiàn)[4]提出采用Moving DLT（Direct Line Transform）方法消除重疊區(qū)域的鬼影問題，但是對非重疊區(qū)域進(jìn)行了過渡的拉伸。文獻(xiàn)[5]提出SPHP（Shape Preserving Half Projective）變換，將單應(yīng)性矩陣分為兩個(gè)部分，分別執(zhí)行投影變換和相似變換，最終實(shí)現(xiàn)拼接圖像最少的形變和拼接結(jié)果更大的視角。拼接后的圖像不可避免地會(huì)有不規(guī)則的邊界產(chǎn)生[6]，然而人們的生活經(jīng)驗(yàn)中，照片都是以矩形存在。文獻(xiàn)[7]提出細(xì)縫裁剪算法，通過能量映射函數(shù)確定視覺顯著的內(nèi)容，利用動(dòng)態(tài)規(guī)劃算法查找能量最小的像素線，通過不斷刪除或復(fù)制這些低能量線實(shí)現(xiàn)圖像縮放，但是只能應(yīng)用矩形圖像。文獻(xiàn)[8]提出基于細(xì)縫線段（Seam Segment Carving，SSC）的圖像裁剪算法，實(shí)現(xiàn)變換矩形圖像到指定形狀。文獻(xiàn)[9]對拼接結(jié)果采用基于網(wǎng)格彎曲的圖像形變算法，實(shí)現(xiàn)全景圖像的修復(fù)，獲得了較好的視覺效果。

影像修補(bǔ)（Image Completion）技術(shù)應(yīng)用于移除影像中部分內(nèi)容、修補(bǔ)照片中的瑕疵等，近些年也被應(yīng)用到拼接圖像處理中[10?11]。文獻(xiàn)[12]提出利用優(yōu)先權(quán)決定填補(bǔ)順序?qū)σ阎獏^(qū)域和待填補(bǔ)區(qū)域邊緣線上的點(diǎn)都計(jì)算其優(yōu)先權(quán)，共同決定填補(bǔ)的可信度和線性強(qiáng)度，但是在保留缺失區(qū)域結(jié)構(gòu)信息的同時(shí)，也易修補(bǔ)出多余的線性結(jié)構(gòu)。文獻(xiàn)[13]提出馬爾可夫隨機(jī)場模型修補(bǔ)影像的方法，利用節(jié)點(diǎn)間相互傳遞信息同時(shí)改變接收到信息節(jié)點(diǎn)候選區(qū)塊的可信度，迭代處理所有節(jié)點(diǎn)直到候選區(qū)塊達(dá)到穩(wěn)定為止，但是存在搜索范圍過大，效率過低。文獻(xiàn)[14]提出首先預(yù)測缺失區(qū)域在填補(bǔ)后的好壞程度，然后根據(jù)預(yù)測結(jié)果找到一個(gè)矩形，要求包含最多的已知區(qū)域和品質(zhì)較好的未知區(qū)域，之后通過影像填補(bǔ)的方法進(jìn)行填充，但是由于只是對矩形內(nèi)的部分完成修補(bǔ)，所以仍然會(huì)損失一部分已知區(qū)域。endprint

根據(jù)傳統(tǒng)投影變換、直接裁剪、樣本塊圖像修復(fù)的特點(diǎn)和不足，提出采用形狀保留半投影（SPHP）變換和細(xì)縫段裁剪算法（SSC）實(shí)現(xiàn)拼接圖像的矩形修復(fù)，提高浮動(dòng)圖像和參考圖像重疊區(qū)域的配準(zhǔn)精度，減少非重疊區(qū)域的扭曲形變和邊緣缺失像素面積；通過自定義邊界增強(qiáng)能量函數(shù)，能夠有效保護(hù)視覺敏感的邊緣和結(jié)構(gòu)信息，擴(kuò)充后的圖像具有更寬的視角和更好的視角效果。

1 拼接圖像空間變換

1.1 全局投影變換模型

1.2 幾何誤差修正

由于兩幅配準(zhǔn)圖像之間存在旋轉(zhuǎn)、比例和掃描誤差等因素，圖像會(huì)出現(xiàn)相對幾何形變，它降低了圖像的信噪比和各項(xiàng)性能指標(biāo)，甚至可能導(dǎo)致圖像拼接失敗。為了提高重疊區(qū)域配準(zhǔn)的準(zhǔn)確率，引入單應(yīng)性矩形幾何誤差，文獻(xiàn)[5]提出假設(shè)對圖像坐標(biāo)的擾動(dòng)為高斯噪聲，通過最小二乘法計(jì)算式（2）的幾何誤差，避免求解8次多項(xiàng)式的迭代過程陷入局部最優(yōu)。采用旋轉(zhuǎn)坐標(biāo)系統(tǒng)的方式，將坐標(biāo)[（x，y）]轉(zhuǎn)換到新的坐標(biāo)系下[（u，v）]，坐標(biāo)變換如下：

1.3 SPHP投影變換

2 拼接圖像矩形化擴(kuò)充

2.1 細(xì)縫段裁剪（Seam Segment Carving）算法

細(xì)縫段是一條由相互連接的像素組成的低能量通路，由相互連接的像素[s1，s2，…，sn]組成，采用如下方法記錄一條細(xì)縫段：[SX，n（st，ed）]。其中，[X]表示細(xì)縫段的方向，取值為L/R/T/B，分別表示垂直方向（左Left和右Right）和水平方向（上Top和下Buttom）的細(xì)縫段；[n]表示細(xì)縫段的大小，即包含了多少個(gè)像素；[（st，ed）]表示細(xì)縫段在行和列方向的開始位置和結(jié)束位置。

細(xì)縫段的提取，拼接圖像外圍黑色區(qū)域表示內(nèi)容缺失的像素，包含黑色區(qū)域的最小外接矩形稱之為目標(biāo)矩形。首先，在目標(biāo)矩形圖像的四周找到一條黑色像素點(diǎn)水平連續(xù)或垂直連續(xù)的最長像素段[SX，n（st，ed）]。然后以最長像素段和拼接圖像邊界構(gòu)造子圖像。最后由式（12）找到子圖像的最小能量細(xì)縫，向[X]表示的方向移動(dòng)細(xì)縫到黑色區(qū)域一個(gè)像素單位，緊鄰細(xì)縫的像素與周圍像素進(jìn)行二次插值。此時(shí)，之前找到的最長黑色像素段將被插入像素覆蓋，實(shí)現(xiàn)一次圖像擴(kuò)充。插入細(xì)縫的過程將重復(fù)進(jìn)行，直到圖像覆蓋全部矩形面積且沒有黑色區(qū)域。但是，未充分考慮人眼對規(guī)則形狀物體改變的視覺敏感。例如，當(dāng)細(xì)縫多次相鄰穿過圖像中的直線，那么將導(dǎo)致交叉點(diǎn)處出現(xiàn)明顯的扭曲，所以提出改進(jìn)的能量函數(shù)定義。

2.2 改進(jìn)能量函數(shù)的定義

式中：[e（I）]表示拼接圖像的梯度能量圖；[Eline]表示增強(qiáng)的直線段能量映射；[α]為平衡因子。采用Canny算子進(jìn)行邊界檢測，以大小為3的Gaussian模板進(jìn)行噪聲移除，[Tup=100]和[Tlow=20]進(jìn)行閾值處理。邊界點(diǎn)轉(zhuǎn)換為Hough空間[IH，]其中每一個(gè)像素點(diǎn)都與一條直線相關(guān)。閾值[THough=0.6?maxIH，]由Hough空間的最大值派生得到，選擇滿足條件的直線段。對于每一個(gè)候選直線段，計(jì)算直線段上像素點(diǎn)的總和。直線段最小長度[Tlength=]10像素。有效直線段間（缺口間）距離[Tgap=30]像素，采用梯度強(qiáng)度算法進(jìn)行優(yōu)化，提高直線段檢測的精度。

2.3 改進(jìn)算法描述

改進(jìn)的拼接圖像矩形化擴(kuò)充方法，以縫雕刻算法為基礎(chǔ)，實(shí)現(xiàn)對直線段的能量增強(qiáng)。算法流程圖如圖2所示。

算法具體步驟如下：

（1） 通過對參考圖像和浮動(dòng)圖像進(jìn)行特征提取，構(gòu)造特征描述符并進(jìn)行特征匹配，計(jì)算投影變換矩陣[H，]然后進(jìn)行坐標(biāo)空間變換，最后完成SPHP投影變換。

（2） 采用Canny邊界檢測判斷顯著性邊界，將邊界像素變換到Hough空間定位直線段位置，篩選滿足條件的直線段，記錄像素點(diǎn)位置。

（3） 判斷邊界是否含有黑色區(qū)域，是則表示拼接圖像還有空缺的像素；通過修改的能量函數(shù)計(jì)算拼接圖像的顯著性圖像，找到最小能量細(xì)縫段（SSC），并記錄像素點(diǎn)的位置。

（4） 確定視覺顯著直線段與最小能量細(xì)縫段交叉像素點(diǎn)位置，采用基于能量感知的細(xì)縫段裁剪算法擴(kuò)充不規(guī)則邊界的拼接圖像，最后增強(qiáng)交叉點(diǎn)處像素能量值。實(shí)驗(yàn)中對交叉點(diǎn)處像素能量統(tǒng)一增加200，插入點(diǎn)周圍7×7區(qū)域以2D高斯分布進(jìn)行增加，避免細(xì)縫穿過緊鄰插入點(diǎn)的像素位置。重復(fù)步驟（2）～步驟（4），直到拼接圖像周圍沒有空缺像素，完成矩形化擴(kuò)充。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證改進(jìn)算法的有效性，選取開放數(shù)據(jù)集[14]中不同類型的圖像進(jìn)行測試，并與傳統(tǒng)的投影變換和直接裁剪方法進(jìn)行比較，平均處理時(shí)間為10～15 s。實(shí)驗(yàn)工具為VS2010，OpenCV 2.4.11，硬件配置為Win7 Inter[?] CoreTM i7?3770 CPU 8 GB內(nèi)存。

選擇待拼接圖像temple和campus，圖像空間變換后二值圖像如圖3所示。其中圖3（a）和圖3（c）表示采用傳統(tǒng)投影變換進(jìn)行圖像拼接，圖3（b）和圖3（d）表示采用改進(jìn)投影變換（SPHP）進(jìn)行圖像拼接。傳統(tǒng)投影變換對目標(biāo)圖像非重疊區(qū)域形變嚴(yán)重，并且拼接結(jié)果中黑色區(qū)域明顯，即需要填充的像素面積較大。通過SPHP變換，減少拼接圖像非重疊區(qū)域形變，圖像四周黑色區(qū)域減少，使得需要擴(kuò)充的像素面積減少，其中黑色區(qū)域面積所占拼接圖像百分比如表1所示。

通過對拼接圖像進(jìn)行SPHP變換，然后采用細(xì)縫段裁剪（SSC）方法對拼接圖像進(jìn)行矩形化擴(kuò)充，實(shí)驗(yàn)結(jié)果如圖4所示。其中圖4（a）和圖4（b）表示采用傳統(tǒng)投影變換進(jìn)行圖像拼接，圖4（c）和圖4（d）表示采用改進(jìn)投影變換（SPHP）進(jìn)行圖像拼接，其中紅色方框表示采用最大內(nèi)接矩形裁剪方式獲得的矩形拼接圖像，損失了較多的周圍像素；圖4（e）和圖4（f）表示在改進(jìn)投影變換（SPHP）的基礎(chǔ)上對拼接圖像進(jìn)行細(xì)縫段裁剪（SSC）矩形化修復(fù)結(jié)果。endprint

通過對比，可以發(fā)現(xiàn)傳統(tǒng)的投影變換和改進(jìn)的投影變換都實(shí)現(xiàn)了拼接圖像的理想拼接，但是傳統(tǒng)的投影變換對拼接圖像非重疊區(qū)域形變嚴(yán)重，而改進(jìn)的投影變換可以實(shí)現(xiàn)拼接圖像重疊區(qū)域到非重疊區(qū)域的平滑過渡；并且后者相較于前者減少了拼接圖像四周的黑色區(qū)域，為之后的修復(fù)提供了更好的條件。其中，圖4（e）和圖4（f）采用本文提出的SPHP+SSC方法，不僅保留了拼接圖像四周像素，并且在未引入明顯形變的情況下實(shí)現(xiàn)了拼接圖像矩形修復(fù)。

針對已經(jīng)完成拼接的邊界不規(guī)則圖像，選取數(shù)據(jù)集[14]中三組圖片進(jìn)行說明。實(shí)驗(yàn)主要與經(jīng)典的Criminisi算法[12]、Komodakis算法[13]和Adobe Photoshop CS5（Content Aware Fill）進(jìn)行比較，如圖5所示。

比較不同方法，其中Criminisi算法（圖5（b）列）修復(fù)后圖像四周不同程度地出現(xiàn)了不確定的內(nèi)容，修復(fù)的錯(cuò)誤較多；Komodakis算法（圖5（c）列）修復(fù)后圖像四周出現(xiàn)了不同程度的模糊，其中第二幅圖像上部分的木頭引入了多余的結(jié)構(gòu)信息，第三幅圖像中間部分在修復(fù)后出現(xiàn)了原圖像中不存在的多余路燈；圖5（d）列中第一幅圖像的四周也出現(xiàn)了模糊和不確定的內(nèi)容，例如，在白云的地方出現(xiàn)了石頭的像素，在第二幅中左上角出現(xiàn)了小孩子的衣服，不夠合理，在第三幅中也出現(xiàn)了多余的路燈。對比本文提出方法，較好地解決了上述算法出現(xiàn)的問題，保留了原圖像中全部內(nèi)容信息和結(jié)構(gòu)信息，修復(fù)圖像四周內(nèi)容清晰，沒有模糊內(nèi)容的產(chǎn)生，沒有出現(xiàn)不合理的內(nèi)容。

本文算法不僅能更好地滿足人眼視覺效果要求，而且在客觀評價(jià)指標(biāo)上優(yōu)于以上相關(guān)算法，如表2所示。通過峰值信噪比（Peak Signal?to?Noise Ratio， PSNR）的比較，可以看出本文方法處理后的圖像與原圖像之間失真更??；通過結(jié)構(gòu)相似性（Structural Similarity， SSIM）的比較，可以看出本文的方法更好地保留了拼接圖像的結(jié)構(gòu)信息。

4 結(jié) 語

本文針對傳統(tǒng)投影變換，Criminisi算法和Komodakis算法的不足，提出采用形狀保留半投影變換（SPHP）和能量感知的細(xì)縫段裁剪（SSC）進(jìn)行圖像拼接和拼接后圖像修復(fù)，有效實(shí)現(xiàn)了拼接過程中重疊區(qū)域精確配準(zhǔn)，非重疊區(qū)域形變最??；修復(fù)后圖像結(jié)構(gòu)信息保持良好，邊界清晰，圖像質(zhì)量更高。

注：本文通訊作者為呂曉琪。

參考文獻(xiàn)

[1] SZELISKI R. Image alignment and stitching： a tutorial [J]. Foundations & trends in computer graphics & vision， 2006， 2（1）： 273?292.

[2] 王娟，師軍，吳憲祥.圖像拼接技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究，2008，25（7）：1940?1943.

[3] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features [J]. International journal of computer vision， 2007， 74（1）： 59?73.

[4] BROWN M S， CHIN T J， ZARAZA J， et al. As?projective?as?possible image stitching with moving DLT [J]. IEEE transactions on pattern analysis & machine intelligence， 2014， 36（7）： 1285?1298.

[5] CHUM O， PAJDLA T， STURM P. The geometric error for homographies [J]. Computer vision & image understanding， 2005， 97（1）： 86?102.

[6] 張霖.基于圖像特征的拼接算法研究[D].北京：中國科學(xué)院研究生院，2011.

[7] AVIDAN S， SHAMIR A. Seam carving for content?aware image resizing [J]. ACM transactions on graphics， 2007， 26（3）： 1?9.

[8] CHANG C H， SATO Y， CHUANG Y Y. Shape?preserving half?projective warps for image stitching [C]// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE， 2014： 3254?3261.

[9] HE K， CHANG H， SUN J. Rectangling panoramic images via warping [J]. ACM transactions on graphics， 2013， 32（4）： 1?10.

[10] 李汪兵，葉學(xué)義，齊珍珍，等.小波域的快速自適應(yīng)圖像修復(fù)算法[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（15）：183?187.

[11] 侯玉婷，彭進(jìn)業(yè)，韓東辰.改進(jìn)的Criminisi圖像修復(fù)算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（11）：135?138.

[12] CRIMINISI A， PEREZ P， TOYAMA K. Region filling and object removal by exemplar?based image inpainting [J]. IEEE transactions on image processing， 2004， 13（9）： 1200?1212.

[13] KOMODAKIS N， TZIRITAS G. Image completion using efficient belief propagation via priority scheduling and dynamic pruning [J]. IEEE transactions on image processing， 2010， 16（11）： 2649?2661.

[14] KOPF J， KIENZLE W， DRUCKER S， et al. Quality prediction for image completion [J]. ACM transactions on graphics， 2012， 31（6）： 439?445.endprint