基于亮度統(tǒng)一的加權(quán)融合圖像拼接算法

王帥，孫偉，姜樹明，許文建，王蕾

(1.中國礦業(yè)大學(xué)信息與電氣工程學(xué)院，江蘇徐州221008;2.山東省科學(xué)院情報(bào)研究所，山東 濟(jì)南 250014;3.泰興市產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)所，江蘇 泰興 225400;4.北京國電智深控制技術(shù)有限公司，北京 102200)

圖像拼接是圖像處理的重要領(lǐng)域之一，是將包含重疊區(qū)域的兩幅或多幅圖像相互連接，融合重疊區(qū)域，重構(gòu)一幅大尺寸圖像，最大限度地保留所有圖像信息［1］，目前廣泛應(yīng)用于圖像全景拼接［2］、3D空間建模［3］、機(jī)器視覺分析［4］和航空圖像處理［5］等領(lǐng)域。圖像拼接的關(guān)鍵步驟有兩個(gè)，即圖像間特征點(diǎn)提取及匹配和圖像重合區(qū)域融合。圖像特征點(diǎn)的提取是圖像拼接的基礎(chǔ)，而圖像融合的好壞直接決定圖像拼接的質(zhì)量，好的圖像拼接應(yīng)該是不存在拼接縫隙，且能完全顯示圖像包含的信息。近年來，國內(nèi)外相關(guān)學(xué)者針對不同的應(yīng)用領(lǐng)域提出了多種圖像拼接算法，楊小輝等［6］提出了一種基于ASIFT的無縫圖像拼接方法，對改進(jìn)傳統(tǒng)的sift算法，使之適應(yīng)于尺度、視差較大的圖像［6］間的拼接;Gao等［7］提出一種基于拼縫導(dǎo)向的圖像拼接算法，利用拼縫的視覺質(zhì)量評估生成轉(zhuǎn)換矩陣，可有效地解決圖像拼接的鬼影現(xiàn)象;Rankov等［8］提出一種利用梯度的方法消除圖像尖銳變化的圖像拼接算法，從而實(shí)現(xiàn)醫(yī)學(xué)圖像的漸近融合;胡瑞賢等［9］提出一種基于慣導(dǎo)信息的多普勒波束銳化圖像拼接算法，利用慣導(dǎo)信息估計(jì)圖像多普勒偏移，較好地提高了雷達(dá)圖像的拼接性能。

SIFT(scale-invariant feature transform)算法是最常用的一種特征提取方法，是David于1999年在已有的基于不變量技術(shù)的特征檢測方法的基礎(chǔ)上，提出的一種基于尺度空間，對圖像亮度、旋轉(zhuǎn)、縮放保持不變性的特征檢測方法［10］。SIFT算法利用高斯差分金字塔在不同的尺度空間查找局部極值點(diǎn)，然后利用極值點(diǎn)的梯度確定極值點(diǎn)的方向，最后生成特征點(diǎn)描述子。特征點(diǎn)匹配一般通過描述子的對比實(shí)現(xiàn)，通常特征點(diǎn)的匹配都存在錯(cuò)配點(diǎn)，消除錯(cuò)配點(diǎn)最簡單的方法就是利用RANSAC方法，通過反復(fù)提取最小點(diǎn)集估計(jì)參數(shù)的初始值，將數(shù)據(jù)分為“內(nèi)點(diǎn)”和“外點(diǎn)”，再利用“內(nèi)點(diǎn)”重新計(jì)算目標(biāo)函數(shù)。SIFT算法雖然在圖像的不變特征提取方面有很大優(yōu)勢，但是耗時(shí)較多，對邊緣特征提取不準(zhǔn)確，Bay等［11］于2006年提出SIFT的增強(qiáng)版——SURF(speeded up robust features)，速度比SIFT有了很大提升，且更具有魯棒性。

圖像重合區(qū)域的融合同樣是圖像拼接的一個(gè)重點(diǎn)，圖像融合就是將圖像按照配準(zhǔn)后的位置、方向重新整合，常用的有圖像插值方法、平均加權(quán)法、最大最小值法和多分辨率融合法等，前3種方法實(shí)現(xiàn)簡單，速度快，拼接效果可能存在鬼影、拼縫等缺點(diǎn)，多分辨率融合法拼接質(zhì)量好、效果清晰，但是計(jì)算量大、運(yùn)行時(shí)間長，不易實(shí)現(xiàn)，不適合圖像快速拼接。

本文的算法應(yīng)用于車輛智能安檢系統(tǒng)，待拼接圖像由智能車的攝像頭采集得到，圖像的特點(diǎn)是圖像連續(xù)、旋轉(zhuǎn)角度小、基本無縮放且亮度差別較大，由于安檢系統(tǒng)實(shí)時(shí)性的要求，圖像拼接需要快速準(zhǔn)確。為此，提出了一種基于亮度統(tǒng)一的加權(quán)融合圖像拼接算法。

1 基于亮度統(tǒng)一的加權(quán)融合圖像拼接算法

為實(shí)現(xiàn)智能車安檢視頻圖像的快速拼接，本文采用SURF算法實(shí)現(xiàn)特征點(diǎn)的提取及配準(zhǔn)，然后采用加權(quán)融合方法完成圖像融合操作。不同于傳統(tǒng)的加權(quán)融合算法，本文的算法加權(quán)系數(shù)不再是平均系數(shù)或線性漸變系數(shù)，而采用非線性變化系數(shù)，可以更好地避免鬼影現(xiàn)象。另外，由于圖像亮度差異可能導(dǎo)致融合誤差較大，在圖像拼接前，首先對圖像亮度統(tǒng)一，使待拼接圖像亮度一致。算法結(jié)構(gòu)如圖1所示。

圖1 算法結(jié)構(gòu)圖Fig.1 Illustration of algorithm structure

1.1 亮度統(tǒng)一

RGB顏色空間是一種通過圖像紅、綠、藍(lán)3種顏色通道描述圖像顏色分布的顏色空間，在RGB空間，圖像亮度是由圖像的紅、綠、藍(lán)3種分量共同決定，改變圖像亮度將會對圖像的3種顏色分量產(chǎn)生影響，因此，本文將在色彩空間實(shí)現(xiàn)圖像的亮度統(tǒng)一。lαβ空間是LMS色彩空間的一種變形，其通道互相獨(dú)立，其中l(wèi)，α，β一個(gè)改變，不影響另外兩個(gè)通道，分別代表圖像亮度分量、黃－藍(lán)分量和紅－綠分量［12］。圖像由RGB空間轉(zhuǎn)換至lαβ空間的計(jì)算公式為

在lαβ空間對圖像b進(jìn)行亮度線性變換，計(jì)算公式為

其中，(ˉla，σla)分別為圖像 a 的 l通道色彩均值、色彩方差，(lb，αb，βb)分別為圖像 b 的 lαβ 空間三通道色彩值，(ˉlb，σlb)分別為圖像b的l通道色彩均值、色彩方差。將變換后的圖像b的lαβ空間色彩值(l*，α*，β*)轉(zhuǎn)換至RGB空間，轉(zhuǎn)換公式為

(R*，G*，B*)即為亮度統(tǒng)一后圖像b的像素值。

圖2 漸近漸出權(quán)重變化示意圖Fig.2 Asymptotic illustration of weight variety

圖3 改進(jìn)算法的權(quán)重變化示意圖Fig.3 Illustration of weight variety for improved algorithm

1.2 加權(quán)融合

常用的加權(quán)融合法有直接平均法和漸近漸出法，漸近漸出法是根據(jù)重疊部分到重疊區(qū)域邊界的距離計(jì)算權(quán)值，權(quán)重變化示意圖如圖2所示，x2為圖像α的長度，x3－x1為圖像b的長度，x2－x1為圖像的重合區(qū)域。如果重合區(qū)域x距離x2越近，則圖像a在融合中的權(quán)重wa越小，而圖像b在融合中的權(quán)重wb越大，其中wa+wb=1，反之，則wa越大而wb越小。漸進(jìn)漸出法的權(quán)重變化是呈線性變化，與圖像到重疊區(qū)域邊界的距離成正比。直接平均法是漸近漸出法的一種特殊情況，即wa=wb=0.5。此兩種方法簡單直觀，融合速度快，但在實(shí)際應(yīng)用中，容易產(chǎn)生鬼影現(xiàn)象，圖像拼接不清晰。為此，提出一種新的加權(quán)融合方法，權(quán)重變化示意圖如圖3所示。在靠近x2處，即臨近圖像a的邊界，又是圖像b的一部分，為保證與圖像b的連續(xù)性，降低圖像a由于視差、位置及方向差別可能造成的影響，對圖像b設(shè)置一個(gè)較大的權(quán)重，而對圖像a設(shè)置一個(gè)較小的權(quán)重，并且在靠近重合邊界處權(quán)重變化小，在重合區(qū)域中心處，權(quán)重變化大，權(quán)重變化曲線呈圓弧型。權(quán)重更新公式為

1.3 算法流程

輸入:待拼接圖像a，圖像b;

輸出:拼接結(jié)果圖像c;

步驟1.對圖像進(jìn)行亮度統(tǒng)一操作。將圖像a，b轉(zhuǎn)換至lαβ空間，在lαβ空間對圖像b的l通道進(jìn)行線性變換，然后將圖像b由lαβ空間轉(zhuǎn)換至RGB空間;

步驟2.使用SURF算法尋找圖像特征點(diǎn)，并匹配特征點(diǎn);

步驟3.根據(jù)特征點(diǎn)求解變換矩陣H，對圖像b進(jìn)行變換得到b′;

步驟4.計(jì)算圖像a的特有部分，圖像b的特有部分以及圖像a，b的重合部分;

步驟5.對圖像重合部分采用加權(quán)融合方法融合圖像;

步驟6.對結(jié)果圖像的融合邊界濾波，得到最終結(jié)果c。

2 實(shí)驗(yàn)結(jié)果

本文分別從融合算法及圖像亮度統(tǒng)一兩個(gè)角度做了一系列仿真實(shí)驗(yàn)，驗(yàn)證所提算法的有效性。

首先驗(yàn)證改進(jìn)的圖像融合算法的有效性，實(shí)驗(yàn)圖像采用兩幅從不同角度采集的不同亮度的圖像，如圖4a、4b所示，圖像大小均為 480 ×640，實(shí)驗(yàn)平臺為 MATLAB2011b，AMD641處理器，2.8 GHz，2G 內(nèi)存，windows8系統(tǒng)。

圖4 待拼接圖像Fig.4 The image to be merged

對圖4a、4b采用SURF算法提取特征點(diǎn)，并相互匹配，利用特征點(diǎn)求解變換矩陣，然后對圖4b變換，變換后圖像如圖5所示。圖7a是利用漸近漸出法拼接所得結(jié)果，從圖中可以看出，雖然通過加權(quán)融合機(jī)制，圖像拼縫不明顯，但是由于線性加權(quán)，權(quán)重變化一致，圖像之間過渡緩慢，圖像重合區(qū)域融合效果模糊不清晰，有重影，如圖中方框A、B、C中所示，鬼影現(xiàn)象明顯。

而改進(jìn)的融合算法針對圖像有明顯鬼影的現(xiàn)象，對重合區(qū)域邊界部分的權(quán)重變化設(shè)置較小，而重合區(qū)域中心位置設(shè)置較大的權(quán)重變化，以達(dá)到快速過渡的目的。算法拼接結(jié)果如圖7b所示，圖中可以看出，圖像的拼縫同樣不明顯，并且使用非線性加權(quán)機(jī)制，圖像中的鬼影現(xiàn)象明顯減少，所得結(jié)果更為清晰。然而由于圖像之間的快速過渡，使得兩圖像的亮度差異較為明顯，亮度平滑性沒有漸近漸出法優(yōu)秀。

下一組實(shí)驗(yàn)針對圖像亮度差異對圖像進(jìn)行亮度統(tǒng)一操作，以圖像4a的亮度為基準(zhǔn)，將圖像4b的亮度進(jìn)行變換，變換后的結(jié)果如圖6所示。

圖5 變換后的待拼接圖像Fig.5 The image to be merged after transform

圖6 亮度統(tǒng)一后的待拼接圖像Fig.6 Image to be merged after brightness unification

圖7 不同算法拼接結(jié)果Fig.7 Fusion results of different algorithms

圖8 不同算法的拼接結(jié)果Fig.8 Fusion results of different algorithms

使用不同算法對亮度統(tǒng)一后的圖像6與圖像4a拼接結(jié)果分別如圖8a、8b所示，其中，圖8a為漸近漸出法的拼接結(jié)果，圖8b為本文算法結(jié)果。由圖可看出，圖8a整體亮度較圖7a更為一致，然而圖像的清晰度沒有較大的變化，重合區(qū)域依舊較為模糊。而圖像8b不僅拼接效果清晰，消除了鬼影現(xiàn)象，圖像整體亮度差異也被消除，實(shí)現(xiàn)了圖像的無縫拼接。

按照運(yùn)行時(shí)間對比，亮度統(tǒng)一前后兩種不同算法的運(yùn)行時(shí)間分別如表1所示。

本文算法與漸近漸出法均使用SURF提取特征點(diǎn)，在特征點(diǎn)提取、匹配過程耗時(shí)相同，而在融合過程，漸近漸出法為線性變化權(quán)重，本文算法為非線性變化權(quán)重，此部分算法復(fù)雜度相同，因此，本文改進(jìn)的融合算法與漸近漸出法運(yùn)行時(shí)間相同。加入亮度統(tǒng)一步驟后，算法運(yùn)行時(shí)間略有增加，但是圖像清晰度有了大幅的提升，總體性能更優(yōu)。

表1 運(yùn)行時(shí)間對比Table 1 Comparison of the operation time of different encryption algorithms

對于智能車采集的車底圖像，待拼接車底圖像分別見圖9a、9b，圖9c為亮度統(tǒng)一后的車底圖像2。圖10為亮度統(tǒng)一前后不同的算法的拼接結(jié)果。

圖9 待拼接圖像Fig.9 Image to be merged

圖10 不同拼接結(jié)果Fig.10 Different fusion results

從圖10可以看出，漸近漸出法拼接結(jié)果鬼影現(xiàn)象較為明顯，如圖10a中方框A部分，圖像模糊不清晰。由于圖像1和圖像2亮度差異較大，圖像融合易出現(xiàn)錯(cuò)誤，如圖10a、10b方框B部分，融合結(jié)果失真嚴(yán)重。本文所提算法的結(jié)果不僅很好地消除了拼縫，減弱了鬼影現(xiàn)象，而且圖像亮度一致，最大限度地保留了圖像信息。

3 結(jié)論

本文提出了一種基于亮度統(tǒng)一的加權(quán)融合圖像拼接算法，利用空間三通道互相獨(dú)立的特點(diǎn)，對圖像的亮度通道線性變換，而不改變圖像黃－藍(lán)、紅－綠色彩值，另外針對漸近漸出法圖像拼接結(jié)果存在的鬼影現(xiàn)象，將原有線性加權(quán)機(jī)制改進(jìn)成非線性加權(quán)機(jī)制，使圖像在重合區(qū)域中心部分快速過渡，拼接結(jié)果更為清晰。但是，由于引入了亮度統(tǒng)一過程，算法的運(yùn)行時(shí)間略有增加。

［1］CHO J，CHA J H，TAI Y M，et al.Stereo panoramic image stitching with a single camera［C］//2013 IEEE International Conference on Consumer Electronics(ICCE).Piscataway:IEEE，2013:256 －257.

［2］王成良，楊鵬，蔡耀澤，等.孔壁全景圖獲取中的圖像拼接技術(shù)研究［J］.計(jì)算機(jī)應(yīng)用，2010，30(2):344－347

［3］LEE D Y，LU Y F，KANG T K，et al.3D vision based local obstacle avoidance method for humanoid robot［C］//201212th International Conference on Control，Automation and Systems(ICCAS).Piscataway:IEEE，2012:473 －475.

［4］ZHANG Y，YANG L，WANG Z.Research on Video Image Stitching Technology Based on SURF［C］//2012 Fifth International Symposium on Computational Intelligence and Design(ISCID).Piscataway:IEEE，2012:335 －338.

［5］狄穎辰，陳云坪，陳瑩瑩，等.無人機(jī)圖像拼接算法綜述［J］.計(jì)算機(jī)應(yīng)用，2011，31(1):170－174.

［6］楊小輝，王敏.基于ASIFT的無縫圖像拼接方法［J］.計(jì)算機(jī)工程，2013，39(2):241－249.

［7］GAO J H，LI Y，CHIN T J，et al.Seam-Driven Image Stitching［EB/OL］.［2013 －01 －10］.https://www.old.comp.nus.edu.sg/～ brown/pdf/eg13 － seamdriven.pdf.

［8］RANKOV V，LOCKE R J，EDENS R J，et al.An algorithm for image stitching and blending［C］//Proceedings of SPIE.2005，5701:190－199.

［9］胡瑞賢，王彤，保錚，等.一種基于慣導(dǎo)信息的多普勒波束銳化圖像拼接算法［J］.電子與信息學(xué)報(bào)，2012，34(6):1337－1343.

［10］LOWE D G.Object recognition from local scale － invariant features［C］//The Proceedings of the Seventh IEEE International Conference on Computervision，1999，1150 －1157.

［11］BAY H，TUYTELAARS T，van GOOL L.SURF:Speeded up robust features［C］//Computer Vision – ECCV 2006.Berlin Springer Berlin，2006:404 －417.

［12］REINHARD E，ADHIKHMIN M，GOOCH B，et al.Color transfer between images［J］.Computer Graphics and Applications，IEEE，2001，21(5):34－41.