拼接圖像的徑向畸變矯正技術(shù)

王 月，李 陽，金映谷，楊亞寧

(大連民族大學(xué) a.信息與通信工程學(xué)院；b.機(jī)電工程學(xué)院，遼寧 大連 116605)

圖像拼接是將多幅有重疊區(qū)域的圖像拼成一幅高分辨率的全景圖像，實(shí)際應(yīng)用中，硬件設(shè)備和一些不可控因素使得待拼接圖像存在幾何畸變?；儾粌H影響視覺效果，更決定拼接任務(wù)成功與否。圖像拼接應(yīng)用領(lǐng)域廣泛，待拼接圖像種類繁多、特征多變，目前尚沒有一種方法能夠適用于不同領(lǐng)域多款相機(jī)的圖像拼接[1]。

近年來，隨著圖像處理技術(shù)的快速發(fā)展，國內(nèi)外已有很多科研工作者對圖像拼接進(jìn)行研究。Alomran等[2]通過檢測所獲取圖像的重疊區(qū)域，自動對齊和融合圖像的拼縫處從而創(chuàng)建全景圖像，該方法通過廣角鏡，垂直和水平旋轉(zhuǎn)采集圖像，以及在非固定軸上取圖，能夠以最小5%的重疊面積正確拼接。Zhu L等[3]提出一種基于改進(jìn)加速魯棒特征的快速拼接方法，首先采用機(jī)器學(xué)習(xí)方法構(gòu)建二分類器，對SURF提取的關(guān)鍵特征點(diǎn)進(jìn)行識別，剔除非關(guān)鍵特征點(diǎn)，繼而使用RELIEF-F算法對改進(jìn)的SURF進(jìn)行降維和簡化，實(shí)現(xiàn)圖像配準(zhǔn)，提高了配準(zhǔn)速度。Zhou A等[4]根據(jù)缺陷鋼制旋轉(zhuǎn)零件圖像特點(diǎn)，提出一種基于傾斜概率測度和RANSAC算法的帶特征點(diǎn)SIFT特征跟蹤圖像拼接方法，該方法利用尺度不變特征變換算法和基于斜率概率測度的偽匹配點(diǎn)對的除去算法以及隨機(jī)抽樣一致算法，求解兩個鄰接矩陣的配準(zhǔn)參數(shù)，進(jìn)而完成零件缺陷圖像拼接。Du X等[5]提出一種基于BRISK特征提取的改進(jìn)ORB圖像拼接方法，該方法使用ORB算法描述特征點(diǎn)，使用KNN算法和PROSAC算法純化匹配點(diǎn)，通過漸進(jìn)漸出加權(quán)平均融合完成拼接。以上研究都取得較好的拼接效果，但尚沒有解決適用于多種類型相機(jī)的圖像拼接問題。針對以上問題，本文提出一種在圖像拼接中引入單參數(shù)除法模型的方法，省去繁重的標(biāo)定過程，能夠矯正多種類型相機(jī)取圖產(chǎn)生的徑向畸變，實(shí)現(xiàn)圖像不失真拼接且拼接效果較好，對于先進(jìn)駕駛輔助系統(tǒng)的升級、天眼監(jiān)控系統(tǒng)的完善具有一定的幫助。

1 特征點(diǎn)提取

1.1 圖像采集與預(yù)處理

本文不局限于矯正特定相機(jī)取圖產(chǎn)生的徑向畸變(單次拼接的圖像均來自同款相機(jī))，采集到的拼接圖像應(yīng)具有共同區(qū)域，重疊區(qū)域至少有20%～50%。在圖像特征點(diǎn)提取前，為提高實(shí)驗(yàn)的精確性，使用中值濾波消除圖像的椒鹽噪聲，保持圖像邊緣特性。

1.2 特征點(diǎn)檢測

由于Harris算子具有較好的檢測效果和實(shí)用性，且穩(wěn)定性強(qiáng)、魯棒性高[6]，本文使用Harris算子進(jìn)行角點(diǎn)檢測。Harris算子的基本思想[7]是假定在某一點(diǎn)周圍圈出一個很小的窗口，然后沿著任意方向移動這個窗口，比較移動后與移動前，如果窗口包含的所有像素灰度值的累加值發(fā)生明顯變化，則說明這點(diǎn)是角點(diǎn)，本文對提取的特征點(diǎn)進(jìn)行輪廓顯示如圖1。

圖1 特征點(diǎn)提取效果圖

2 徑向畸變矯正

相機(jī)必然存在鏡頭畸變，其中徑向畸變是其主要類型，畸變示意圖如圖2。圖中網(wǎng)格線為畸變趨勢線，本文針對待拼接圖像中的徑向畸變[8]進(jìn)行研究。在徑向畸變模型中，除法模型相對于多項(xiàng)式模型具有更高的精度，對于大多數(shù)攝像設(shè)備而言，單參數(shù)除法模型已具備足夠的精度[9-10]，由此，本文提出一種引入單參數(shù)除法模型的拼接方法，該方法利用單參數(shù)除法模型求解畸變系數(shù)，并利用畸變系數(shù)矯正徑向畸變，使得矯正拼接工作易于部署。

圖2 畸變示意圖

本文所用模型是在立體匹配的約束條件下得到的，該模型使圖像的徑向畸變系數(shù)同普通透視圖像對的對極幾何模型相結(jié)合，求解畸變系數(shù)。設(shè)置徑向畸變的中心為圖像中心，同時(shí)假設(shè)像素縱橫比接近1，偏斜接近0。Xd=(xd,yd,1)表示畸變圖像上的點(diǎn)，Xu=(xu,yu,1)對應(yīng)未失真的點(diǎn)，則：

(1)

(2)

如果需精確保持此模型，式(1)、(2)會隱式假設(shè)像素縱橫比接近1，偏斜接近0。實(shí)際上，幾乎大部分工業(yè)相機(jī)滿足零偏角方形像素，且精度很高。

(3)

利用Fitzgibbon提出的將畸變系數(shù)與8點(diǎn)算法[12]相結(jié)合的方法進(jìn)行計(jì)算，得到：

(4)

式(4)等效為

Xu=Xd+λZd。

(5)

式(3)、(5)聯(lián)立得：

(6)

(D1+λD2+λ2D3)f=0 ，

(7)

此時(shí)畸變系數(shù)求解轉(zhuǎn)換為特征值求解問題。

得到特征值后，為提高其精度，采用RANSAC方法通過距離是否大于設(shè)定閾值判斷是否為外點(diǎn)，從而去除外點(diǎn)，閾值一般取0.04～0.05。到此畸變系數(shù)已求出，可以用來矯正徑向畸變。

3 仿真驗(yàn)證

選用的四款拍攝設(shè)備參數(shù)詳情見表1，采集不同場景下的圖像進(jìn)行實(shí)驗(yàn)。

表1 設(shè)備參數(shù)及拍攝場景

為更好顯示實(shí)驗(yàn)效果，通過幾何扭曲增強(qiáng)圖像畸變，并利用上述方法處理，得到矯正效果如圖3。

圖3 局部矯正效果圖

利用歸一化互相關(guān)方法進(jìn)行匹配，采用隨機(jī)抽樣一致算法提高匹配準(zhǔn)確率并利用內(nèi)點(diǎn)數(shù)據(jù)進(jìn)行參數(shù)估計(jì)，計(jì)算變換矩陣。為得到更加理想的效果，使用gold_standard算法進(jìn)一步優(yōu)化，利用加權(quán)融合算法完成圖像拼接。主要參數(shù)設(shè)置見表2。

表2 主要參數(shù)設(shè)置

選用多款相機(jī)拍攝多種場景圖片進(jìn)行拼接實(shí)驗(yàn)，拼接效果如圖4。

圖4 全局拼接矯正結(jié)果圖

由20名觀察者分別對四組拼接矯正結(jié)果圖像進(jìn)行主觀評價(jià)，5%的觀察者認(rèn)為拼接矯正效果極佳，85%的觀察者認(rèn)為效果較好，10%的觀察者考慮到拼接分割線認(rèn)為效果一般。

4 結(jié) 語

徑向畸變易引發(fā)圖像拼接失真，本文提出一種在圖像拼接過程中引入單參數(shù)除法模型的方法，利用單參數(shù)除法模型快速部署，解決徑向畸變問題，實(shí)現(xiàn)圖像不失真拼接。該方法還適用于不同領(lǐng)域的多款攝像機(jī)，對于天眼監(jiān)控系統(tǒng)的完善、先進(jìn)駕駛輔助系統(tǒng)的升級以及機(jī)器人視覺領(lǐng)域的研究具有一定的參考價(jià)值。