基于圖像拼接技術(shù)的電子對景圖制作技術(shù)*

鄭亞波,王　科,郭海亮

(海軍大連艦艇學(xué)院,遼寧大連　116018)

?

基于圖像拼接技術(shù)的電子對景圖制作技術(shù)*

鄭亞波,王科,郭海亮

(海軍大連艦艇學(xué)院,遼寧大連116018)

摘要:針對當前對景圖制作存在的問題,提出了一種基于圖像拼接技術(shù)的電子對景圖的制作技術(shù),該技術(shù)采用SIFT算法提取海區(qū)圖像的特征點,使用RANSAC算法對特征點進行精確提純,最后使用加權(quán)平均法實現(xiàn)圖像的平滑過渡。實驗表明該技術(shù)可實現(xiàn)海區(qū)圖像的無縫拼接,真實感強。

關(guān)鍵詞:圖像拼接;電子對景圖;SIFT算法;RANSAC算法;加權(quán)平均法

陸標定位和導(dǎo)航是保證船舶沿岸航行安全的主要手段之一,也是航海人員必備技能之一,而正確地識別島岸物標則是準確定位和導(dǎo)航的前提。對景圖作為陸地和海上物標與船舶相對位置的縮影,可以有效地幫助航海人員辨別復(fù)雜海區(qū)目標相對位置、識別航向水道和轉(zhuǎn)向目標,從而保證船舶的航行安全。

目前,許多國家的海圖和《航路指南》等航海資料中都插有對景圖,這為船舶安全航行提供了非常有利的條件,但在實際使用中也暴露出一些問題,如:對景圖的數(shù)量有限,清晰度不夠高,圖幅不夠廣,展現(xiàn)的細節(jié)不夠多等,而全景圖拼接技術(shù)正好可以解決這些問題。

全景圖拼接技術(shù)是將數(shù)張有重疊部分的圖像拼接成一幅大型的無縫高分辨率圖像的技術(shù),目前全景圖像已經(jīng)成為計算機仿真、計算機視覺模擬、圖像處理和計算機特效以及虛擬現(xiàn)實研究中的熱點和關(guān)鍵技術(shù),在地質(zhì)勘測、軍事偵查、航空航天以及視頻會議等多個領(lǐng)域發(fā)揮著重要作用。全景視圖可提供一種在虛擬場景中交互式瀏覽的感覺,為用戶提供了極大的觀察自由度,用戶可在場景之間自由切換漫游,使之可從不同的觀察點和方向了解環(huán)境。

本文首先介紹對景圖制作技術(shù)的現(xiàn)狀,針對其存在的不足,提出了基于圖像拼接技術(shù)的新型電子對景圖概念,然后對電子對景圖制作技術(shù)的原理和步驟進行描述,實現(xiàn)了海圖景象的真實重現(xiàn)。

1對景圖制作技術(shù)現(xiàn)狀

當前,國內(nèi)外所使用的對景圖主要通過兩種手段獲取:一是海上素描,二是現(xiàn)場拍照。海上素描便于組織實施,使用的器材較簡單,是制作對景圖的重要手段,目前,中版航海資料中的對景圖大多是素描圖。但素描對景圖對制圖人員繪畫功底和船舶的運動狀態(tài)要求較高,繪制花費時間長,繪制的對景圖并不清晰直觀,精度和清晰度不足。因此,國外的航海圖書資料更多采用現(xiàn)場拍照對景圖?，F(xiàn)場拍照對景圖對拍攝人員和船舶運動狀態(tài)要求低,制作速度快,目標相對位置準確,圖像清晰直觀,精確度高,真實感強,可見,現(xiàn)場拍照對景圖是航海對景圖發(fā)展的趨勢。但目前國內(nèi)外的現(xiàn)場拍照對景圖只是一些顯著助航標志、建筑物等的單幅照片,展現(xiàn)的海域不夠廣闊,不能反映整個海區(qū)的景觀全貌,且這些對景圖以出版物的形式發(fā)行,受版面限制涵蓋的范圍有限,不方便查看和調(diào)閱。因此,研究視域較大的新型電子對景圖制作技術(shù)對于船舶航行安全具有重要的實際意義。

2圖像拼接原理

全景圖通常是將反映各自投影平面的相互重疊圖像映射到幾何體表面上后,再對投影圖像進行無縫拼接而成的。根據(jù)所映射的幾何體不同,全景圖可分為球面全景圖、立方體全景圖和圓柱面全景圖。球面和立方體全景圖能夠完整地反映整個視點空間,展現(xiàn)的信息比較全面,但在圖像合成算法和投影算法等方面難度較大,處理時間過長。柱面全景圖雖只能反映視點附近局部空間信息,但其算法相對簡單,數(shù)據(jù)采集相對容易,且柱面全景圖可直接展開成矩形圖像,查看調(diào)閱方便。由于航海上使用的對景圖只關(guān)注海面附近島嶼、助航標志、危險物等物標信息,并不需要天空和海面信息,因此,柱面全景圖可較好地表達出海區(qū)環(huán)視環(huán)境,能夠滿足對景圖制作的基本要求,且實現(xiàn)起來相對容易。

電子對景圖的拼接分為圖像獲取、圖像配準和圖像融合三個步驟。

2.1海區(qū)圖像獲取

目前,獲得圖像序列的方法有很多,考慮到經(jīng)濟性和拍攝條件的限制,本文采用回轉(zhuǎn)連續(xù)拍攝法獲取圖像素材,即:拍攝者手持相機,采用定點旋轉(zhuǎn)的拍攝方式獲取圖像數(shù)據(jù)。該方法僅需一臺單反數(shù)碼照相機,方便實用。拍攝時有以下要求:

1)定焦按序列拍攝,相鄰圖像間應(yīng)有重疊區(qū)域,且不宜過大或過小,過大會導(dǎo)致匹配特征點過多,計算量過大,過小會導(dǎo)致無法進行準確的匹配,理想的重疊區(qū)域為單張圖像寬度的20%-30%;

2)盡量縮短拍攝時間間隔,拍攝者所處的船舶航速不能太快,最好靜止,否則視點位置變化過大,會增大拼接難度,甚至出現(xiàn)“鬼影”現(xiàn)象;

3)盡量避免圖片素材中出現(xiàn)動態(tài)物體(例如:航行的船舶),以免拼接時出現(xiàn)“鬼影”現(xiàn)象;

4)如無法避免動態(tài)物體,應(yīng)當縮短拍攝時間間隔,并控制動態(tài)物體在重疊區(qū)域之外;

5)圖片素材要盡量以水天線為中線,避免錯落起伏。

一方面，對于中型水電站來說，調(diào)度系統(tǒng)以及遠程監(jiān)控設(shè)計比較復(fù)雜，如果為梯度開發(fā)的水電站，需要組成水電站無人值班梯級調(diào)度系統(tǒng)，并要保證監(jiān)控網(wǎng)運行的可靠性與穩(wěn)定性。監(jiān)控系統(tǒng)的設(shè)計可以選擇雙星型以太網(wǎng)或者環(huán)形以太網(wǎng)，以水電站運行規(guī)模為基礎(chǔ)，配置工作站、視頻工作站以及各種服務(wù)器等，一般情況下可以選擇用LED顯示屏或者是DLP數(shù)字拼接墻等。另外應(yīng)該選擇用2根光纖通訊通道來保證通訊的可靠性。另一方面，對于小型水電站監(jiān)控系統(tǒng)的設(shè)計，為了實現(xiàn)經(jīng)濟性原則，可以選擇雙以太網(wǎng)或者單環(huán)形以太網(wǎng)組成，并以水電站實際需求配置相關(guān)設(shè)備，同樣選擇用2根光纖通訊通道，或者是在保證通訊可靠性的情況下選擇其他通道[3]。

2.2圖像配準

圖像配準是圖像拼接的關(guān)鍵技術(shù),目前,圖像配準技術(shù)有很多,而基于圖像特征的配準方法由于具有適用范圍廣,拼接效果好,計算量小等優(yōu)點,得到了廣泛的應(yīng)用,該方法首先在相鄰兩幅圖像提取特征點,通過相似性度量找到匹配的特征點對,然后匹配得到圖像空間坐標變換參數(shù),最后進行圖像配準。其中,特征點提取和匹配是配準技術(shù)的核心。

2.2.1特征點提取

船舶和拍攝位置的變化會導(dǎo)致輸入的海區(qū)圖像序列在視角和尺度上存在噪聲,為了克服噪聲干擾,本文采用SIFT算法進行圖像序列特征點的提取[1]。

SIFT(尺度不變特征變換匹配)算法是一種基于不變量技術(shù)的特征描述算法[2-4],可在空間域和尺度域上同時進行特征點的計算和提取,所提取的圖像局部特征不僅對平移、縮放、旋轉(zhuǎn)變換具有不變性,而且對視角變化、光照變化、仿射變形、加性噪聲等影響也具有較高的容忍度,能夠正確地提取尺度和視角變化較大的圖像序列中的特征點,非常適宜海上復(fù)雜環(huán)境中所拍攝圖像的特征點提取。

SIFT算法可在視角、光照等條件產(chǎn)生變化的情況下查找圖像間的不變性特征,并識別出圖像間的相同特征,利用統(tǒng)計法對這些不變量進行分析,并從多方面進行限制與篩選,進而在選擇候選特征點時充分根據(jù)配準的需要提取出穩(wěn)定的特征描述。

SIFT提取特征點一般包括以下4個步驟[5]:

1)構(gòu)建高斯差分(DOG)金字塔,進行尺度空間上極值檢測,確定候選特征點;

2)對候選特征點進行進一步檢驗,通過曲線擬合去除低對比度的特征點和不穩(wěn)定的邊緣特征點,精確定位關(guān)鍵點;

4)用128維的向量(包括位置、尺度、方向等信息)表示每個特征點,生成用于圖像特征點匹配的圖像特征點描述符。

2.2.2特征點匹配

提取特征點之后,可通過計算相鄰兩幅圖片之間特征點的歐氏距離進行特征點匹配。具體過程是:在待配準的圖像上選取一個點,從參考圖像中選取與該點歐氏距離最近的前兩個特征點,然后計算出其歐氏距離的比值,若該比值小于設(shè)定的匹配度閾值,則認為匹配成功。

2.2.3圖像配準

運用SIFT算法可以獲取2幅圖像的粗匹配點對,抽取粗匹配點對經(jīng)過齊次坐標變換,可得到變換矩陣的公式。但由于SIFT算法并不能實現(xiàn)精確匹配,粗匹配點對中存在誤匹配點對,在誤匹配的情況下得到的變換矩陣往往不穩(wěn)定。因此,為了提高圖像配準的精度,本文利用容錯能力很強的RANSAC算法進行檢錯,剔除誤配點對, 通過反復(fù)迭代對圖像變換矩陣進行求解與精煉。

2.3圖像融合

根據(jù)相鄰圖像間的變換矩陣,可以對相應(yīng)圖像進行變換以確定圖像間的重疊區(qū)域,從而實現(xiàn)圖像的拼接。但由于相鄰圖像在亮度和色差上有差異,并且普通數(shù)碼相機拍攝的海區(qū)照片邊緣往往存在失真現(xiàn)象,導(dǎo)致了全景圖中相鄰兩幅圖像間會出現(xiàn)很明顯的邊界,影響拼接圖像的質(zhì)量,因此,必須對拼接后的圖像進行融合,使相鄰圖像重疊區(qū)域過渡得更加自然、平滑。目前,解決這一問題的方法有直接平均法、加權(quán)平均法、中值濾波法、基于塔形分解的圖像融合方法和多分辨率樣條技術(shù)融合法等[6-7],本文采用加權(quán)平均法進行圖像融合。

3實驗結(jié)果

圖1　原始海區(qū)圖像序列

圖2　局部拼接效果圖

圖3　電子對景圖

圖4　素描對景圖

圖5　局部放大圖

實驗選取8張通過回轉(zhuǎn)連續(xù)拍攝法拍攝的某海區(qū)的場景照片進行實驗,每張照片原始的像素為5184×3456。圖1為利用數(shù)碼相機在某海區(qū)拍攝的海區(qū)景物圖像序列,圖2為前兩張圖像的拼接效果圖,可以看出利用本文方法可以實現(xiàn)相鄰圖像的平滑無縫拼接。圖3為拼接后該海區(qū)的電子對景圖,拼接后的圖像視野范圍得到了很大的擴展。實驗表明電子對景圖可以從多方位、多距離、多視角展現(xiàn)航經(jīng)海區(qū)的陸標、助航標志、礙航物等情況,具備視角多樣,視域廣闊的優(yōu)點,相較圖4的素描對景圖,電子對景圖展現(xiàn)的場景更加精細,層次感更強。如圖5為將電子對景圖方框部分放大后某個島嶼的圖像,可見電子對景圖所展現(xiàn)的島嶼、助航標志的細節(jié)信息更顯細膩詳盡,具有真實逼真的優(yōu)點,可為航海人員帶來全方位、身臨其境的感受,從而使航海人員可以更加快速、準確地了解海區(qū)情況。

4結(jié)束語

本文提出了一種基于圖像拼接技術(shù)的電子對景圖制作方法。通過采用實景場景拍攝和全景拼接技術(shù)將航行海區(qū)的陸標以全景圖的形式展現(xiàn)出來,真實感強,相較傳統(tǒng)的對景圖,具備視角多樣,視域廣闊，圖像逼真，細節(jié)細膩，數(shù)據(jù)量小等優(yōu)點,可為航海人員帶來全方位的真實感受。電子對景圖制作技術(shù)對硬件要求低,開發(fā)周期短,開發(fā)成本低,推廣使用簡單,經(jīng)濟性非常好。

參考文獻:

[1]宗巖,王陽萍,劉萍. 改進的基于特征點的圖像拼接融合算法[J].蘭州交通大學(xué)學(xué)報,2012,31(1):89-92.

[2]Brown M,Lowe D. Recognizing Panorama[C]∥Proc. of the 9th International Conference on Computer Vision, Nice, France:[s.n.].2003:218-225.

[3]Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004, 60(2):91-110.

[4]張煒,劉偉,普杰信. 一種基于SIFT和區(qū)域選擇的圖像拼接方法[J]. 微電子學(xué)與計算機,2010,27(6):205-207.

[5]郝飛,陳文藝. 基于特征點匹配的圖像拼接方法[J]. 西安郵電學(xué)院學(xué)報,2012,17(1):87-91.

[6]張曉亮,李麗. 全景圖拼接技術(shù)研究及應(yīng)用[J]. 現(xiàn)代計算機,2011，16(8):27-29.

[7]趙向陽,杜利民. 一種全自動穩(wěn)健的圖像拼接融合算法[J]. 中國圖象圖形學(xué)報,2004，9(4):417-422.

Electronic Front View Making Technique Based on Image Mosaic Technique

ZHENG Ya-bo, WANG Ke, GUO Hai-liang

(Dalian Naval Academy, Dalian 116018, China)

Abstract:Aimming at the making problems of the front view currently, a new electronic front view making technique based on image mosaic technique is proposed. This technique adopts SIFT algorithm to extract feature points and RANSAC algorithm to filter those feature points exactly. Finally the method of weighted mean is used to realize images transition smoothly. Experimental results show that the electronic front view making technique can realize the sea area images mosaic smoothly and provide a strong sense of reality for seamen.

Key words:image mosaic; electronic front view; SIFT algorithm; RANSAC algorithm; method of weighted mean

中圖分類號:TN966；E992.2

文獻標志碼:A

DOI:10.3969/j.issn.1673-3819.2016.02.025

作者簡介：鄭亞波(1985-),男,湖北襄陽人,碩士研究生,助教,研究方向為軍事航海以及水面艦艇戰(zhàn)斗。郭海亮(1984-)，男，本科。

*基金項目：國家自然科學(xué)基金項目(61273262)；遼寧省自然科學(xué)基金項目(2015020086)；2015年度海軍大連艦艇學(xué)院科研發(fā)展基金資助軍事學(xué)術(shù)項目

收稿日期：2016-01-08

文章編號：1673-3819(2016)02-0120-03

修回日期： 2016-02-16

王科(1979-)，男，講師。