面向機(jī)載分布式光電的圖像拼接算法

劉 彤,宋嘉樂,張子林,舒瀚達(dá)

(華北光電技術(shù)研究所,北京 100015)

1 引 言

隨著航空無人系統(tǒng)技術(shù)的快速發(fā)展,機(jī)載圖像拼接技術(shù)已經(jīng)成為一個(gè)備受矚目的研究領(lǐng)域。其核心目標(biāo)是將多幅圖像有效地合并成一個(gè)高分辨率、全景視野的圖像,為軍事、航空、環(huán)境監(jiān)測(cè)等領(lǐng)域的高精度圖像獲取和分析提供了強(qiáng)有力的技術(shù)支撐。在這一背景下,機(jī)載分布式圖像拼接技術(shù)受到越來越廣泛的重視和研究。

Cui等人[1]針對(duì)無人機(jī)熱紅外遙感圖像拼接中存在的累積誤差問題提出了一種簡(jiǎn)單、魯棒的拼接方法。該方法通過探索飛行過程中的先驗(yàn)信息,提高了全局相似性先驗(yàn)?zāi)Ｐ偷谋镜貙?duì)準(zhǔn)能力,并在大量實(shí)驗(yàn)數(shù)據(jù)上證明了該方法的優(yōu)越性,該方法簡(jiǎn)單易用,在不同條件下具有較好的表現(xiàn)。Cai等人[2]提出一種適用于紅外圖像的實(shí)時(shí)拼接方法,通過引入改進(jìn)的標(biāo)準(zhǔn)化互相關(guān)的尺度不變特征變換方法來提高拼接效果和速度。該方法的計(jì)算時(shí)間大大減少,但與現(xiàn)有方法的拼接質(zhì)量相當(dāng)。Huang等人[3]介紹了一種自動(dòng)的紅外圖像拼接方法,能夠選擇主導(dǎo)幀并在子集上進(jìn)行特征提取和圖像配準(zhǔn),最后使用多種圖像融合方法得到無縫的全景圖像。該方法能夠有效地減少時(shí)間成本,但對(duì)于某些情況可能需要手動(dòng)選擇子集幀。Gao等人[4]針對(duì)航拍場(chǎng)景將圖像對(duì)齊分為序列圖像對(duì)齊和多列圖像對(duì)齊,結(jié)合局部相似變換和區(qū)域性單應(yīng)性變換實(shí)現(xiàn)了高精度拼接。該方法解決了多列圖像拼接中重疊率不一致的問題,但算法復(fù)雜度過高。Wang等人[5]提出一種針對(duì)小型無人機(jī)熱紅外相機(jī)拼接視頻幀的實(shí)用技術(shù),采用SIFT算法檢測(cè)匹配特征點(diǎn),并使用k-d樹和RANSAC算法找到最佳匹配并消除異常值。提出一種稱為隨機(jī)M最小二乘的新方法來尋找?guī)g的最優(yōu)投影變換參數(shù),最后,采用多分辨率融合方法拼接注冊(cè)幀。該方法具有較強(qiáng)的魯棒性,但在處理大量圖片時(shí)難以保證計(jì)算效率。

上述傳統(tǒng)的圖像拼接算法都是基于純旋轉(zhuǎn)差異或平面成像,研究的無人機(jī)圖像拼接算法中存在拼接質(zhì)量不佳、算法復(fù)雜度高以及處理大規(guī)模圖片拼接效果差等問題,無法適用分布式機(jī)載場(chǎng)景拼接精度和實(shí)時(shí)性的要求。而APAP算法采用移動(dòng)直接線性變換的新估計(jì)技術(shù),調(diào)整圖像投影偏差,生成盡可能投影的圖像對(duì)齊方式。此外,在進(jìn)行多幅圖像拼接時(shí)采用捆綁調(diào)整技術(shù),從而提高分布式機(jī)載場(chǎng)景圖像拼接的精度和穩(wěn)定性。因此,本文針對(duì)機(jī)載分布式平臺(tái)的紅外圖像,在APAP圖像拼接算法的基礎(chǔ)上提出一種改進(jìn)的分布式機(jī)載圖像拼接算法,具有較高的實(shí)際應(yīng)用價(jià)值。

2 APAP算法

在實(shí)際飛行中,由于多個(gè)無人機(jī)搭載的光電傳感器存在差異以及無人機(jī)存在多種飛行狀態(tài),采集到的紅外圖像中目標(biāo)尺寸伸縮,拍攝角度相差較大,存在幾何畸變等視差,使得圖像的空間變換關(guān)系復(fù)雜多變。傳統(tǒng)的圖像拼接算法通?；诩冃D(zhuǎn)差異或平面成像,而對(duì)于分布式機(jī)載圖像的拼接卻存在適用性不足的問題,容易導(dǎo)致重影、偽像甚至拼接失敗等現(xiàn)象。針對(duì)上述問題,基于移動(dòng)直接線性變換(Moving DLT)的APAP算法[6]具有較好的適用性,該算法對(duì)圖像的投影偏差進(jìn)行相應(yīng)調(diào)整,生成盡可能投影的圖像對(duì)齊方式,同時(shí)采用捆綁調(diào)整對(duì)數(shù)個(gè)投影翹曲進(jìn)行細(xì)化,以提高圖像拼接的精度和穩(wěn)定性。

APAP主要算法流程為:首先,采用SIFT特征點(diǎn)檢測(cè)算法獲取待拼接圖像之間的匹配特征點(diǎn)對(duì)。隨后,使用隨機(jī)抽樣一致性算法對(duì)外點(diǎn)進(jìn)行剔除,得到內(nèi)點(diǎn)集合。接著,利用移動(dòng)直接線性變換和加權(quán)SVD求解全局單應(yīng)性矩陣。為了實(shí)現(xiàn)網(wǎng)格單元級(jí)別的拼接,對(duì)源圖像進(jìn)行網(wǎng)格式劃分,然后選取每個(gè)最小網(wǎng)格單元的中心點(diǎn),并計(jì)算所有網(wǎng)格中心點(diǎn)與源圖像中內(nèi)點(diǎn)之間的歐式距離及其相應(yīng)的權(quán)重值。將這些權(quán)重值添加到移動(dòng)直接線性變換法的矩陣中,構(gòu)建出新的矩陣,并再次進(jìn)行SVD分解,以獲得當(dāng)前網(wǎng)格單元的局部單應(yīng)性矩陣。遍歷所有網(wǎng)格單元,利用局部單應(yīng)性矩陣將其映射變換到全景圖像畫布中,進(jìn)而獲得經(jīng)過APAP變換操作后的源圖像。最后,采用加權(quán)平均融合算法對(duì)接縫進(jìn)行融合處理,以實(shí)現(xiàn)更佳的拼接視覺效果。

使用APAP算法對(duì)采集到的分布式光電圖像數(shù)據(jù)進(jìn)行拼接實(shí)驗(yàn),觀察發(fā)現(xiàn)該算法對(duì)背景較為簡(jiǎn)單的分布式圖像能夠?qū)崿F(xiàn)無拼接錯(cuò)位的精準(zhǔn)對(duì)齊,但對(duì)于背景復(fù)雜多變、分布式圖像間視差大、幾何畸變嚴(yán)重的圖像,拼接結(jié)果中存在嚴(yán)重的模糊重影以及邊緣處非重疊區(qū)域的投影失真現(xiàn)象。為解決上述問題,本文在APAP拼接算法的基礎(chǔ)上,針對(duì)機(jī)載分布式光電圖像特點(diǎn)進(jìn)行改進(jìn),提出一種改進(jìn)的APAP拼接算法。該改進(jìn)算法能夠?qū)崿F(xiàn)機(jī)載分布式光電圖像的高精度、廣域大規(guī)模拼接,獲得具有豐富態(tài)勢(shì)感知信息的廣域大規(guī)模紅外全景圖像。

3 改進(jìn)APAP拼接算法

根據(jù)分布式光電紅外圖像特點(diǎn),本文對(duì)APAP拼接算法進(jìn)行了如下改進(jìn):

(1)針對(duì)分布式機(jī)載圖像拼接中不同飛行姿態(tài)視角差異較大,圖像空間幾何變換關(guān)系復(fù)雜導(dǎo)致拼接模糊重影的問題,在該算法投影變換前使用基于徑向基函數(shù)的TPS模型對(duì)重疊區(qū)域中圖像做形變處理;

(2)針對(duì)APAP算法中的單應(yīng)性模型對(duì)拼接圖像邊緣處的非重疊區(qū)域投影失真問題,使用線性化單應(yīng)平滑外推至全局性相似性變換,以減少圖像邊緣處的投影失真;

(3)針對(duì)現(xiàn)有APAP算法計(jì)算復(fù)雜度高,難以滿足機(jī)載圖像拼接實(shí)時(shí)性要求的問題,使用網(wǎng)格劃分法僅對(duì)網(wǎng)格節(jié)點(diǎn)處形變進(jìn)行計(jì)算,其余圖像中像素點(diǎn)形變利用線性內(nèi)插法獲得,從而減少算法復(fù)雜度,提高改進(jìn)后算法的運(yùn)行效率。

3.1 重疊區(qū)域視差消除

為了消除由于視差過大而導(dǎo)致的重疊區(qū)域圖像之間的模糊重影現(xiàn)象,可以在進(jìn)行投影操作之前對(duì)重疊區(qū)域中的目標(biāo)圖像進(jìn)行形變處理[7]。假設(shè)存在兩幅重疊圖像Io和IT,且對(duì)應(yīng)的匹配點(diǎn)記為Oi(xi,yi)T,Ti(ui,vi)T。由于薄板樣條法(TPS)能夠有效的將圖像進(jìn)行扭曲變形,使圖像具有良好的對(duì)齊質(zhì)量。因此,將薄板樣條法應(yīng)用于單應(yīng)性變換中,對(duì)目標(biāo)圖像IT做形變處理,形變處理函數(shù)表達(dá)式如式(1)所示:

(1)

下面是最佳翹曲變換的總能量函數(shù)的定義:

Jλ=JD+λJS

(2)

其中,對(duì)準(zhǔn)項(xiàng)JD以及平滑項(xiàng)JS表達(dá)式分別如式(3)和式(4)所示:

(3)

JS=?(x,y)∈Ω|?2g|2dxdy

(4)

根據(jù)TPS模型理論[8],最小能量函數(shù)Jλ的最優(yōu)解為:

(5)

(6)

3.2 消除邊緣投影失真

為了消除APAP拼接算法在非重疊邊界區(qū)域引起的透視失真,本文對(duì)整幅圖像的移動(dòng)直線變換估計(jì)進(jìn)行了改進(jìn)。在非重疊區(qū)域,采用線性化單應(yīng)性變換,并逐漸平滑外推至全局相似性變換,以消除非重疊邊界處的透視失真現(xiàn)象[9]。在一維透視變換中,使用非重疊邊界的單應(yīng)性變換會(huì)嚴(yán)重影響尺度變化,在二維透視變換,該扭曲失真現(xiàn)象表現(xiàn)得更為嚴(yán)重。

線性化單應(yīng)性變換將圖像中錨點(diǎn)p周圍任意像素點(diǎn)q展開為單應(yīng)的泰勒級(jí)數(shù),表示如下:

h(q)=h(p)+Jh(p)(q-p)+ο(‖q-p‖)

(7)

(8)

對(duì)于全局相似性變換問題,直接對(duì)所有特征點(diǎn)進(jìn)行全局相似性變換的匹配搜索并不能保證獲得最優(yōu)解。特別是當(dāng)存在重疊區(qū)域視差較大的不同平面時(shí),這種現(xiàn)象表現(xiàn)得尤為明顯。因此,本文采用分割處理的方法來計(jì)算獲取最優(yōu)的相似性變換。具體而言,首先對(duì)匹配的特征點(diǎn)對(duì)進(jìn)行閾值為εk的隨機(jī)抽樣一致性處理,以剔除異常的特征點(diǎn)對(duì)。接著,利用閾值大小為εl的隨機(jī)抽樣一致性操作,在平面內(nèi)搜索具有最大內(nèi)點(diǎn)數(shù)量的單應(yīng)性變換。若搜索結(jié)果出現(xiàn)內(nèi)點(diǎn)數(shù)量εl<εk的情況,則將該內(nèi)點(diǎn)從集合中刪除,并不斷迭代搜索,直至內(nèi)點(diǎn)個(gè)數(shù)小于給定閾值。使用匹配好的內(nèi)點(diǎn)對(duì)計(jì)算單個(gè)相似性變換,選取最小旋轉(zhuǎn)角度作為變換的旋轉(zhuǎn)角。最后,針對(duì)拼接結(jié)果中的非自然區(qū)域,采用公式(9)的變換方式,對(duì)全局相似性變換進(jìn)行更新處理:

(9)

此外,需要對(duì)目標(biāo)圖像傳遞到參考圖像的變化進(jìn)行補(bǔ)償處理,以消除由于全局相似性更新導(dǎo)致目標(biāo)圖像發(fā)生翹曲的情況,從而解決對(duì)齊目標(biāo)圖像與參考圖像重疊區(qū)域無法對(duì)齊的問題。因此,參考圖像的局部變換可以表示如下:

(10)

3.3 拼接速率提升

為了提高圖像拼接的計(jì)算速度,可以將源圖像和目標(biāo)圖像進(jìn)行網(wǎng)格劃分。該方法將圖像分割成大小均勻的網(wǎng)格單元,如圖1所示,其中圓點(diǎn)表示網(wǎng)格節(jié)點(diǎn)位置。這種劃分方法可以有效地減少計(jì)算量并提高拼接效率。

圖1 網(wǎng)格劃分方式示意圖

在圖像形變計(jì)算中,本文提出一種新的方法,將原先基于像素點(diǎn)的形變計(jì)算改為基于劃分好的網(wǎng)格節(jié)點(diǎn)的形變計(jì)算。具體實(shí)現(xiàn)步驟如下:首先,利用第3.1節(jié)中的方法,求解變形函數(shù),并將其應(yīng)用于劃分好的網(wǎng)格節(jié)點(diǎn),計(jì)算出相應(yīng)的形變值;其次,對(duì)于未被劃分的像素點(diǎn),采用線性內(nèi)插法,計(jì)算出對(duì)應(yīng)的形變值。

(11)

通過使用具備雙線性內(nèi)插功能的逆映射變換,能夠?qū)D像中除網(wǎng)格節(jié)點(diǎn)處其余像素點(diǎn)進(jìn)行翹曲處理。采用網(wǎng)格分割技術(shù)獲取目標(biāo)圖像的形變信息,可極大地減少圖像翹曲變換所需的計(jì)算時(shí)間,從而提升拼接算法的速率。

結(jié)合3.1節(jié)和3.2節(jié),本文提出了一種高速率重疊區(qū)域視差消除的總體方案,具體表現(xiàn)如圖2所示。

圖2 高速率視差消除總體方案

該方案包括圖像的投影變換及其反變換表示為H和H-1、基于徑向基函數(shù)的TPS形變記為MTPS,通過APAP算法計(jì)算所得的變換表示為W。通過使用圖2中的變換方法,可以有效地消除視差帶來的對(duì)齊偏差和重影問題,提高圖像拼接的精度。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 評(píng)價(jià)指標(biāo)

本文使用基于人眼視覺的主觀評(píng)價(jià)以及均方根誤差(RMSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)、信息熵[10]、拼接耗時(shí)等評(píng)價(jià)指標(biāo)綜合評(píng)估所拼接的全景圖像質(zhì)量。

圖像均方根誤差通過計(jì)算匹配特征點(diǎn)對(duì)在參考平面偏差的平方和的平均值,并對(duì)其進(jìn)行開平方運(yùn)算得出。均方根誤差越大,表明拼接后圖像的對(duì)齊誤差和細(xì)節(jié)模糊越嚴(yán)重,反之則表明圖像質(zhì)量較好。該度量方法可以通過以下公式進(jìn)行計(jì)算:

(12)

峰值信噪比在圖像處理中常用于評(píng)估參考圖像與評(píng)價(jià)圖像之間的噪聲,圖像中峰值信噪比表示為峰值信號(hào)能量與均方根誤差之比,如式(13)所示:

(13)

結(jié)構(gòu)相似度可用于測(cè)量不同圖像之間的對(duì)比度、亮度和結(jié)構(gòu)信息,并對(duì)圖像細(xì)節(jié)、輪廓等信息的相似度進(jìn)行有效評(píng)估,其數(shù)學(xué)計(jì)算模型如下:

(14)

信息熵常被用于對(duì)圖像中信息的豐富度進(jìn)行評(píng)估,其值越大表示圖像中包含的信息量越豐富,圖像質(zhì)量越佳,計(jì)算公式如下所示:

(15)

拼接耗時(shí)是指對(duì)圖像進(jìn)行拼接操作時(shí)所使用算法的運(yùn)行時(shí)間,該指標(biāo)能反映出圖像拼接算法的實(shí)時(shí)性,并對(duì)其運(yùn)行效率進(jìn)行有效評(píng)估。

4.2 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證拼接算法在分布式機(jī)載光電圖像中的適用性,分別對(duì)飛行高度為100 m的純水田、純建筑物以及水田與建筑物相結(jié)合的三組不同場(chǎng)景進(jìn)行拼接實(shí)驗(yàn),從而測(cè)試算法的適用性,三組待拼接的場(chǎng)景圖像見圖3。

圖3 三組待拼接場(chǎng)景圖像

此外,為進(jìn)一步驗(yàn)證算法對(duì)大規(guī)模圖像拼接能力,分別使用三架無人機(jī)采集154張三維特性建筑物與水田相結(jié)合的復(fù)雜場(chǎng)景進(jìn)行拼接實(shí)驗(yàn)。

4.3 實(shí)驗(yàn)結(jié)果分析

在原有的APAP算法基礎(chǔ)上,針對(duì)分布式平臺(tái)圖像數(shù)據(jù)視差差異引起的重疊區(qū)域模糊重影、單應(yīng)性模型所導(dǎo)致的邊緣投影失真以及拼接速率低等問題,提出的分布式拼接算法對(duì)三組不同場(chǎng)景以及大規(guī)模圖像進(jìn)行拼接實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖4、圖5所示。

圖4 三種不同場(chǎng)景下改進(jìn)算法拼接結(jié)果

圖5 大規(guī)模三維建筑與水田結(jié)合復(fù)雜場(chǎng)景拼接結(jié)果

改進(jìn)算法在三種不同場(chǎng)景下的拼接結(jié)果如圖4所示,其中圖4(a)、(b)、(c)是三種場(chǎng)景下為了獲得最優(yōu)相似性變換將特征點(diǎn)對(duì)做分割處理后不同閾值提取特征點(diǎn)對(duì)結(jié)果。圖4(d)為純水田場(chǎng)景下改進(jìn)后算法的拼接結(jié)果,相比于使用APAP算法,該算法具有更高的對(duì)齊精度和更加平滑的接縫處理;圖4(e)的純建筑物場(chǎng)景拼接結(jié)果中改進(jìn)算法框內(nèi)圖像無明暗差異,觀察不到明顯的接縫;圖4(f)的水田與建筑物相結(jié)合的混合場(chǎng)景拼接結(jié)果,相比于使用原始APAP拼接算法,圖4(f)位于中下部框內(nèi)的重影模糊現(xiàn)象得以解決,同時(shí)下方邊緣處兩個(gè)框內(nèi)圖像的投影失真得到有效消除。

根據(jù)圖5可得,本文提出的改進(jìn)的APAP分布式拼接算法能夠有效地將三架無人機(jī)采集的大規(guī)模紅外圖像拼接成一幅具有高分辨率的廣域大規(guī)模全景圖像。從四部分局部放大結(jié)果表明,該算法能夠?qū)崿F(xiàn)高精度的圖像對(duì)齊,避免模糊重影現(xiàn)象,并且在圖像與圖像之間沒有明顯的亮度差異,接縫處過渡平滑,即使在圖像特征更為復(fù)雜多變的三維建筑物與水田結(jié)合場(chǎng)景中,該算法仍然具有較好的大規(guī)模拼接效果。

為了更加客觀地評(píng)估圖像拼接質(zhì)量,本文采用了均方根誤差、峰值信噪比、結(jié)構(gòu)相似度、信息熵以及拼接耗時(shí)等客觀評(píng)價(jià)指標(biāo)進(jìn)行評(píng)估。這些指標(biāo)能夠全面反映圖像拼接的質(zhì)量,包括圖像對(duì)齊精度、過渡平滑度、投影失真等方面,從而更加客觀地評(píng)價(jià)算法的優(yōu)劣。本文使用上述指標(biāo)分別對(duì)原始APAP算法以及改進(jìn)的APAP分布式拼接算法在三種不同場(chǎng)景以及三維特性建筑物與水田相結(jié)合的復(fù)雜場(chǎng)景拼接后圖像質(zhì)量進(jìn)行評(píng)估,APAP與改進(jìn)算法的評(píng)估結(jié)果分別如表1、2所示。

表1 APAP算法拼接圖像質(zhì)量評(píng)價(jià)指標(biāo)

根據(jù)表1和表2,可以看出改進(jìn)算法相比于APAP算法,在三個(gè)場(chǎng)景以及大規(guī)模圖像中都有著更好的拼接圖像質(zhì)量。其中,改進(jìn)算法的RMSE在所有場(chǎng)景中都比APAP算法低,說明改進(jìn)算法對(duì)圖像拼接誤差控制更加精細(xì);改進(jìn)算法在不同場(chǎng)景中的PSNR、SSIM、圖像熵值也都高于APAP算法,說明改進(jìn)算法能夠更好地抑制噪聲,保持圖像結(jié)構(gòu)一致性以及具有更為豐富的圖像信息;并且無論在少幅圖像和大規(guī)模圖像拼接中都具有更短的拼接耗時(shí)。

表2 改進(jìn)算法拼接圖像質(zhì)量評(píng)價(jià)指標(biāo)

綜上所述,改進(jìn)算法相比于APAP算法在拼接圖像質(zhì)量方面有著明顯的提升,在保證圖像拼接質(zhì)量的同時(shí),盡可能減少拼接耗時(shí)。此外,也能較好的適用于大規(guī)模分布式場(chǎng)景下的圖像拼接,獲取具有豐富態(tài)勢(shì)感知信息的廣域大規(guī)模全景圖像。

5 結(jié) 論

本文針對(duì)分布式機(jī)載光電圖像拼接存在的不同角度視差較大、圖像空間幾何變換關(guān)系復(fù)雜導(dǎo)致的模糊重影、偽像甚至拼接失敗等問題,通過選取拼接效果最好的APAP算法,并在其基礎(chǔ)上提出了改進(jìn)方案。該改進(jìn)算法利用變形處理消除模糊重影,采用線性化單應(yīng)平滑外推至全局性變換,有效減少邊緣處投影失真,并利用網(wǎng)格劃分法計(jì)算圖像網(wǎng)格節(jié)點(diǎn)處的形變,以提高算法運(yùn)行效率。本文對(duì)該算法進(jìn)行了多個(gè)場(chǎng)景下的測(cè)試,實(shí)驗(yàn)結(jié)果表明改進(jìn)算法具有更小的對(duì)齊誤差和更高的圖像細(xì)節(jié)信息、峰值信噪比、結(jié)構(gòu)相似度和圖像熵等指標(biāo),得到的圖像輪廓更清晰,包含的信息量更為豐富,有效解決APAP算法存在的模糊重影和邊緣處非重疊區(qū)域的投影失真問題。在進(jìn)行大規(guī)模圖像拼接時(shí),該改進(jìn)算法能夠有效實(shí)現(xiàn)154張圖像的大規(guī)模拼接,得到分辨率為10 K×10 K的高分辨率全景圖像,拼接耗時(shí)為138 s,驗(yàn)證了改進(jìn)的分布式拼接算法的優(yōu)越性。因此,該改進(jìn)算法可以投入到分布式機(jī)載圖像拼接的實(shí)際應(yīng)用中,具有重要的實(shí)際應(yīng)用價(jià)值。