融合圖像語(yǔ)義的動(dòng)態(tài)視頻拼接方法

楊 毅,王冬生,宋文杰,付夢(mèng)印

(北京理工大學(xué)自動(dòng)化學(xué)院,北京 100081)

0 引 言

隨著機(jī)器人技術(shù)的進(jìn)步與發(fā)展,機(jī)器人對(duì)于視覺(jué)信息的需求越來(lái)越高,普通攝像頭受限于視場(chǎng)角,全方位相機(jī)又存在分辨率過(guò)低且拍攝死角較大等問(wèn)題,而圖像拼接技術(shù)能夠?qū)⒍鄠€(gè)的圖像拼接成一幅大視場(chǎng)圖像,可以更準(zhǔn)確地檢測(cè)和追蹤圖像中的目標(biāo)[1]。視頻拼接是圖像拼接的技術(shù)延伸,其對(duì)拼接的實(shí)時(shí)性、連續(xù)性、魯棒性有更高的要求,在視頻監(jiān)控和無(wú)人駕駛系統(tǒng)中有重要的應(yīng)有價(jià)值。

圖像拼接作為視頻拼接技術(shù)的基礎(chǔ),按照拼接模式可以分為兩類(lèi)。第一類(lèi)是以文獻(xiàn)[2]為代表的通過(guò)估計(jì)全局2D投影變形來(lái)對(duì)齊輸入圖像的拼接模式[2],該模式主要利用一個(gè)全局3×3單應(yīng)矩陣將多張圖像對(duì)齊到同一坐標(biāo)平面[3],并使用多頻帶融合算法獲取大場(chǎng)景拼接圖像,但這類(lèi)方法是基于拍攝內(nèi)容近似處于同一個(gè)平面的假設(shè)實(shí)現(xiàn),對(duì)于不滿(mǎn)足假設(shè)的情況,由于全局投影模型不一致,會(huì)導(dǎo)致拼接圖像出現(xiàn)重影或模糊等問(wèn)題。第二類(lèi)是利用多個(gè)局部單應(yīng)矩陣對(duì)齊圖像的模式[4-9],代表方法是文獻(xiàn)[7]在2015年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議上提出自適應(yīng)圖像拼接方法(adaptive as-natural-as-possible,AANAP)[7],該方法將圖像劃分為密集網(wǎng)格,每個(gè)網(wǎng)格都計(jì)算出一個(gè)單應(yīng)矩陣。并將局部單應(yīng)性與全局相似性變換組合,根據(jù)圖像目標(biāo)自動(dòng)估計(jì)出所有參數(shù)。這類(lèi)方法可以允許一定程度的局部視差,但由于引入網(wǎng)格的形變估計(jì),極大增加了計(jì)算成本,拼接一張圖需要十幾秒甚至幾分鐘,不能直接應(yīng)用到視頻拼接算法中。為了降低拼接的計(jì)算成本,本文從當(dāng)前圖像拼接技術(shù)出發(fā),將圖像分為上下兩個(gè)半平面,用兩個(gè)局部單應(yīng)矩陣擬合,在局部視差允許的情況下,加快算法的處理速度。

目前視頻拼接按相機(jī)設(shè)置和應(yīng)用場(chǎng)景可以分為3大類(lèi),第1類(lèi)是靜態(tài)場(chǎng)景下攝像機(jī)間幾何關(guān)系固定的拼接方法[10-11],該類(lèi)方法由于應(yīng)用環(huán)境比較單一,只需預(yù)先標(biāo)定校準(zhǔn)一次攝像機(jī)間的位置,然后輔助過(guò)渡區(qū)域局部融合算法,就能夠?qū)崿F(xiàn)實(shí)時(shí)的圖像拼接。第2類(lèi)是運(yùn)動(dòng)環(huán)境下攝像機(jī)間幾何關(guān)系固定的拼接方法[12-14],該類(lèi)方法同第1類(lèi)相似,也需要預(yù)先標(biāo)定好攝像機(jī)之間的幾何關(guān)系,但由于應(yīng)用于運(yùn)動(dòng)環(huán)境,環(huán)境所屬平面變化時(shí)都會(huì)不可避免地產(chǎn)生局部視差。第3類(lèi)是靜態(tài)和運(yùn)動(dòng)環(huán)境下攝像機(jī)間相互獨(dú)立的拼接方法[15-17],該類(lèi)方法主要應(yīng)用于非剛性固連的攝像機(jī)組,例如手持?jǐn)z像設(shè)備,懸掛式拖車(chē)環(huán)視設(shè)備等,由于輸入設(shè)備之間的位置關(guān)系不確定性,場(chǎng)景投影平面時(shí)變性,需要實(shí)時(shí)校準(zhǔn)標(biāo)定參數(shù)。對(duì)于手持設(shè)備拍攝的離線(xiàn)視頻,為了實(shí)現(xiàn)更好的拼接效果,視頻需作平滑運(yùn)動(dòng)軌跡的穩(wěn)定處理[16]。對(duì)于在線(xiàn)拼接方法,由于無(wú)法預(yù)知相機(jī)運(yùn)動(dòng)軌跡,很難獲取滿(mǎn)意的拼接圖像,本文采用基于拼接質(zhì)量反饋的方法優(yōu)化拼接結(jié)果。

圖像語(yǔ)義分割技術(shù)是指使用一定的分類(lèi)方法對(duì)圖像進(jìn)行像素分類(lèi)。在深度學(xué)習(xí)應(yīng)用到計(jì)算機(jī)視覺(jué)領(lǐng)域之前,人們使用紋理基元森林(texton forest,TF)和隨機(jī)森林(random forest,RF)分類(lèi)器進(jìn)行語(yǔ)義分割,隨后提出的卷積神經(jīng)網(wǎng)絡(luò)極大地促進(jìn)了語(yǔ)義分割領(lǐng)域的發(fā)展。文獻(xiàn)[18]提出了用于語(yǔ)義分割的全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN),FCN主要使用了卷積化、上采樣、跳躍結(jié)構(gòu)等技術(shù),改善了語(yǔ)義分割的結(jié)果,將端對(duì)端的卷積網(wǎng)絡(luò)應(yīng)用到語(yǔ)義分割領(lǐng)域,這使得卷積神經(jīng)網(wǎng)絡(luò)無(wú)需全連接層即可進(jìn)行密集的像素分類(lèi),使用這種方法可生成任意大小的分割圖,在這之后,語(yǔ)義分割領(lǐng)域幾乎所有先進(jìn)方法都采用了該模型。2015年文獻(xiàn)[19]提出一種用于圖像分割的深度卷積編碼器-解碼器架構(gòu)(A deep convolutional encoder-decoder architecture for image segmentation,SegNet),包含一個(gè)編碼網(wǎng)絡(luò)和對(duì)應(yīng)的解碼網(wǎng)絡(luò),并跟隨一個(gè)像素級(jí)別的分類(lèi)層。編碼層由13個(gè)卷積層構(gòu)成,其作用是提取圖像特征,解碼器網(wǎng)絡(luò)將低分辨率的特征圖譜還原到輸入圖像的分辨率,可以處理任意大小的輸入圖像并輸出相同大小的分割圖。在FCN中,盡管使用了解卷積層和一些跳躍連接,但輸出的分割圖仍然比較粗糙,SegNet沒(méi)有復(fù)制FCN 中的編碼器特征,而是復(fù)制了最大池化索引,只存儲(chǔ)特征映射的最大匯集指數(shù),這使得SegNet比 FCN更節(jié)省內(nèi)存,效率更高,其在城區(qū)場(chǎng)景理解方面效果表現(xiàn)明顯,因此本文采用文獻(xiàn)[19]提供的SegNet 語(yǔ)義模型對(duì)城市環(huán)境進(jìn)行語(yǔ)義分割,圖1為語(yǔ)義分割效果圖。

圖1 語(yǔ)義分割效果圖Fig.1 Effect of the Semantic segmentation

綜上所述,圖像語(yǔ)義分割結(jié)果可以提供圖像的高階語(yǔ)義信息,對(duì)環(huán)境有更高的解析,但該技術(shù)還未曾應(yīng)用到視頻拼接領(lǐng)域。為了提高現(xiàn)有視頻拼接技術(shù)的準(zhǔn)確性與魯棒性,本文提出一種融合圖像語(yǔ)義信息的在線(xiàn)動(dòng)態(tài)視頻拼接方案。

1 系統(tǒng)框架

為了加快拼接速度,本文采用多線(xiàn)程方式分時(shí)并行處理拼接過(guò)程,拼接系統(tǒng)由主線(xiàn)程、特征配準(zhǔn)線(xiàn)程、特征評(píng)價(jià)線(xiàn)程3部分組成,系統(tǒng)框架如圖2所示。主線(xiàn)程的主要步驟包括:圖像預(yù)處理、圖像降采樣、圖像語(yǔ)義分割、單應(yīng)矩陣預(yù)測(cè)模型更新、拼接質(zhì)量?jī)?yōu)化、圖像融合等。其中圖像預(yù)處理是指利用改進(jìn)的張正友棋盤(pán)格標(biāo)定算法[20]校正原始圖像的圖像畸變;圖像語(yǔ)義分割前需要先將原圖降采樣到360×480大小,然后利用語(yǔ)義模型(本文采用文獻(xiàn)[19]提供的SegNet城區(qū)語(yǔ)義模型)對(duì)圖像進(jìn)行語(yǔ)義分割,可將街道圖像像素點(diǎn)分為11類(lèi),最后得到與原始圖像相同尺寸的語(yǔ)義圖,結(jié)果如圖1所示。在第1次圖像畸變矯正后初始化特征配準(zhǔn)線(xiàn)程,該線(xiàn)程主要作用是求解拼接所需的單應(yīng)性投影模型。

圖2 本文視頻拼接算法流程圖Fig.2 Video stitching algorithm flowchart in this paper

在拼接評(píng)價(jià)線(xiàn)程中,本文通過(guò)投影變換將待配準(zhǔn)圖投影到參考圖平面上,并對(duì)兩圖重疊區(qū)域處的語(yǔ)義、紋理、色彩等信息進(jìn)行相似度分析,獲得拼接結(jié)果的定量評(píng)估。主線(xiàn)程能夠?qū)崟r(shí)檢測(cè)拼接評(píng)價(jià)線(xiàn)程的量化評(píng)價(jià)結(jié)果,判斷是否需要優(yōu)化拼接,當(dāng)拼接質(zhì)量評(píng)價(jià)結(jié)果大于設(shè)定的評(píng)價(jià)閾值Th時(shí)融合對(duì)齊的圖像,最終輸出拼接圖;否則,利用單應(yīng)矩陣預(yù)測(cè)模型預(yù)測(cè)當(dāng)前單應(yīng)矩陣,達(dá)到優(yōu)化拼接結(jié)果得目的。當(dāng)拼接評(píng)價(jià)線(xiàn)程接收到來(lái)自主線(xiàn)程的優(yōu)化拼接請(qǐng)求時(shí),會(huì)利用優(yōu)化的單應(yīng)矩陣重新對(duì)齊圖像。在n次優(yōu)化嘗試后,輸出評(píng)價(jià)質(zhì)量最高的一組對(duì)齊結(jié)果。假設(shè)單應(yīng)矩陣在一段時(shí)間內(nèi)是線(xiàn)性變化的,該模型可以表示為

(1)

式中,H(t)表示當(dāng)前時(shí)刻計(jì)算出的單應(yīng)矩陣;HC(t)表示利用模型預(yù)測(cè)出的當(dāng)前單應(yīng)矩陣;score表示拼接評(píng)價(jià)評(píng)估結(jié)果;T(l)指第l-1次到第l次單應(yīng)矩陣計(jì)算的時(shí)間間隔,本文僅利用最近十次的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

本小節(jié)介紹了融合圖像語(yǔ)義的自適應(yīng)動(dòng)態(tài)視頻拼接方法系統(tǒng)框架和主線(xiàn)程的主要步驟,提出了利用拼接評(píng)價(jià)結(jié)果實(shí)現(xiàn)基于歷史拼接信息的拼接參數(shù)預(yù)測(cè)。

2 特征匹配

圖像特征匹配,是指利用一定方法將多幅圖像的相似特征進(jìn)行匹配,是圖像對(duì)齊的前提,匹配的準(zhǔn)確度直接影響到圖像拼接的質(zhì)量。

為了解決全局投影模型不一致的問(wèn)題,本文將圖像場(chǎng)景劃分為上下兩個(gè)半平面,分別提取兩個(gè)半平面(見(jiàn)圖3(a))內(nèi)的特征點(diǎn),并對(duì)特征點(diǎn)進(jìn)行配準(zhǔn)(見(jiàn)圖3(b)),計(jì)算出相應(yīng)的兩個(gè)單應(yīng)矩陣。

圖3 場(chǎng)景局部匹配圖Fig.3 Scene partial area matching map

本文匹配流程如圖2特征配準(zhǔn)線(xiàn)程所示,以圖4為例說(shuō)明。首先使用David Lowe提出的具有尺度不變性的加速穩(wěn)健特征(speeded-up robust features,SURF)算法提取特征點(diǎn)如圖4(a)所示。該算法利用Harr特征以及積分圖像加速特征提取過(guò)程,能實(shí)時(shí)提取特征點(diǎn)并為特征點(diǎn)計(jì)算位置和尺度信息,最終生成一個(gè)64維的SURF特征描述符,包括采用Henssian矩陣獲取圖像局部最值和利用Harr小波特征求取的特征點(diǎn)的主方向。然后使用快速最近鄰搜索包(fast library for approximate nearest neighbors,FLANN)匹配方法直接對(duì)原始圖SURF特征進(jìn)行匹配,再使用k-最近鄰算法(k-nearest neighbor,KNN)篩選匹配點(diǎn)后的匹配結(jié)果,結(jié)果顯示存在大量誤匹配,如圖4(b)所示,主要集中在鄰域信息相近但語(yǔ)義不同的像素點(diǎn)對(duì)之間。

傳統(tǒng)方法僅使用特征向量歐式距離的相似度進(jìn)行匹配,由于沒(méi)有考慮到點(diǎn)自身的高階語(yǔ)義屬性,不可避免地會(huì)產(chǎn)生一些錯(cuò)誤匹配,因此本文提出一種融合圖像高階語(yǔ)義的匹配算法,旨在增加匹配正確率。給定紅綠藍(lán)通道(red，green，blue,RGB)圖像,X={x1,x2,…,xN}對(duì)應(yīng)于所有圖像像素的集合,N為圖像像素點(diǎn)數(shù)量,待配準(zhǔn)圖與參考圖像素集合分別用XM,XR表示。圖像語(yǔ)義分割后對(duì)原圖每個(gè)像素指定預(yù)定義的類(lèi),如圖4(c)所示,分割提取的高階語(yǔ)義信息基本與實(shí)際物體所屬類(lèi)別一致,以不同顏色標(biāo)記不同類(lèi)像素,標(biāo)簽集合L={l1,l2,…Ij…,lC},j∈{1,2,…,C},C表示對(duì)象類(lèi)標(biāo)簽的個(gè)數(shù),由于語(yǔ)義分割的結(jié)果存在分類(lèi)誤差,本文用PLj表示像素分割為語(yǔ)義標(biāo)簽j的準(zhǔn)確度,表1說(shuō)明了語(yǔ)義標(biāo)簽的準(zhǔn)確度。

圖4(d)部分是本文提出的融合圖像高階語(yǔ)義信息圖像特征匹配方法在場(chǎng)景I下的效果圖,可以看出,本文的方法能夠剔除圖像中大量的誤匹配,提高匹配正確率的同時(shí)優(yōu)化匹配點(diǎn)數(shù)量。在分析過(guò)程中為了增加實(shí)驗(yàn)的可信度本文對(duì)包含場(chǎng)景I的5個(gè)不同場(chǎng)景進(jìn)行分析測(cè)試。

圖4 本文匹配方法效果圖Fig.4 Matching method in this paper

表1 文獻(xiàn)[19]模型語(yǔ)義標(biāo)注正確率Table 1 Semantic annotation accuracy of model in[19]

本文使用語(yǔ)義分割產(chǎn)生的像素級(jí)語(yǔ)義標(biāo)簽對(duì)傳統(tǒng)基于特征向量歐氏距離的匹配方法進(jìn)行擴(kuò)展,將語(yǔ)義分割結(jié)果與圖像特征匹配對(duì)集合M={m1,m2}相關(guān)聯(lián),其中m1表示正確匹配對(duì)集合,m2表示錯(cuò)誤匹配對(duì)集合。特征匹配過(guò)程表示為

P(mij∈m1)=ω1φij+ω2φ(xi,xj)

(2)

式中,1≤i,j≤N,xi∈XM,xj∈XR;mij為點(diǎn)xi與點(diǎn)xj組成的特征匹配對(duì);當(dāng)概率P(mij∈m1)大于匹配閾值Mth時(shí)認(rèn)為該匹配是正確的;ω表示各項(xiàng)權(quán)值,ω1+ω2=1;φ(xi,xj)表示匹配點(diǎn)對(duì)應(yīng)特征向量歐式距離相似概率;φ表示匹配對(duì)屬于同一語(yǔ)義分類(lèi)的概率,表示為

(3)

式中,seg(xj)表示對(duì)像素xj進(jìn)行語(yǔ)義分割后的分類(lèi)結(jié)果,由于匹配點(diǎn)對(duì)的語(yǔ)義分割結(jié)果同時(shí)錯(cuò)誤的概率很小,本文僅考慮圖像單個(gè)像素語(yǔ)義分類(lèi)誤差。匹配點(diǎn)對(duì)特征向量歐式距離的相似度可以用匹配點(diǎn)間歐式距離與匹配集合中相關(guān)匹配歐式距離集合中次最小值的關(guān)系來(lái)確定，即

φij(xi,xj)=

(4)

式中,Min2表示取集合中次最小值的函數(shù);Disij為點(diǎn)xi與點(diǎn)xj所組成匹配對(duì)的歐式距離,匹配對(duì)的歐式距離越近,φij(xi,xj)的值越大,匹配正確的概率越高,歐式距離的計(jì)算方法為

(5)

傳統(tǒng)匹配方法中僅用到式(5),當(dāng)最小歐式距離與次最小歐式距離的比值小于設(shè)定閾值時(shí),認(rèn)為特征點(diǎn)與對(duì)應(yīng)的最小歐式距離的特征點(diǎn)是匹配的,但匹配過(guò)程僅利用了特征點(diǎn)的鄰域點(diǎn)信息,文獻(xiàn)[21-22]提出結(jié)合圖像的紅外光優(yōu)化配準(zhǔn)算法,并取得了一定成果,但紅外采集設(shè)備的引入,帶來(lái)了數(shù)據(jù)同步困難和經(jīng)費(fèi)成本增加等問(wèn)題。本文提出的融合高階語(yǔ)義信息的特征匹配方法能夠充分結(jié)合圖像自身的語(yǔ)義屬性,優(yōu)化配準(zhǔn)算法,提高匹配正確率。

3 拼接質(zhì)量評(píng)價(jià)

拼接質(zhì)量評(píng)價(jià)本質(zhì)是對(duì)拼接圖與參考圖的重疊區(qū)域進(jìn)行圖像相似度評(píng)價(jià),傳統(tǒng)評(píng)價(jià)法僅從圖像的色彩、紋理等幾何特征角度分析,而沒(méi)有考慮目標(biāo)的語(yǔ)義屬性。本文將圖像語(yǔ)義信息與傳統(tǒng)的圖像幾何信息相融合,提出一種融合圖像語(yǔ)義的圖像拼接質(zhì)量評(píng)價(jià)方法,結(jié)果更符合人眼實(shí)際評(píng)價(jià)標(biāo)準(zhǔn),實(shí)現(xiàn)流程如圖5所示。

圖5 本文拼接評(píng)價(jià)算法流程圖Fig.5 Stitching evaluation algorithm flowchart in this paper

本文評(píng)價(jià)算法主要從圖像的紋理、色彩、語(yǔ)義3方面出發(fā),綜合考慮圖像在這3方面的相似程度,最終計(jì)算出更為符合人眼視覺(jué)的評(píng)價(jià)結(jié)果Q,圖6是一個(gè)具體場(chǎng)景下的示意圖。

圖6 拼接質(zhì)量評(píng)價(jià)示意圖Fig.6 Stitching quality evaluation

在利用兩個(gè)單應(yīng)矩陣變形對(duì)齊圖像后,分別提取待配準(zhǔn)圖與參考圖中的重疊感興趣區(qū)域(圖6(a) Ⅲ區(qū)域),用IM與IR表示,然后分別提取圖IM與圖IR的紋理信息、語(yǔ)義信息、色彩信息等,并計(jì)算相似度。其中邊緣紋理信息的提取方法是先對(duì)原始圖進(jìn)行灰度化處理,按照Y=0.3R+0.59G+0.11B轉(zhuǎn)換方法將三通道的RGB圖像轉(zhuǎn)化為單通道的灰度圖像。然后采用兩個(gè)3×3的高斯卷積核對(duì)圖像做平面卷積處理,得到橫向與縱向的亮度差分近似值,再結(jié)合橫向與縱向的亮度差分近似值計(jì)算出圖像中每個(gè)點(diǎn)的近似梯度,最后,對(duì)圖像進(jìn)行二值化處理進(jìn)而獲取邊緣檢測(cè)圖[23],其計(jì)算過(guò)程為

(6)

(7)

則重疊率計(jì)算方法為

(8)

式中,sum(I)表示圖像Ⅰ中所有像素點(diǎn)的灰度值總和,經(jīng)過(guò)計(jì)算可以獲取IM_D與IR_D邊緣紋理的重疊率α(見(jiàn)圖6(c))。

經(jīng)過(guò)語(yǔ)義分割圖IM與IR后可以獲取相應(yīng)的語(yǔ)義圖IM_S與IR_S(見(jiàn)圖6(b))。語(yǔ)義分割的結(jié)果使得圖像中每個(gè)像素具有不同的語(yǔ)義強(qiáng)度,但分割結(jié)果也存在著分類(lèi)誤差?；谝陨闲畔⒖紤],圖像語(yǔ)義相似度檢測(cè)方法可參考紋理邊緣重疊率的計(jì)算方法,求取語(yǔ)義圖IM_S與IR_S的相似匹配圖IS,過(guò)程為

(9)

則相似率的計(jì)算方法為

(10)

其中,sum_ele(I)表示圖像Ⅰ中所有非零像素點(diǎn)數(shù)量總和,經(jīng)過(guò)計(jì)算可以獲取語(yǔ)義圖IM_S與IR_S語(yǔ)義相似度β(見(jiàn)圖6(c))。

對(duì)于圖像來(lái)說(shuō),色調(diào)飽和度明暗通道(hue,saturation,value,HSV)色彩空間比RGB色彩空間更能直觀(guān)地表達(dá)色彩的明暗、色調(diào)以及鮮艷程度,面對(duì)光照的變化更穩(wěn)定[24],本文通過(guò)研究相同顏色在不同色彩空間下的表征方法,將HSV與CIE 1976(L*,a*,b*)色彩空間相結(jié)合對(duì)圖像的色彩進(jìn)行分割。為了減少光照以及圖像亮度對(duì)檢測(cè)的影響,在色彩分割之前需要對(duì)圖像IM與IR進(jìn)行相應(yīng)的預(yù)處理,采用均衡化方法處理圖像的RGB通道直方圖,加強(qiáng)色彩效果,然后通過(guò)對(duì)通道H以及通道A、B的顏色信息進(jìn)行分析如圖6(b)所示,計(jì)算圖像IM與IR的色彩匹配圖IC,過(guò)程為

(11)

根據(jù)物體色彩在圖像中平滑過(guò)渡的特點(diǎn),對(duì)不同的色彩空間,用高斯核定義HSV的H通道項(xiàng)與LAB通道的A、B通道項(xiàng),其表達(dá)形式為

(12)

式中,H(x,y)表示HSV空間下H通道在點(diǎn)(x,y)處的像素值;A(x,y)與B(x,y)則分別表示LAB空間下A與B通道在點(diǎn)(x,y)處的像素值;σH,σA和σB控制高斯核的影響,其值設(shè)定為H、A、B通道的強(qiáng)度變化幅值;每個(gè)核l(k)(x,y)由ω(k)加權(quán)。計(jì)算結(jié)果傾向于將相同位置下色彩變化不明顯的點(diǎn)作為相似點(diǎn)處理,有助于色彩相似度的檢測(cè),最終色彩相似度γ的計(jì)算方法為

(13)

由于圖像相似程度與圖像的紋理、語(yǔ)義、色彩等特征直接相關(guān),因此本文用Q=αβγ表示計(jì)算出的圖像拼接質(zhì)量評(píng)價(jià)結(jié)果。

4 實(shí)驗(yàn)與分析

本文在Liunx系統(tǒng)下通過(guò)c++編程實(shí)現(xiàn)了提出的方法,并在配置為2.8GHz CPU、16G RAM 和低耗版GTX-1050Ti的筆記本上進(jìn)行實(shí)驗(yàn)。從融合語(yǔ)義的匹配準(zhǔn)確性、拼接質(zhì)量評(píng)價(jià)客觀(guān)性以及自適應(yīng)拼接的算法效率出發(fā),做了相關(guān)的實(shí)驗(yàn)。

4.1 融合語(yǔ)義的圖像特征匹配

在驗(yàn)證融合圖像語(yǔ)義匹配方法的實(shí)驗(yàn)中,本文使用文獻(xiàn)[5-7]提供的5個(gè)場(chǎng)景的圖像數(shù)據(jù)進(jìn)行特征匹配實(shí)驗(yàn),場(chǎng)景如圖7所示。在提取特征之前,本文將圖片都轉(zhuǎn)化為640×480大小,本文和文獻(xiàn)[17]都采用SURF算法提取圖像特征,該算法相比于傳統(tǒng)尺度不變特征變換(scale-invariant feature transform,SIFT)方法同樣具有尺度旋轉(zhuǎn)不變性,但其計(jì)算效率快了一個(gè)數(shù)量級(jí),能夠高效地提取特征。文獻(xiàn)[17]匹配的算法采用的是FLANN,結(jié)合KNN匹配對(duì)篩選算法,匹配結(jié)果存在大量誤匹配,主要集中在不同類(lèi)但特征相似的像素點(diǎn)對(duì)之間。本文從匹配正確率、匹配數(shù)量、匹配時(shí)間出發(fā),對(duì)文獻(xiàn)[17]與本文提出的匹配方法進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如表2所示,根據(jù)調(diào)試經(jīng)驗(yàn),閾值Dth設(shè)為經(jīng)驗(yàn)值0.7,Mth設(shè)為經(jīng)驗(yàn)值0.8。

表2 5個(gè)場(chǎng)景下匹配算法的性能比較Table 2 Comparison of matching algorithms in five scenes

在比較不同特征匹配方法準(zhǔn)確度實(shí)驗(yàn)中,本文使用隨機(jī)抽樣一致(random sample consensus,RANSAC)算法,通過(guò)計(jì)算不同投影模型M的投影誤差,得到誤差閾值范圍內(nèi)的內(nèi)點(diǎn)集I,通過(guò)k次迭代,k=ln(1-p)/ln(1-wm),求取最優(yōu)投影模型MB使得其內(nèi)點(diǎn)集中元素最多,式中p為置信度,設(shè)為0.999；w為內(nèi)點(diǎn)所占比例,設(shè)為0.3；m為最小樣本數(shù),設(shè)為4；誤差閾值設(shè)為3。因此在迭代了850次后,此時(shí)在內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)認(rèn)為是正確匹配的,通過(guò)計(jì)算正確匹配點(diǎn)在不同方法產(chǎn)生匹配對(duì)集合中所占的比例,得出匹配準(zhǔn)確度。表2的結(jié)果顯示,本文提出的方法與文獻(xiàn)[17]中使用的方法相比,獲取的匹配對(duì)數(shù)量相近,但匹配準(zhǔn)確性卻提高了50%左右,這使得本文的方法在迭代次數(shù)相同的情況下能夠更準(zhǔn)確且快速地計(jì)算出圖像間的單應(yīng)矩陣。

由于引入了圖像語(yǔ)義信息,圖像中大量的誤匹配被剔除掉,在提高匹配精度的同時(shí)優(yōu)化匹配點(diǎn)數(shù)量,縮短了單應(yīng)矩陣的計(jì)算時(shí)間。

4.2 融合圖像語(yǔ)義拼接質(zhì)量評(píng)價(jià)方法

本文提出的拼接質(zhì)量評(píng)價(jià)方法本質(zhì)是對(duì)兩幅圖像的相似度進(jìn)行評(píng)估,而圖像對(duì)齊效果直接影響到拼接的質(zhì)量。單應(yīng)性是指從一個(gè)平面q到另一個(gè)平面Q的映射,可以表示為q=sMWQ,式中單應(yīng)矩陣表示為H=sMW,其中s表示尺度的比例系數(shù)；M表示相機(jī)的內(nèi)參數(shù)矩陣；W=[Rt]表示由旋轉(zhuǎn)平移組成的物理變換矩陣。實(shí)驗(yàn)在大小為1 600×1 200的圖像中進(jìn)行(見(jiàn)圖7),選取圖8(a)中400×400紅色窗口內(nèi)圖像作為參考圖,由于相機(jī)內(nèi)參數(shù)矩陣在相機(jī)標(biāo)定后不會(huì)變化,假設(shè)相機(jī)內(nèi)參已經(jīng)標(biāo)定。本實(shí)驗(yàn)在充分考慮拼接過(guò)程中出現(xiàn)誤差原因的基礎(chǔ)上,對(duì)圖8(a)中圖像在不同尺度、旋轉(zhuǎn)以及平移參數(shù)下進(jìn)行變換,并利用同一位置相同大小的窗口產(chǎn)生3組數(shù)量為400的圖像序列,過(guò)程如圖8(b)所示,利用4種圖像相似度計(jì)算方法進(jìn)行圖像檢索實(shí)驗(yàn)。

圖7 5個(gè)測(cè)試場(chǎng)景Fig.7 Five tested scenes

圖8 生成圖像測(cè)試序列Fig.8 Generating the image test sequence

除本文方法外,另外3種圖像相似度計(jì)算方法如下。

(1) 峰值信噪比

峰值信噪比(peak signal to noise ratio,PSNR)是一種全參考的客觀(guān)圖像相似度評(píng)價(jià)指標(biāo),該方法計(jì)算的是兩幅圖像間均方誤差相對(duì)于最大信號(hào)平方的對(duì)數(shù)值,結(jié)果數(shù)值越大兩個(gè)圖像間的相似程度越高。

(2) 結(jié)構(gòu)相似性

結(jié)構(gòu)相似性(structural similarity index,SSIM)是一種全參考的圖像相似度評(píng)價(jià)指標(biāo),該方法分別從圖像的亮度、對(duì)比度、結(jié)構(gòu)3方面度量圖像相似性[25],更符合人眼視覺(jué)感受。

(3) 感知哈希

哈希方法描述了一類(lèi)可比較的哈希函數(shù),該方法提取圖像的低頻信息作為比較內(nèi)容,對(duì)圖像的尺寸、對(duì)比度、亮度具有良好的魯棒性[26]。

在相似度評(píng)價(jià)實(shí)驗(yàn)前,先將圖8所示的3組圖像序列做高斯濾波和亮度變暗處理,模擬實(shí)際拼接過(guò)程中投影變換帶來(lái)的邊緣模糊以及曝光不均勻造成的亮度差異的情況。為了方便比較,本文將4種評(píng)價(jià)方法的結(jié)果進(jìn)行歸一化處理,最終結(jié)果如圖9所示。

表3 4種評(píng)價(jià)方法耗時(shí)Table 3 Time-consuming of four evaluation methods

本實(shí)驗(yàn)對(duì)3組不同變換方式產(chǎn)生的圖像序列與參考圖進(jìn)行相似度評(píng)估。圖9結(jié)果顯示本文提出的方法相對(duì)于感知哈希算法魯棒性更強(qiáng),相對(duì)于PSNR方法評(píng)價(jià)結(jié)果區(qū)分更明顯。本文方法和SSIM方法都能夠很快地收斂到真值附近但本文算法評(píng)價(jià)結(jié)果隨圖像差異變化過(guò)渡更符合人眼視覺(jué)。表3顯示的是4種算法在處理大小為400×400圖片過(guò)程中的平局處理時(shí)間,結(jié)果顯示感知哈希算法結(jié)果最快,而SSIM由于其計(jì)算量大,每個(gè)過(guò)程需要267 ms,本文提出的方法則只需要82.6 ms,滿(mǎn)足實(shí)時(shí)處理的需求。綜上所述,本文提出的基于圖像語(yǔ)義的拼接質(zhì)量評(píng)價(jià)方法在評(píng)價(jià)結(jié)果以及處理耗時(shí)方面表現(xiàn)良好。

圖9 4種評(píng)價(jià)方法測(cè)試結(jié)果Fig.9 Test results of four evaluation methods

4.3 自適應(yīng)動(dòng)態(tài)視頻拼接方法

本實(shí)驗(yàn)的數(shù)據(jù)由安裝在紅旗H7上的兩個(gè)攝像機(jī)拍攝得到,實(shí)驗(yàn)平臺(tái)如圖10所示,攝像機(jī)采用的是菲力爾公司推出的Flea3系列相機(jī),該相機(jī)能以60每秒傳輸幀數(shù)(frames per second,FPS)的速度采集分辨率為1 280×1 024的圖像,為了加快處理,本文將視頻幀壓縮到640×480。圖10所示的兩個(gè)攝像機(jī)采用非剛性連接,其中左側(cè)攝像機(jī)與車(chē)體固連,右側(cè)攝像機(jī)可以多自由度運(yùn)動(dòng),模擬兩個(gè)攝像機(jī)相對(duì)位姿不固定的情況。測(cè)試地點(diǎn)選在北京理工大學(xué)中關(guān)村校區(qū),測(cè)試環(huán)境如圖11所示,環(huán)境既包括靜態(tài)背景也包括車(chē)輛行駛中產(chǎn)生的動(dòng)態(tài)背景,在獲取視頻過(guò)程中加入了人為對(duì)攝像機(jī)位姿的擾動(dòng),此時(shí)有來(lái)自?xún)蓚€(gè)方面的因素會(huì)導(dǎo)致拼接參數(shù)的更新:①攝像機(jī)間相對(duì)位姿的變化;②由于場(chǎng)景移動(dòng)導(dǎo)致視場(chǎng)中投影平面的變化。拼接的過(guò)程是按照第1節(jié)提出的拼接框架進(jìn)行,以拼接質(zhì)量評(píng)價(jià)結(jié)果作為反饋,進(jìn)而優(yōu)化拼接結(jié)果,使得結(jié)果盡可能達(dá)到本文設(shè)定的拼接評(píng)價(jià)閾值Th,本實(shí)驗(yàn)設(shè)定閾值Th為經(jīng)驗(yàn)值0.7。

圖10 實(shí)驗(yàn)平臺(tái)Fig.10 Experiment platform

本實(shí)驗(yàn)在圖11所示的校園環(huán)境采集2 205張視頻序列做測(cè)試。為了測(cè)試程序的魯棒性,測(cè)試時(shí)車(chē)輛以10 km/h的速度行駛,拍攝環(huán)境有特征豐富的地面與建筑,也有特征缺失的墻面,相機(jī)的相對(duì)位姿也在動(dòng)態(tài)變化,使得重疊區(qū)域有超過(guò)整張圖像二分之一的序列也有低于五分之一的序列,圖12是從視頻序列中抽取的4張拼接結(jié)果圖,其中左側(cè)為使用本文提出的視頻拼接方法所生成的效果圖,右側(cè)為使用文獻(xiàn)[17]視頻拼接方法所生成的拼接效果圖。

圖11 實(shí)驗(yàn)環(huán)境Fig.11 Experimental environment

圖12 視頻序列拼接效果圖Fig.12 Video sequence stitching effect

圖12結(jié)果顯示在相機(jī)重疊區(qū)域有限,相機(jī)位姿差異明顯,測(cè)試環(huán)境復(fù)雜等情況下,本文算法仍能很好地計(jì)算出吻合程度較高的拼接圖。本文采用多線(xiàn)程編程方式將視頻拼接部分為主線(xiàn)程、特征配準(zhǔn)線(xiàn)程、拼接評(píng)價(jià)線(xiàn)程等,使得算法能夠以約2幀(537 ms)的速度拼接運(yùn)動(dòng)場(chǎng)景下的視頻幀,其中語(yǔ)義分割耗時(shí)占總耗時(shí)的80%左右。

本文采用所提出的拼接質(zhì)量評(píng)價(jià)方法對(duì)兩種拼接方法下視頻序列的拼接結(jié)果進(jìn)行評(píng)估,評(píng)估結(jié)果如圖13所示。

圖13 視頻序列拼接評(píng)價(jià)結(jié)果Fig.13 Stitching evaluation result of video sequence

圖13實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果顯示,本文拼接方法評(píng)價(jià)均值為0.664 9,文獻(xiàn)[17]拼接方法的評(píng)價(jià)均值為0.534 7。在一些視頻序列中,文獻(xiàn)[17]拼接方法的拼接結(jié)果評(píng)價(jià)過(guò)低,其原因主要有3種可能:①參考圖與待配準(zhǔn)圖視野重疊區(qū)域過(guò)小。由于攝像機(jī)組加入相對(duì)位姿的動(dòng)態(tài)調(diào)整,導(dǎo)致某些攝像頭相對(duì)位姿下的視野重疊區(qū)域過(guò)小,其特點(diǎn)是存在時(shí)間較長(zhǎng)且評(píng)價(jià)結(jié)果接近于0。②參考圖與待配準(zhǔn)圖重疊區(qū)域特征缺失。由于參考圖與待配準(zhǔn)圖重疊區(qū)域特征單一且稀疏,導(dǎo)致拼接結(jié)果有局部投影誤差,其特點(diǎn)是存在時(shí)間較短但評(píng)價(jià)結(jié)果不會(huì)太低,可以通過(guò)本文提出的基于反饋的拼接模式優(yōu)化。③測(cè)試環(huán)境中攝像機(jī)距離前景目標(biāo)較近,視差過(guò)大。其特點(diǎn)是存在時(shí)間短且評(píng)價(jià)結(jié)果急驟下跌;本文提出的帶有拼接質(zhì)量反饋的自適應(yīng)動(dòng)態(tài)視頻拼接方法能很好優(yōu)化這些問(wèn)題。綜上所述,本文視頻拼接方法相比于文獻(xiàn)[17]提出的拼接方法,拼接質(zhì)量提升了24.35%,在一些復(fù)雜環(huán)境下拼接結(jié)果更為魯棒。

5 結(jié) 論

現(xiàn)有的視頻拼接方案大多基于圖像的低階幾何特征實(shí)現(xiàn),而沒(méi)有考慮圖像像素自身的高階語(yǔ)義信息,并且拼接過(guò)程都是單方向。為了減少匹配誤差、提高拼接精度,本文提出一種融合圖像語(yǔ)義的自適應(yīng)動(dòng)態(tài)視頻拼接方法,其重要優(yōu)勢(shì)在于:①該方法將圖像像素點(diǎn)的語(yǔ)義信息融合到傳統(tǒng)基于特征向量歐式距離的匹配方法中,利用圖像的多種屬性對(duì)特征進(jìn)行匹配與篩選,提高算法對(duì)錯(cuò)誤匹配點(diǎn)的魯棒性;②該方法包含一種圖像拼接質(zhì)量評(píng)價(jià)方案,即充分考慮圖像間紋理、色彩、語(yǔ)義等信息的相似程度,更貼合人眼的主觀(guān)感受;③該方法在視頻拼接過(guò)程中引入了拼接結(jié)果的反饋,能夠根據(jù)拼接的歷史信息優(yōu)化特征缺失情況下的拼接結(jié)果;④該方法采用多線(xiàn)程編程的方式分時(shí)并行處理拼接過(guò)程,加快拼接過(guò)程。實(shí)驗(yàn)結(jié)果顯示,相比于傳統(tǒng)算法,本文提出的匹配算法正確率提升了50%左右,拼接評(píng)價(jià)算法更符合人眼視覺(jué),拼接質(zhì)量提升了25%左右。但本文的方法由于引入了圖像的語(yǔ)義分割,降低了算法的實(shí)時(shí)性,在未來(lái)將著重改進(jìn)現(xiàn)有的語(yǔ)義分割模型,使得語(yǔ)義分割更加高效準(zhǔn)確,進(jìn)而提高融合圖像語(yǔ)義視頻拼接方法的準(zhǔn)確性與高效性。