圖像拼接技術(shù)在海洋環(huán)境監(jiān)測(cè)中的應(yīng)用研究

李明兵，張鎖平，張東亮，齊占輝

(國(guó)家海洋技術(shù)中心，天津 300112)

圖像拼接技術(shù)在海洋環(huán)境監(jiān)測(cè)中的應(yīng)用研究

李明兵，張鎖平，張東亮，齊占輝

(國(guó)家海洋技術(shù)中心，天津 300112)

圖像拼接是視頻監(jiān)測(cè)中一項(xiàng)重要的技術(shù)，能夠?qū)⒍喾鶊D像拼接融合在一起得到一幅寬視角場(chǎng)景的圖像，從而有效地?cái)U(kuò)大了視野和監(jiān)測(cè)范圍。首先介紹了海洋環(huán)境視頻監(jiān)測(cè)系統(tǒng)的構(gòu)成，然后描述了圖像拼接技術(shù)原理，提出了一種基于彩色梯度特征和彩色b*分量的圖像配準(zhǔn)方法，最后將文中圖像拼接方法成功地應(yīng)用到了“邊遠(yuǎn)島視頻監(jiān)測(cè)系統(tǒng)”中。

圖像拼接；海洋環(huán)境監(jiān)測(cè)；圖像配準(zhǔn)

海洋環(huán)境監(jiān)測(cè)對(duì)于海洋管理和海洋環(huán)境保護(hù)具有重要的意義。視頻監(jiān)測(cè)技術(shù)具有成本低、適應(yīng)性強(qiáng)等優(yōu)勢(shì)，成為重要的海洋環(huán)境監(jiān)測(cè)手段[1]。由于一般監(jiān)測(cè)海域范圍比較廣闊，而單個(gè)攝像機(jī)的監(jiān)測(cè)范圍有限，大范圍成像的攝像設(shè)備又價(jià)格高昂，使得視頻監(jiān)測(cè)技術(shù)的應(yīng)用受到了限制。圖像拼接技術(shù)可以在不降低分辨率的情況下獲得大視野范圍的圖像，因此成為海洋環(huán)境視頻監(jiān)測(cè)中一項(xiàng)重要技術(shù)。

圖像拼接是將一組相關(guān)的圖像序列進(jìn)行空間匹配對(duì)準(zhǔn)，經(jīng)重采樣合成后形成一幅包含各序列圖像信息的寬視角場(chǎng)景的、高清晰的新圖像的技術(shù)[2]。目前圖像拼接技術(shù)已應(yīng)用在許多海洋環(huán)境視頻監(jiān)測(cè)系統(tǒng)中，通過對(duì)圖像進(jìn)行后續(xù)處理可以獲得海岸線變化和海灘侵蝕統(tǒng)計(jì)、海浪波速和波向等多種數(shù)據(jù)產(chǎn)品。

本文首先介紹了海洋環(huán)境視頻監(jiān)測(cè)系統(tǒng)的構(gòu)成，然后對(duì)海洋環(huán)境中圖像拼接的技術(shù)原理進(jìn)行了描述，最后介紹了本文方法在“邊遠(yuǎn)島視頻監(jiān)控系統(tǒng)”中的實(shí)際應(yīng)用情況。

1 系統(tǒng)構(gòu)成

一個(gè)典型的海洋環(huán)境視頻監(jiān)測(cè)系統(tǒng)的構(gòu)成如圖1所示。待拼接的圖像有兩種采集方式：由多個(gè)固定攝像機(jī)同時(shí)采集或者由單個(gè)云臺(tái)攝像機(jī)連續(xù)采集，它們分別通過視頻采集器發(fā)送到現(xiàn)場(chǎng)計(jì)算機(jī)進(jìn)行拼接，最后通過公用或?qū)Ｓ猛ㄓ嵕W(wǎng)傳輸?shù)街行姆?wù)器做進(jìn)一步處理。

2 圖像拼接技術(shù)原理

圖1 海洋環(huán)境視頻監(jiān)測(cè)系統(tǒng)構(gòu)成

一般的圖像拼接過程可分為圖像預(yù)處理、圖像配準(zhǔn)和圖像融合三個(gè)步驟，對(duì)于多幅圖像的拼接，首先從待拼接圖像集合中選取一幅參考圖像，將其與相鄰待拼接圖像按上述三個(gè)步驟進(jìn)行拼接，然后將拼接完成的圖像放入待拼接圖像集合并作為新的參考圖像，重復(fù)上述步驟直到完成拼接，流程如圖2所示。本文采用以上流程對(duì)采集的近岸海洋環(huán)境圖像進(jìn)行拼接，并根據(jù)海洋環(huán)境圖像特征做針對(duì)性的處理，具體方法如下所述。

2.1 圖像預(yù)處理

圖像預(yù)處理的主要目的是調(diào)整圖像以便于下一步的圖像配準(zhǔn)，它的主要操作步驟包括圖像質(zhì)量的調(diào)整（直方圖處理、圖像平滑濾波等）、圖像分辨率的調(diào)整（用于多級(jí)圖像配準(zhǔn)）等，其中最重要的是圖像運(yùn)動(dòng)參數(shù)模型的確立，它決定了拼接的操作平面以及最終各序列圖像的相對(duì)位置。

圖2 多幅圖像拼接流程

目前已有的運(yùn)動(dòng)參數(shù)模型包括從簡(jiǎn)單的二維變換到平面投影模型，再到復(fù)雜的三維相機(jī)旋轉(zhuǎn)模型以及非平面投影模型（如柱面投影、球面投影）等[3]。平面模型只適合于圖像存在剛性變換（平移、旋轉(zhuǎn)、縮放等）或投影變換的場(chǎng)合，在一般的三維運(yùn)動(dòng)場(chǎng)景中，應(yīng)用更多的是非平面的投影模型。對(duì)于待拼接的海洋環(huán)境圖像序列，一般是由云臺(tái)旋轉(zhuǎn)攝像機(jī)單視點(diǎn)拍攝或呈扇形分布的固定攝像機(jī)拍攝獲得，因此本文選用柱面投影模型，它是將原始圖像序列映射到一個(gè)統(tǒng)一的柱面坐標(biāo)空間，如圖 3(a)所示，其中，I、J、K 分別表示原始圖像、柱面投影圖像和柱面空間，原點(diǎn)為觀察點(diǎn)O（投影中心），由該點(diǎn)出發(fā)的光軸與圖像交點(diǎn)即為圖像中心。

設(shè)柱面半徑為r，原始圖像寬度為W，高度為H，則對(duì)原始圖像上任意一點(diǎn)P(x，y)，設(shè)其在柱面投影圖像上對(duì)應(yīng)點(diǎn)Q的坐標(biāo)為(＾，＾)，對(duì)點(diǎn) P 沿 x-z平面、y-z平面的橫截面如圖3(b)、3(c)所示，這時(shí)可得柱面投影變換公式[4]：

2.2 圖像配準(zhǔn)

圖3 柱面投影變換

圖像配準(zhǔn)主要是依據(jù)圖像間的相似性特征來尋找最佳匹配位置，它是圖像拼接中的關(guān)鍵步驟，決定著最終拼接圖像的質(zhì)量。圖像配準(zhǔn)方法中適應(yīng)性最強(qiáng)，應(yīng)用最廣泛的是基于圖像特征的方法。常用的圖像特征信息包括邊緣特征、區(qū)域特征、點(diǎn)特征和高層模型等。與之對(duì)應(yīng)，研究人員提出了許多成功的圖像特征算子與理論，如Harris算子[5]，SIFT算子[6]等，這些方法對(duì)于場(chǎng)景運(yùn)動(dòng)具有很好的適應(yīng)性，但是需要復(fù)雜的操作步驟。

本文采用一種基于特征模板匹配的方法，并分別考察了圖像的灰度梯度特征、彩色梯度特征和b*顏色分量特征，各圖像特征如圖4示例?；叶忍荻忍卣鞣从沉藞D像的亮度變化；彩色梯度圖像對(duì)于圖像邊緣的響應(yīng)優(yōu)于灰度特征，但是敏感于圖像光照的變化；b*顏色分量屬于L*a*b*彩色空間，代表藍(lán)黃分量，因此可以很好地區(qū)分藍(lán)色海面和黃色沙灘，并且它對(duì)圖像光照的變化不太敏感[7]。經(jīng)過對(duì)比驗(yàn)證，彩色梯度特征與b*顏色分量特征結(jié)合的圖像配準(zhǔn)效果最好，因此本文以這兩種特征作為匹配模板。匹配準(zhǔn)則采用平均絕對(duì)誤差方法(MAD∶Mean Absolute Difference)，其定義如下：

式中：fk+1(x,y)，fk(x,y)分別為兩相鄰圖像的像素灰度值；M，N為匹配模板大??；Δx,Δy為水平方向和垂直方向的位移量。

對(duì)于固定攝像機(jī)采集的圖像，各攝像機(jī)設(shè)置參數(shù)各不相同，重疊區(qū)域之間具有光強(qiáng)的差異，同時(shí)各攝像機(jī)位置固定，拍攝圖像間的轉(zhuǎn)換關(guān)系也是固定的，因此本文以手動(dòng)配準(zhǔn)確定轉(zhuǎn)換參數(shù)。

對(duì)于云臺(tái)旋轉(zhuǎn)攝像機(jī)采集的圖像，可以認(rèn)為圖像序列是由單視點(diǎn)拍攝獲得，經(jīng)過柱面投影變換以后，攝像機(jī)水平方向的旋轉(zhuǎn)導(dǎo)致圖像水平向的位移，豎直向的小角度運(yùn)動(dòng)導(dǎo)致圖像豎直向的位移，因此相鄰圖像間的變換就轉(zhuǎn)化為柱面坐標(biāo)下圖像的二維平移的估計(jì)。

圖4 圖像特征

2.3 圖像融合

由于拍攝光照、環(huán)境條件的差異，兩幅圖像的重疊區(qū)域可能會(huì)有較大的差別，如果直接進(jìn)行簡(jiǎn)單疊加，在拼接位置處可能會(huì)出現(xiàn)明顯的接縫或模糊現(xiàn)象，因此需要進(jìn)行圖像融合。圖像融合主要是實(shí)現(xiàn)拼接邊界的平滑過渡，因此這一技術(shù)又稱為圖像的無縫合成技術(shù)。

本文采用一種漸入漸出平滑過渡的方法，這也是目前采用較多的圖像融合方法[8]。具體方法是在兩幅圖像重疊區(qū)域引入漸變系數(shù)σ(0≤σ≤1)，兩幅圖像重疊區(qū)x軸最大值和最小值分別為xmax，xmin，則漸變系數(shù)為：

重疊區(qū)域圖像強(qiáng)度為：

式中：IA，IB分別為原始圖像對(duì)應(yīng)的像素強(qiáng)度。該方法通過對(duì)不同位置像素賦予不同權(quán)值實(shí)現(xiàn)了圖像間的平滑過渡。

3 應(yīng)用實(shí)例

本文的拼接圖像數(shù)據(jù)來源于海洋公益性行業(yè)科研專項(xiàng)項(xiàng)目“邊遠(yuǎn)島的利用與監(jiān)控技術(shù)研究與示范”中邊遠(yuǎn)島視頻監(jiān)測(cè)系統(tǒng)，該系統(tǒng)圖像采集設(shè)備由4個(gè)固定攝像機(jī)和1個(gè)云臺(tái)旋轉(zhuǎn)攝像機(jī)組成，可監(jiān)測(cè)180°視角范圍內(nèi)海面實(shí)時(shí)狀況。

圖5所示4個(gè)固定攝像機(jī)拍攝的圖像及其拼接圖像，可以看到，拼接后的圖像視野范圍得到了極大的擴(kuò)展，從而監(jiān)測(cè)人員也可以更加快速、準(zhǔn)確地了解海面狀況。

圖6所示為云臺(tái)旋轉(zhuǎn)攝像機(jī)的拼接圖像，云臺(tái)旋轉(zhuǎn)攝像機(jī)配置了更大焦距的攝像頭，可以更靈活地監(jiān)測(cè)海面狀況。該攝像機(jī)采用定時(shí)工作的方式獲取連續(xù)采集的圖像，從圖中可以看到暴雨來臨之前整個(gè)海面的狀況。

圖5 固定攝像機(jī)的拼接圖像

圖6 云臺(tái)旋轉(zhuǎn)攝像機(jī)的拼接圖像

4 結(jié)論

圖像拼接技術(shù)在海洋環(huán)境監(jiān)測(cè)中具有廣闊的應(yīng)用前景，它使得監(jiān)控技術(shù)、圖像處理技術(shù)等不再局限于單個(gè)視頻畫面，極大地?cái)U(kuò)展了視野寬度，更加有利于監(jiān)測(cè)人員的觀察和分析。

本文提出了一種基于圖像彩色梯度特征和b*顏色分量的圖像配準(zhǔn)方法，并結(jié)合柱面投影變換以及漸入漸出的圖像融合方法，并將本文方法成功地應(yīng)用到了“邊遠(yuǎn)島視頻監(jiān)測(cè)系統(tǒng)”中。下一步工作將集中于圖像的后續(xù)處理研究。

[1]張鎖平,張春田.近海視頻測(cè)量與應(yīng)用[J].海洋技術(shù),2006,25(1)：11-19.

[2]劉東梅.圖像拼接算法研究[D].西安∶西安電子科技大學(xué),2008.

[3]Szeliski R.Image alignment and stitching∶Tutorial[R].Technical Report MSR-TR-2004-92,Microsoft Research,2004.

[4]李忠新.圖像鑲嵌理論及若干算法研究[D].南京∶南京理工大學(xué),2004.

[5]Harris C,Stephens M.A Combined Corner and Edge Detector[C]//Proceedings Fourth Alvey Vision Conference,University of Manchester,1988,15∶147-151.

[6]Brown M,Lowe D.Automatic Panoramic Image Stitching using Invariant Features[J].International Journal of Computer Vision,2007,74(1)∶59-77.

[7]Gonzalez R,Woods R.數(shù)字圖像處理（第二版）[M].阮秋琦,等譯.北京∶電子工業(yè)出版社,2007.

[8]Szeliski R.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications,1996,16(2)∶22-30.

Research on the Application of Image Stitching to Ocean Environmental Monitoring

LI Ming-bing,ZHANG Suo-ping,ZHANG Dong-liang,QI Zhan-hui
(National Ocean Technology Center.Tianjin 300112,China)

In the field of ocean environment monitoring,the image stitching is an important technology which carries on the spatial matching to a series of images captured by several cameras,building a wide angel image and thus effectively enlarges the monitoring range.The structure of ocean environmental video monitoring system was firstly introduced,and then the principle of image stitching was discussed,in which an image registration method based on the color gradient image and b*component image was proposed,lastly the successful application to＂Remote Islands Video Monitoring System ＂was introduced.

image stitching;ocean environmental monitoring;image registration

P71，TP391

B

1003-2029（2012）04-0032-04

2012-08-24

國(guó)家海洋公益性行業(yè)科研專項(xiàng)資助項(xiàng)目(200805079)；國(guó)家海洋局海域管理重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(201111)

李明兵（1986-），男，碩士研究生，助理工程師，主要研究方向?yàn)楹Ｑ笥^測(cè)技術(shù)。Email：limingbing@126.com