無人機全景攝像機的圖像拼接技術(shù)研究

葛思遠(yuǎn)

（沈陽航空航天大學(xué)電子信息工程學(xué)院，沈陽 110136）

0 引言

為了能夠獲得一個清晰且超寬全景視角、高分辨率的全景圖像，通常對選擇的全景視頻中序列幀進(jìn)行拼接融合處理。傳統(tǒng)拍攝方式主要是直接通過采用較貴的攝像器材等來進(jìn)行圖像拍攝,采集這些特殊圖像并對其本身進(jìn)行圖像處理。通過適當(dāng)?shù)膱D像序列處理采集技術(shù)和拼接方法，逐步提高各種圖像采集質(zhì)量，最終可以達(dá)到對各種圖像采集序列的自動化處理拼接，這樣就可以獲得一個具有各種超寬成像視角、大成像距離和廣視野、高分辨率的立體圖像。

但是，在實現(xiàn)特殊場景（如高空中）中的全景實時視頻拍攝時，仍存在著很多問題，比如拍攝環(huán)境的約束、相機性能差異性、景深導(dǎo)致的視差問題、圖像實時配準(zhǔn)拼接的精度問題。針對以上問題，本文提出了基于相機標(biāo)定的柱面圖像拼接技術(shù)。

1 基于相機標(biāo)定的柱面圖像拼接

針對固定裝置的相機，在拍攝過程中不可避免會出現(xiàn)抖動，導(dǎo)致采集的圖像需要進(jìn)行相機標(biāo)定來校正，以便實現(xiàn)多角度拍攝的序列圖像拼接。矯正成像中產(chǎn)生的徑向畸變，再用柱面模型重投影獲取待拼接的序列圖像，最后用基于塊匹配的圖像配準(zhǔn)方法，結(jié)合線性加權(quán)融合得到最后的拼接圖。

1.1 相機標(biāo)定

相機標(biāo)定作為序列圖像拼接的關(guān)鍵步驟之一,標(biāo)定精度直接影響了拼接質(zhì)量。在三維攝影相機的整體成像處理過程中，三維空間的映射點被直接映射為一個位于三維相機內(nèi)部整體三維成像處理平面上的一個三維圖形映射點，這個圖形映射的空間關(guān)系參數(shù)是用三維相機的各種三維幾何圖像在形成為影像時的模型參數(shù)來進(jìn)行確定的。幾何光學(xué)模型的其他各種重要參數(shù)通常是由位于相機的其他參數(shù)類型決定的，其中通常包括位于相機外部參數(shù)和內(nèi)部的其他參數(shù)［1］。

如圖1 所示的坐標(biāo)關(guān)系圖，它們之間有著準(zhǔn)確的數(shù)學(xué)變化關(guān)系，即小孔成像模型。相機標(biāo)定采用的是簡單有效的張正有標(biāo)定法，其主要原理是先利用Harris 角點檢測算法提取黑白棋盤標(biāo)定板上內(nèi)角點的圖像坐標(biāo)，再根據(jù)其世界坐標(biāo)得到它們之間的映射關(guān)系，即單位矩陣H，再由單應(yīng)矩陣推算出內(nèi)參矩陣M和外參矩陣N，完成對鏡頭的校正。

圖1 坐標(biāo)關(guān)系圖

世界坐標(biāo)點與理想像素點的齊次變換如下公式：

式中，［xw yw zw］是三維數(shù)學(xué)世界物體坐標(biāo)系中每一個三維物體所在節(jié)點的三維世界坐標(biāo)，［u v］則是每一個物體成像中的物體所在點對應(yīng)的三維物體像素世界坐標(biāo)，R是一個3×3 的旋轉(zhuǎn)矩陣，T是一個3×1 的平移矩陣，ρ是尺寸因子，dx和dy分別為成像器件元在x和y方向上的物理尺寸，［u0v0］表示的是像素坐標(biāo)系中的主點坐標(biāo)，s為傾斜因子，一般可以忽略計算。

廣角鏡頭的標(biāo)定操作主要包括內(nèi)、外兩個參數(shù)矩陣的初始化，以及非線性的優(yōu)化三個環(huán)節(jié)，采用Levenberg-Marquardt 算法進(jìn)行迭代計算最終獲得優(yōu)化后的內(nèi)、外參數(shù)矩陣，實現(xiàn)相機的標(biāo)定校正。

1.2 畸變矯正

根據(jù)標(biāo)定后的圖像坐標(biāo)與實際坐標(biāo)之間的關(guān)系構(gòu)造攝像機的非線性模型，由于實驗中采用的是廣角鏡頭，其畸變矯正一般只需考慮徑向畸變（如圖2 所示），其徑向畸變的表現(xiàn)形式為桶形失真，所以使用了偶次多項式模型獲得畸變系數(shù)［2］。實驗中發(fā)現(xiàn)，畸變中心的精確度對圖像失真校正有直接影響，可以用拍攝多張圖像計算均值的方法來修正畸變中心的坐標(biāo)。

圖2 桶形畸變

根據(jù)標(biāo)定后的圖像未畸變點坐標(biāo)和其實際畸變點坐標(biāo)之間的關(guān)系可以構(gòu)造出一個相對于攝像機的非線性仿真模型，本系統(tǒng)中使用的廣角魚眼鏡頭畸變矯正一般僅考慮徑向畸變，如下公式所示，其徑向畸變的表現(xiàn)形式為桶形失真，所以使用了偶次多項式模型獲得2階畸變系數(shù)。

式中，［xc yc］表示畸變中心坐標(biāo)，k1、k2為畸變函數(shù)。

1.3 柱面投影

采用柱面投影可以使全景拼接圖更符合人眼的觀察習(xí)慣。柱面投影被廣泛應(yīng)用于水平方向的全景拼接，能夠一定程度地減小視差，且不會產(chǎn)生透視變換帶來的梯形失真。如圖3 所示，柱面投影的建模過程是將一幅平面圖像沿著柱面進(jìn)行重投影的過程。柱面投影模型主要包含兩個核心參數(shù)，一個是柱面映射的投影中心（即畸變中心），另一個是攝像頭的焦距。

圖3 柱面投影模型

根據(jù)柱面體的立體結(jié)構(gòu)特征，構(gòu)造圖像坐標(biāo)點變換方程，最后計算得到原圖像點（x，y）柱面重投影后的點（u，v）的坐標(biāo)換算式如下:

式中，w和H為圖像的寬和高，f為相機的聚焦。

1.4 基于塊匹配的圖像配準(zhǔn)

將圖像拼接的配準(zhǔn)進(jìn)行技術(shù)處理作為圖像拼接的圖像拼接的一個關(guān)鍵步驟，其處理結(jié)果直接影響最終圖像拼接的圖像質(zhì)量［3］。圖像配準(zhǔn)就是根據(jù)不同場景圖像的信息相似性，精確計算圖像間的變換性等參數(shù)，使成像校準(zhǔn)裝置同樣能夠在不同的成像時間、不同的成像視角下獲取的多幅圖像，可以直接轉(zhuǎn)化，或轉(zhuǎn)換至同一個圖像坐標(biāo)系下，并且同樣能夠得到最優(yōu)化相匹配的一種圖像技術(shù)校準(zhǔn)過程。根據(jù)計算圖像的灰度相似性可以作為圖像處理計算的依據(jù)和計算的對象，圖像匹配的處理計算方法大致分為四種基本類型：基于灰度的匹配、基于模板的匹配、基于變換域的匹配和基于特征的匹配［4］。

基于塊匹配的圖像配準(zhǔn)算法，其主要思想就是通過在圖像已知的重疊區(qū)域中選擇一塊矩形區(qū)域作為模板，應(yīng)用于圖中對隨機掃描被圖片匹配的兩塊圖像中相同矩形尺寸和相似重疊大小區(qū)域之間的圖像差異結(jié)果進(jìn)行比對，計算它們之間的圖像相似性和誤差度量，確定最佳的塊匹配圖像點的地理位置［5］。本文采用基于塊匹配的圖像配準(zhǔn)算法如圖4 所示，首先載入兩幅圖像矩陣，在設(shè)置完成圖像塊掃描窗口、閾值等參數(shù)后，開始掃描，計算出圖像區(qū)域間的絕對差值，差值結(jié)果和閾值進(jìn)行比較，最后通過遍歷循環(huán)兩幅圖像的區(qū)域特征（灰度差值）來得到匹配曲線結(jié)果［6］。對于已知重疊區(qū)域的待配準(zhǔn)圖像，塊匹配的圖像配準(zhǔn)方法可以對圖像進(jìn)項全面掃描，確保圖像匹配精度，減少視覺導(dǎo)致配準(zhǔn)誤差，對環(huán)境適應(yīng)性強。

圖4 圖像塊匹配過程

1.5 圖像融合

圖像融合的方法有很多，為便于實現(xiàn)，本實驗采用最簡單、效果又明顯的漸入漸出的加權(quán)融合方法［7］。該算法避免了直接平均法對圖像灰度的直接疊加，首先將重疊區(qū)域的像素點分別在圖像I1,I2中的對應(yīng)像素值進(jìn)行加權(quán)，然后利用加權(quán)系數(shù)的漸變實現(xiàn)逐漸過渡，從而得到融合圖像，原理圖如圖5所示。

圖5 線性加權(quán)融合

設(shè)I（x，y）為融合后的圖像，I1（x，y），I2（x，y）分別表示待拼接圖像的原始圖像，則有：

式中的w1，w2分別是圖像I1（x，y）和I2（x，y）重疊區(qū)域?qū)?yīng)像素的權(quán)值，其中w1+w2=1，0

圖像拼接采用簡單高效的線性加權(quán)融合方法，在確保拼接圖像質(zhì)量的同時，大大降低了計算量，可以提升實時性［8］。

2 實驗分析

此次實驗使用廣角相機多角度推攝，首先進(jìn)行相機標(biāo)定，保存好該廣角攝影相機的內(nèi)外參數(shù)和畸變系數(shù)；然后用該相機進(jìn)行多角度旋轉(zhuǎn)拍攝，獲取原始序列圖像，通過畸變矯正和柱面投影，得到如圖6 所示的待拼接序列圖，用基于塊匹配的圖像配準(zhǔn)方法定位出最佳匹配位置；最后使用加權(quán)平均的圖像融合方法，得到質(zhì)量較好的拼接圖像，如圖7所示。

圖6 待拼接柱面圖像序列

圖7 柱面圖像拼接

3 結(jié)語

本文從實際應(yīng)用出發(fā)，為解決的不同場景下的多視角圖像拼接問題，通過相機標(biāo)定實現(xiàn)廣角圖像畸變矯正，得到柱面圖像序列，再利用塊匹配算法進(jìn)行圖像配準(zhǔn)，最后加權(quán)融合完成圖像的拼接。本文設(shè)計的圖像拼接算法較好地解決了視差圖像的畸變以及圖像在空間中的位移關(guān)系等因素對于配準(zhǔn)精度的影響，減小了視差帶來的拼接誤差，具有良好的配準(zhǔn)精度，可以在復(fù)雜環(huán)境中得到質(zhì)量不錯的拼接圖。對高空飛行中實時全景拍攝系統(tǒng)的研發(fā)，該技術(shù)具有十分重要的參考意義。