基于多鏡頭多傳感器系統(tǒng)的圖像合成

殷惠莉　杜娟　胡池

摘 要： 圖像配準(zhǔn)是圖像合成的關(guān)鍵步驟，該文用兩個(gè)具有平行光軸結(jié)構(gòu)的多鏡頭多傳感器系統(tǒng)進(jìn)行圖像采集，利用H矩陣與插值算法相結(jié)合，快速地完成了兩張圖像的配準(zhǔn)工作，實(shí)現(xiàn)了對(duì)一個(gè)平面上的圖像信息的合成，具有提高公共區(qū)域信噪比的功能；并在此基礎(chǔ)上，提出了一種針對(duì)無窮遠(yuǎn)平面的圖像配準(zhǔn)方法，有利于進(jìn)行立體圖像的快速配準(zhǔn)以及深度圖像的求取。

關(guān)鍵詞： 多鏡頭多傳感器系統(tǒng)； H矩陣； 圖像映射； 插值算法

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）06?0122?04

Abstract： The image registration is a critical step of image synthesis. The multi?lens and multi?sensor （MLMS） system with two parallel optical axis structures is used to acquire the image. The H?matrix and interpolation algorithm are combined to match two images quickly， and synthesize the image information on a plane， which can improve the SNR in public area. On this basis， an image registration method for the plane at infinity is proposed， which is beneficial for the fast registration of the 3D image and the acquisition of the depth image.

Keywords： multi?lens and multi?sensor system； H?matrix； image mapping； interpolation algorithm

圖像配準(zhǔn)是圖像合成中的關(guān)鍵步驟，現(xiàn)階段的配準(zhǔn)方法主要有直接配準(zhǔn)和分部配準(zhǔn)。直接配準(zhǔn)主要分為基于特征的配準(zhǔn)和基于區(qū)域的配準(zhǔn)。本文研究具有平行光軸結(jié)構(gòu)的多鏡頭多傳感器（MLMS）系統(tǒng)，由于相機(jī)之間存在確定的幾何約束關(guān)系，因而選擇分部配準(zhǔn)的方法更為合適。本文提出如下方法：首先借助于一個(gè)正對(duì)鏡頭采集方向的平面，利用Homography矩陣[（H]矩陣）建立基于平面圖像的圖像對(duì)齊，同時(shí)完成鏡頭間的極線矯正過程。然后使用圖像金字塔結(jié)構(gòu)的方式對(duì)水平方向進(jìn)行圖像塊搜索，完成快速匹配。

上述方法首先確保了兩幅圖像有超過[12]以上的公共區(qū)域，尋找兩幅圖像公共區(qū)域上的對(duì)應(yīng)點(diǎn)，使用經(jīng)典的直接線性變換算法DLT（Direct Linear Transformation）[1?2]，建立齊次方程，通過奇異值分解（SVD）算法，求取齊次方程的近似解，得到[H]矩陣；然后使用[H]矩陣以及插值算法，構(gòu)建兩張圖像在公共區(qū)域的映射關(guān)系，并通過顏色插值，進(jìn)行公共區(qū)域的圖像合成，并提出了無窮遠(yuǎn)平面的圖像對(duì)齊方法。

1 投影點(diǎn)對(duì)應(yīng)關(guān)系[H]矩陣的計(jì)算

1.1 [H]矩陣

在MLMS（Multi?lens Multi?sensors）立體視覺系統(tǒng)中，如圖1所示，空間中某一平面π上的任意點(diǎn)[P]，設(shè)[Pl]為[P]在左圖像（即鏡頭1拍攝圖像）上的投影點(diǎn)，[Pr]為[P]在右圖像（即鏡頭2拍攝圖像）上的投影點(diǎn)，由映射關(guān)系可得：

2 建立映射關(guān)系及圖像合成

2.1 建立坐標(biāo)映射表

在求[H]矩陣的過程中，要計(jì)算[T-1l]，需要使用兩次除法運(yùn)算，本文使用插值方法降低運(yùn)算復(fù)雜度，同時(shí)還通過定點(diǎn)化后的移位運(yùn)算代替了除法運(yùn)算。本文將在圖3上進(jìn)行圖像合成。

首先以圖3整數(shù)點(diǎn)坐標(biāo)為基準(zhǔn)，計(jì)算出一張離散的坐標(biāo)映射表。

假設(shè)在圖3上覆蓋滿了若干個(gè)16×16的小方框（根據(jù)實(shí)驗(yàn)結(jié)果誤差分析以及計(jì)算機(jī)移位規(guī)律選取的，方框大小可再調(diào)整）。選取方框頂點(diǎn)的坐標(biāo)位置，通過式（3）和式（15），求取[Pl]的坐標(biāo)[Pl]（X，Y）并存儲(chǔ)起來，形成一張離散的坐標(biāo)映射表。該坐標(biāo)一般是一個(gè)浮點(diǎn)數(shù)，引入定點(diǎn)化的方法，將浮點(diǎn)數(shù)坐標(biāo)值擴(kuò)大64倍并四舍五入取整，存儲(chǔ)為整數(shù)坐標(biāo)。

接著利用離散的坐標(biāo)映射表以及插值運(yùn)算生成一張完整的坐標(biāo)映射表。

采用常規(guī)的雙線性插值方法，按照16×16的方框逐個(gè)進(jìn)行。在每一個(gè)方框內(nèi)部，利用式（16）插值出四條邊的對(duì)應(yīng)坐標(biāo)，利用式（17）插值出方框的內(nèi)部區(qū)域的對(duì)應(yīng)坐標(biāo)。其中f（1），f（2），f（3），f（4）分別指的是方框四個(gè)頂點(diǎn)位置的映射坐標(biāo)。

遍歷方框內(nèi)部每一個(gè)點(diǎn)，使用上述方法進(jìn)行插值，即可得到一張完整圖像的坐標(biāo)映射表。表1隨機(jī)選取了10組點(diǎn)，進(jìn)行映射坐標(biāo)分析。插值計(jì)算坐標(biāo)（本來是整數(shù)形式）換算成它的浮點(diǎn)數(shù)形式放在表1中，便于比較，兩種方法均保留三位有效數(shù)字。

通過誤差比較，兩種方法計(jì)算出來的映射坐標(biāo)誤差均限制在1%個(gè)像素點(diǎn)以內(nèi)，滿足工程應(yīng)用的精度要求。

2.2 圖像的合成

圖像合成的過程為攝像頭抓拍圖像，利用圖2和映射表計(jì)算得到投影變換圖像（PT圖像），PT圖像與圖3完成圖像合成，得到結(jié)果圖。其中PT圖像只能得到公共區(qū)域圖像，其坐標(biāo)位置與圖3相同，而顏色信息來自圖2。

求取PT圖像的過程需要使用雙線性插值算法。新建一張圖像，遍歷該圖像上每一個(gè)像素位置，利用映射表及插值算法，結(jié)合圖2信息計(jì)算出該點(diǎn)的顏色值，填充得到PT圖像。

最后進(jìn)行PT圖像和圖3的合成。將公共區(qū)域兩者相加取平均，或者可以根據(jù)需要分區(qū)域用不同的權(quán)重進(jìn)行加權(quán)合成，得到最后的合成圖像。本文以圖3為底稿，將圖2映射后進(jìn)行融合。反之亦然。

2.3 無窮遠(yuǎn)平面的圖像對(duì)齊

如果P點(diǎn)不在采集匹配點(diǎn)的那張平面上，則上述方法計(jì)算得到的[H]矩陣將不能用于描述其兩個(gè)投影點(diǎn)[Pl]和[Pr]的映射關(guān)系。對(duì)于平行光軸并排擺放結(jié)構(gòu)的多鏡頭系統(tǒng)，一張圖像上任意參考點(diǎn)在另一張圖像上對(duì)應(yīng)的極線基本平行于圖像[x]軸。但由于鏡頭安裝存在不可避免的誤差，該極線往往不是水平的。上述方法具有矯正極線的功能。即圖2經(jīng)過投影變換，得到的PT圖像上任意點(diǎn)在圖3上對(duì)應(yīng)的極線是水平的，反之亦然。對(duì)于空間中任意不在上述平面上的點(diǎn)P，假設(shè)[Pl]和[Pr]是它在兩幅圖上的投影點(diǎn)，則[Pl]和[HPr]之間僅存在水平視差。這種矯正極線的方法僅適用于平行光軸并排擺放的多鏡頭相機(jī)。

垂直攝像機(jī)光軸方向布置一個(gè)較遠(yuǎn)的平面（10 m以上），通過得到的[H]矩陣，計(jì)算一張PT圖像，找到幾組PT圖像與圖3在該平面上的對(duì)應(yīng)點(diǎn)，計(jì)算其水平視差的均值（坐標(biāo)值之差），并記錄下來。然后利用該視差值來平移整個(gè)映射表，即可得到[H∞]矩陣對(duì)應(yīng)的映射表；或者修改H矩陣的[H31]（x方向平移參數(shù)），直接得到[H∞]矩陣。從而完成了從一個(gè)平面到無窮遠(yuǎn)平面對(duì)齊的轉(zhuǎn)換。

3 實(shí)驗(yàn)結(jié)果及分析

通過圖4、圖5對(duì)比，可以看出合成圖像公共局部圖像區(qū)域信噪比有所提高。同時(shí)使用一張?jiān)诟虸SO參數(shù)下相同位置拍攝的圖像作為參考圖像，如圖6所示，便于計(jì)算右圖與合成圖像的MSE和PSNR。

傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)方法是通過計(jì)算失真圖像與參考圖像像素點(diǎn)間的數(shù)學(xué)誤差來衡量的。本文使用均方誤差（MSE）和峰值信噪比（PSNR）作為信噪比的評(píng)價(jià)指標(biāo)[5?6]：

在PC機(jī)上使用了兩個(gè)640×480分辨率的攝像頭進(jìn)行了實(shí)驗(yàn)，使用25 f的視頻采樣速率，可以達(dá)到實(shí)時(shí)處理的功能，并且合成效果與單次運(yùn)行時(shí)大致相同。

左圖PT后圖像和右圖原圖作為對(duì)比，如圖7、圖8所示。從墻上選擇的三個(gè)參考點(diǎn)來看，該平面上的點(diǎn)坐標(biāo)是基本對(duì)齊的。超過8對(duì)匹配點(diǎn)，利用如下約束關(guān)系和SVD算法，計(jì)算出基本矩陣（Fundamental矩陣）。如下：

并選擇三個(gè)參考點(diǎn)，計(jì)算其在另一張圖上對(duì)應(yīng)的極線。從圖中顯示可知：該組點(diǎn)在對(duì)應(yīng)圖像上的極線是基本水平的，驗(yàn)證了文中所述的匹配點(diǎn)之間只存在水平視差，并且從畫面的卷尺可以看出，呈現(xiàn)深度越小，視差越大的規(guī)律。

4 結(jié) 語

本文采用具有平行光軸的MLMS系統(tǒng)采集圖像，利用[H]矩陣這一工具來描述兩張圖像公共區(qū)域的映射關(guān)系，通過插值運(yùn)算的引入和定點(diǎn)化處理，提高了計(jì)算速度，能夠滿足實(shí)時(shí)融合圖像的要求。經(jīng)過上述分析和實(shí)驗(yàn)結(jié)果可以看出，該方法可以較單鏡頭的圖像具有更高的信噪比，同時(shí)對(duì)于立體圖像的匹配和融合仍然具有意義。并通過計(jì)算等效[H∞]，完成無窮遠(yuǎn)平面的圖像對(duì)齊。

注：本文通訊作者為杜娟。

參考文獻(xiàn)

[1] CYGANEK. B， SIEBERT J P. An introduction to 3D computer vision techniques and algorithms [M]. New York： Wiley， 2009： 31?50.

[2] HARTLEY R. In defense of the 8?point algorithm [J]. IEEE transactions on pattern analysis and machine intelligence， 1997， 19（6）： 580?593.

[3] HARTLEY R. Multiple view geometry in computer vision [M]. 2nd ed. Cambridge： Cambridge University Press， 2004.

[4] AGARWAL A， JAWAHAR C V， NARAYANAN P J. A survey of planar homography estimation techniques [R]. Hyderabad： International Institute of Information Technology， 2005.

[5] ESKICIOGLU A M， FISHER P S. Image quality measures and their performance [J]. IEEE transactions on communications， 1995， 43（12）： 2959?2965.

[6] 朱瑩.自適應(yīng)夜視圖像處理技術(shù)研究[D].南京：南京理工大學(xué)，2007.