激光照射監(jiān)測系統(tǒng)可見光和紅外圖像融合方法

鄒歡歡，趙海麗，景文博，徐向鍇，劉健

（1.長春理工大學(xué) 電子信息工程學(xué)院，長春 130022；2.長春理工大學(xué) 光電工程學(xué)院，長春 130022）

在軍事領(lǐng)域中，激光制導(dǎo)武器在現(xiàn)代戰(zhàn)爭中占據(jù)著重要的地位，此種武器根據(jù)激光照射目標(biāo)并隨之用彈藥打擊目標(biāo)，因此激光制導(dǎo)武器的激光照射命中精度以及命中精度決定著激光武器能否準(zhǔn)確打擊目標(biāo)［1］。激光制導(dǎo)武器的激光照射命中精度以及命中精度的測量由激光照射性能監(jiān)測系統(tǒng)進(jìn)行，其系統(tǒng)示意圖如圖1：由激光照射器發(fā)射激光照射在靶板上，在轉(zhuǎn)臺(tái)上搭載有激光探測器和光學(xué)系統(tǒng)，光學(xué)系統(tǒng)由紅外傳感器和可見光傳感器以及濾波片和透鏡等光學(xué)元件組成，用于跟蹤靶板、采集靶板圖像以及光斑圖像，并將圖像傳輸至PC機(jī)存儲(chǔ)和處理。

圖1 激光照射性能監(jiān)測系統(tǒng)

激光照射性能監(jiān)測系統(tǒng)采用了雙傳感器采集圖像［2］。在紅外傳感器前安裝有紅外窄帶濾波片1064nm±2nm，并使用短爆光采集圖像，因此在紅外圖像中不存在背景信息。在此情況下，高精度顯示激光照射的真實(shí)場景有很大難度。為了解決這一問題，本文提出了一種雙路圖像融合方法，首先對(duì)可見光圖像與紅外圖像使用透視變換法進(jìn)行圖像配準(zhǔn)，然后對(duì)紅外圖像使用閾值分割等技術(shù)進(jìn)行激光光斑提取，最后使用自適應(yīng)加權(quán)融合方法將可見光圖像和紅外圖像融合為一，實(shí)現(xiàn)了激光照射真實(shí)場景的重現(xiàn)。

1 可見光紅外圖像融合

1.1 圖像配準(zhǔn)

在采集圖像時(shí)，以目標(biāo)為中心的世界坐標(biāo)系Oxyz中，兩傳感器所處坐標(biāo)不同，相對(duì)而言，以可見光傳感器為中心的傳感器坐標(biāo)系O1x1y1z1與以紅外傳感器為中心的傳感器坐標(biāo)系O2x2y2z2兩空間坐標(biāo)系相交而不平行，建立模型如圖2［3］，因此兩傳感器成像空間坐標(biāo)系不同，反應(yīng)在圖像中為世界坐標(biāo)系中的事物在兩個(gè)圖像的圖像坐標(biāo)系中形狀、大小、位置不同，即成像時(shí)，事物關(guān)于兩傳感器的透視投影不同。

若世界坐標(biāo)系Oxyz中存在一點(diǎn)P(x,y,z)，透視投影在坐標(biāo)系O1x1y1z1與坐標(biāo)系O2x2y2z2中的點(diǎn)分別為P1(x,y,z)、P2(x,y,z)，則三點(diǎn)間的關(guān)系可由下式表示：

圖2 世界坐標(biāo)系與傳感器坐標(biāo)系關(guān)系模型

式（1）中，TOO1、TOO2分別為世界坐標(biāo)系Oxyz到坐標(biāo)系O1x1y1z1、坐標(biāo)系O2x2y2z2的透視變換因子，透視變換因子為3?3的矩陣，可用式（2）表示，并可分解為式（3）：

式中，T1表示線性變換，包括空間旋轉(zhuǎn)與放縮變換，T2表示空間透視變換，T3表示空間平移變換［4］。將（2）式代入（1）式任一方程有：

對(duì)式（4）展開得：

對(duì)式（5）改寫如下：

由式（6）可知，對(duì)透視變換因子進(jìn)行比例放縮而不會(huì)影響結(jié)果的準(zhǔn)確性，對(duì)于傳感器坐標(biāo)系與世界坐標(biāo)系之間的變換，通常將元素z、a3,3設(shè)為1［5］。因此矩陣未知數(shù)個(gè)數(shù)為8。求解8個(gè)未知數(shù)，只需要8個(gè)方程，即只需要4對(duì)點(diǎn)即可計(jì)算，當(dāng)存在n(n≥4)對(duì)對(duì)應(yīng)點(diǎn)時(shí)，有式（7）：

式中，X、Y為兩個(gè)坐標(biāo)系中的對(duì)應(yīng)點(diǎn)對(duì)，T為透視變換因子。

圖3 坐標(biāo)系變換

根據(jù)式（7），已知三個(gè)條件中的任意兩個(gè)即可求第三者。如圖4所示，已知兩個(gè)坐標(biāo)系中的對(duì)應(yīng)的4對(duì)點(diǎn)，即可計(jì)算透視變換因子，也可將某一坐標(biāo)系中的點(diǎn)使用透視變換因子變換至另一坐標(biāo)系。

根據(jù)上文中的透視變換原理，本文對(duì)紅外圖像使用了透視法與逆透視法相結(jié)合的方法對(duì)圖像進(jìn)行校正，如圖4和式（8），可實(shí)現(xiàn)由紅外傳感器坐標(biāo)系到世界坐標(biāo)系再到可見光傳感器坐標(biāo)系的變換，得到成像空間、事物投影效果以及分辨率與可見光圖像一致的紅外配準(zhǔn)圖像。

圖4 紅外圖像透視校正

式中，S(·)表示原紅外圖像，F(xiàn)′(·)表示逆透視紅外圖像，D′(·)表示透視紅外圖像，D(·)表示紅外配準(zhǔn)圖像，·(a,b,c)表示空間坐標(biāo)系中的坐標(biāo)，IIPF（Infrared inverse Perspective Factor）為紅外逆透視因子，VPF（Visible Perspective Factor）表示可見光透視因子。

1.2 激光光斑提取

對(duì)于紅外傳感器，由于紅外高通濾波器的使用，在此圖像中除激光光斑外沒有背景信息，并且由于大氣湍流、自然光等外界因素影響［6］，光斑分布不均勻，需使用圖像處理技術(shù)對(duì)紅外圖像進(jìn)行處理從而完成激光光斑的識(shí)別和提取，具體方法如圖5：

圖5 光斑提取流程圖

（1）首先對(duì)紅外圖像進(jìn)行閾值分割和二值化。閾值分割是一種經(jīng)典的圖像分割方法，用于圖像中目標(biāo)和背景的分割，閾值分割和二值化的優(yōu)劣的關(guān)鍵在于閾值的選取。本文中，紅外圖像的采集環(huán)境為自然環(huán)境，為抑制自然光以及大氣湍流的影響，達(dá)到激光光斑更準(zhǔn)確的識(shí)別與提取，首先使用基于最大類間方差法（OTSU）得到圖像的最佳分割閾值［7］，其原理為：求取圖像的灰度直方圖，并把直方圖分為目標(biāo)和背景兩類，當(dāng)被分成的兩類之間的方差最大時(shí)，決定閾值，如式（9）：

式中，μ為整體圖像灰度平均值，μ(T)為閾值為T時(shí)，背景圖像灰度平均值，ω(T)為背景產(chǎn)生的概率。當(dāng)δ（2T）取最大值時(shí)，閾值T即為所求閾值。

求得閾值T后，使用公式（10）紅外圖像進(jìn)行閾值分割得到閾值分割圖像，使用公式（11）對(duì)紅外圖像進(jìn)行二值化得到二值化圖像。

式（10）、（11）中，f(x,y)為原圖像在點(diǎn)(x,y)處像素值，為進(jìn)行閾值分割或二值化后圖像。

（2）形態(tài)學(xué)處理，形態(tài)學(xué)的基本操作包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算等，廣泛應(yīng)用于圖像邊緣的平滑、圖像內(nèi)部的填充、圖像物體的連接或斷開［8］。本文中為了平滑光斑邊緣的凸起、凹陷，對(duì)使用公式（12）、（13）對(duì)二值化圖像進(jìn)行閉運(yùn)算處理，即先膨脹后腐蝕；

式中，?表示腐蝕，⊕表示膨脹，f表示圖像，K表示結(jié)構(gòu)元素，.c表示補(bǔ)集，l表示結(jié)構(gòu)元素的大小。

（3）連通域分析是圖像處理技術(shù)中區(qū)域分析的常用且重要的技術(shù)，分為四鄰域連通域分析和八鄰域連通域分析等等，連通域定義如圖6。為準(zhǔn)確定位光斑區(qū)域，引入了八鄰域連通域分析。對(duì)二值化圖像進(jìn)行八鄰域連通域分析，對(duì)所分析出的連通域進(jìn)行面積特征提取，找出面積最大的通域即為光斑區(qū)域；

圖6中，P表示其中圖像中一個(gè)像素點(diǎn)，箭頭指向即為P的鄰域；

（4）圖像相乘。將二值化圖像中光斑區(qū)域的圖像像素重定義為1，將光斑區(qū)域外的圖像重定義為0，即在二值化圖像中只保留光斑區(qū)域。二值化圖像中的光斑不是真實(shí)采集紅外圖像中的光斑，為求得真實(shí)光斑圖像，將重定義后的二值化圖像與閾值分割紅外圖像做乘法操作，表達(dá)式為（14），得到的圖像即為真實(shí)光斑圖像。

式中，(x,y)表示圖像坐標(biāo)索引，B表示二值化圖像，G表示閾值分割紅外圖像，表示真實(shí)光斑圖像；

（5）圖像填充。為防止真實(shí)光斑圖像中光斑區(qū)域出現(xiàn)空洞，對(duì)圖像空洞區(qū)域進(jìn)行填充：在圖像的光斑區(qū)域內(nèi)，使用連通域分析以及最鄰近插值法，根據(jù)光斑內(nèi)空洞邊緣的像素值對(duì)空洞進(jìn)行填充，以得到完整光斑提取圖像。

1.3 圖像融合

由于光斑提取圖像中所采集的為光斑、可見光圖像中為所采集的目標(biāo)，因此二者合二為一才能反映真實(shí)的激光照射在目標(biāo)上的情景，可用圖像融合技術(shù)對(duì)二者進(jìn)行融合處理。

因可見光圖像與紅外圖像由兩個(gè)傳感器采集所得，因此兩圖像之間存在因傳感器曝光、增益等參數(shù)不同造成的圖像對(duì)比度不一致，視覺上即為圖像亮暗效果不一致，為了避免融合后圖像對(duì)比度失衡，本文使用自適應(yīng)加權(quán)融合法對(duì)可見光圖像與光斑提取圖像進(jìn)行融合，其原理如下：根據(jù)光斑提取圖像和可見光圖像相對(duì)應(yīng)位置的圖像像素值自動(dòng)計(jì)算二者加權(quán)值，再進(jìn)行加權(quán)相加，具體方法如下：

遍歷光斑提取圖像，提取激光光斑所在區(qū)域的圖像像素值及其坐標(biāo)，根據(jù)所得坐標(biāo)提取可見光圖像對(duì)應(yīng)位置圖像像素值，并找到二者在該區(qū)域的最大像素值，根據(jù)二者最大像素值計(jì)算加權(quán)系數(shù)，所用公式如式（15）；

式中，α為光斑提取圖像加權(quán)系數(shù)，β為可見光圖像加權(quán)系數(shù)，Lmax(x,y)、Vmax(x,y)分別為在光斑區(qū)域R(x,y)上光斑提取圖像和可見光圖像像素最大值；

在光斑區(qū)域，對(duì)可見光圖像與紅外圖像對(duì)應(yīng)位置像素值使用加權(quán)相加法進(jìn)行加法操作，公式如（17）：

式中，P(x,y)為光斑區(qū)域融合圖像；

對(duì)光斑區(qū)域外的圖像保持原有像素不變，即使用所得光斑區(qū)域融合圖像P(x,y)替換可見光圖像光斑區(qū)域?qū)?yīng)圖像，所用公式為式（18）；

最終所得圖像V即為融合圖像。

2 實(shí)驗(yàn)和結(jié)果

2.1 圖像配準(zhǔn)

以金鹵燈做為全光譜光源、以間隔2mm的星點(diǎn)板作為目標(biāo)，調(diào)節(jié)平行光管模擬遠(yuǎn)距離目標(biāo)，采集星點(diǎn)圖像，如圖7所示：

圖7 星點(diǎn)圖像（左側(cè)為可見光圖像，分辨率為1392*1040；右側(cè)為紅外圖像，分辨率為640*512）

根據(jù)所采集圖像，在分別在可見光星點(diǎn)圖像和紅外星點(diǎn)圖像中選取白色矩形框中四個(gè)點(diǎn)X(X1(x,y)X2(x,y)X3(x,y)X4(x,y))和Y(Y1(x,y)Y2(x,y)Y3(x,y)Y4(x,y))，選取星點(diǎn)板上對(duì)應(yīng)星點(diǎn)坐標(biāo)Z(Z1(x,y)Z2(x,y)Z3(x,y)Z4(x,y))。根據(jù)公式（9）使用Y與Z計(jì)算得紅外逆透視因子（IIPF），使用X和Z計(jì)算可見透視因子（VPF），如式（19）；根據(jù)式（8），對(duì)紅外星點(diǎn)圖像進(jìn)行配準(zhǔn)，得到配準(zhǔn)圖像如圖8所示；

圖8 圖像配準(zhǔn)（左側(cè)為可見光星點(diǎn)圖像，右側(cè)為紅外配準(zhǔn)星點(diǎn)圖像，分辨率均為1392*1040）

2.2 圖像融合

實(shí)驗(yàn)中所采用的靶板尺寸的長為145.5cm、寬為84.5cm，光源為波長1064nm的強(qiáng)功率激光，使用激光測距儀測得靶板中心距光學(xué)系統(tǒng)824.52m。采集圖像時(shí)同步并實(shí)時(shí)采集連續(xù)圖像500幀，所采集圖像如圖9所示：

圖9 原圖像（左側(cè)為可見光圖像，分辨率為1392*1040；右側(cè)為紅外圖像，分辨率為640*512；同步采集圖像，圖像右下角時(shí)間信息均為：15：31：44）

（1）根據(jù)式（8），對(duì)圖9中紅外圖像使用式（16）中的IIPF和VPF對(duì)紅外圖像配準(zhǔn)，配準(zhǔn)結(jié)果如圖10所示：

圖10 圖像配準(zhǔn)（左側(cè)為原紅外圖像，分辨率為640*512；右側(cè)為紅外配準(zhǔn)圖像，分辨率為1392*1040）

（2）使用圖4所示的光斑提取方法對(duì)配準(zhǔn)后紅外圖像進(jìn)行光斑提取，所得結(jié)果如圖11所示：

圖11 光斑提取（左側(cè)為紅外配準(zhǔn)圖像，右側(cè)為光斑提取圖像）

此時(shí)所得光斑提取圖像與可見光圖像即為待融合圖像，如圖12所示：

圖12 待融合圖像（左側(cè)為可見光圖像，右側(cè)為光斑提取圖像，二者分辨率均為1392*1040）

（3）使用章節(jié)（2.4）的圖像融合方法對(duì)圖12所示圖像進(jìn)行自適應(yīng)加權(quán)融合，融合結(jié)果如圖13所示：

圖13 融合圖像

對(duì)融合圖像的效果好壞，有多種方法進(jìn)行評(píng)價(jià)［9，10］，本文使用融合圖像與原圖像關(guān)系評(píng)價(jià)方法中的交叉熵方法對(duì)圖像融合的效果進(jìn)行評(píng)價(jià)，交叉熵公式為式（20）：

式中，P和Q分別為原圖像和融合圖像的灰度分布；使用式（21）計(jì)算融合圖像與原圖像的綜合交叉熵：

對(duì)圖13所示融合圖像以及圖12所示可見光圖像以及光斑提取圖像使用公式（20）分別進(jìn)行交叉熵的計(jì)算結(jié)果如下：

由式（22）可分析得：融合圖像中在可見光圖像的基礎(chǔ)上融合了紅外圖像中的光斑信息，而且對(duì)本身的目標(biāo)以及背景信息沒有過多的損失，圖像對(duì)比度沒有失衡。

3 結(jié)論

對(duì)紅外圖像使用圖像配準(zhǔn)方法進(jìn)行紅外與可見光圖像配準(zhǔn)，極大地消除了事物投影的不一致，得到視場范圍、分辨率與可見光圖像一致的紅外配準(zhǔn)圖像，使用光斑提取方法對(duì)配準(zhǔn)后紅外圖像進(jìn)行光斑提取，極大的抑制了自然光對(duì)光斑的影響，極大的消除了因事物透視引起的光斑形變，得到近似于真實(shí)光斑的光斑提取圖像；對(duì)光斑提取圖像與可見光圖像進(jìn)行融合，得到同時(shí)顯示光斑、目標(biāo)以及背景的實(shí)時(shí)顯示圖像；本文實(shí)現(xiàn)了不同光譜下所采集不同目標(biāo)、不同分辨率、不同視場范圍的圖像融合。