基于幾何約束下區(qū)域搜索的紅外可見光雙目配準算法

王賀松，張 燦，蔡 朝，黃 珺，樊 凡

〈圖像處理與仿真〉

基于幾何約束下區(qū)域搜索的紅外可見光雙目配準算法

王賀松，張 燦，蔡 朝，黃 珺，樊 凡

（武漢大學 電子信息學院，湖北 武漢 430072）

針對相對位置固定的紅外和可見光雙目相機配準任務，現有算法沒有考慮到兩者相對位置固定的先驗知識，存在配準精度低、幾何定位差異大等問題，適用性差。提出一種基于幾何約束下區(qū)域搜索的紅外可見光雙目圖像配準方法。首先借助紅外和可見光雙目相機的標定信息對紅外和可見光圖像進行立體校正使二者處于同一高度之上。接著借助于相位一致性計算紅外與可見光的邊緣特征圖，然后在紅外邊緣圖上提取特征點，最后提出兩階段的同名特征點搜索方法，以紅外特征點為基準在可見光邊緣圖局部區(qū)域內搜索同名特征點。在第一階段以歸一化互相關（Normalized cross-correlation，NCC）為相似性度量計算兩邊緣圖的整體水平偏移，預測同名特征點初始位置，在第二階段提出多尺度加權NCC作為相似性度量，在初始同名特征點位置周圍精確搜索同名特征點。在構造的真實環(huán)境數據集上進行實驗，實驗結果表明相對于其他對比算法，在特征點匹配數量和準確率以及主觀視覺上的配準效果都優(yōu)于其他對比算法。

圖像配準；紅外圖像；可見光圖像；相位一致性；雙目相機

0 引言

在電力巡檢、視頻監(jiān)視、無人駕駛、機器人視覺等領域中[1-4]，常利用紅外和可見光雙目成像，將紅外和可見光圖像進行信息互補，這樣可以提高后續(xù)應用的性能，如提高檢測、識別等任務的精度[5]。而通過準確高效地配準將兩幅圖像進行對齊是有效利用紅外和可見光互補信息的一個重要的前提條件，因此，研究紅外和可見光雙目成像中紅外和可見光圖像配準具有重要意義。

紅外圖像與可見光圖像由于模態(tài)不同，圖像存在顯著差異，配準難度大。紅外圖像根據目標的熱輻射成像，能夠排除光線和天氣條件的影響，但通常分辨率較低，缺少紋理細節(jié)?？梢姽鈭D像利用光反射成像，成像分辨率比較高，紋理細節(jié)豐富，明暗對比度高，但同時也更容易受到環(huán)境因素的影響。目前，已有的紅外與可見光圖像配準算法中，主要可以被分為基于區(qū)域、基于特征和基于學習3類[6-7]。

基于區(qū)域的配準方法通常給定預變換模型。利用相似性度量和優(yōu)化方法來估計模型的變換參數，通過優(yōu)化總體損失函數來對齊兩幅圖像的公共區(qū)域。例如，Yu等人[8]通過灰度加權窗口策略從紅外和可見光圖像中檢測邊緣結構，通過歸一化互信息提高配準性能。Yedukondala等人[9]同樣將紅外和可見光圖像轉化為邊緣圖，使用仿射和自由形態(tài)變換（Free-Form Deformation, FFD）來解釋粗配準和精配準的幾何關系，通過最大化互信息（Mutual Information, MI）度量將紅外和可見光圖像進行配準。上述基于區(qū)域算法的算法很大程度受圖像噪聲和幾何畸變的影響，紅外和可見光之間嚴重的非線性強度差異，導致基于區(qū)域的方法配準精度不高，目前在實際中應用較少。

基于特征的方法是在提取圖像特征點的基礎上，通過特征描述算子描述特征，利用相似度度量準則獲得特征點集合間的匹配關系達到配準的目的。目前應用最為廣泛，也最為精確。例如，Wang等人[10]提出了SURF-PIIFD-RPM的魯棒點匹配框架，該方法結合SURF[11]（Speeded Up Robust Features, SURF）特征提取與部分強度不變特征描述符（Partial Intensity Invariant Feature Descriptor, PIIFD）[12]，利用單高斯魯棒點匹配模型獲得了更好的匹配性能。Jiang等人[13]提出的CAO-C2F算法利用曲率尺度空間（Curvature Scale Space, CSS）角點檢測器輪廓中的特征點，借助SIFT描述符進行特征點的匹配，實現了紅外與可見光電力圖像的配準。Li等人[14]提出了一種基于輻射變化不敏感特征的多模配準方法（Radiation-Variation Insensitive Transform, RIFT）。在基于相位一致性得到的角點和邊緣特征點上，建構造多個方向的最大索引圖實現特征旋轉不變性。這些算法在匹配紅外和清晰的可見光圖像時表現出了良好的性能。但當圖像質量下降如暗光環(huán)境時，圖像細節(jié)不清晰，特征點之間相似性減弱，配準性能則會產生明顯下降。

近年來，深度學習網絡也被應用到紅外和可見光圖像配準任務之中。例如，Wang等人[15]提出了一種兩階段的對抗網絡，包括模態(tài)轉換和幾何變換階段，將可見光圖像轉換為紅外圖像并獲得精確的配準圖像；Arar等人[16]提出了一種基于GAN（Generative Adversarial Network）網絡的無監(jiān)督的配準框架，在紅外和可見光上同時訓練圖像模態(tài)轉換網絡和配準網絡，借助圖像模態(tài)轉換進而通過使用成熟的單模態(tài)度量來訓練網絡。Deng等人[17]利用深度學習進行特征點檢測和描述，提出了ReDFeat網絡，將多模態(tài)特征的檢測和描述與互加權策略結合起來提高了多模態(tài)特征訓練的穩(wěn)定性和性能。由于紅外和可見光數據集的缺少，基于深度學習的配準算法存在著泛化能力不足的問題。

在紅外和可見光雙目相機中，由于兩個相機相對位置固定，即紅外和可見光相機成像的相對角度、相對位置等固定。而現有的紅外和可見光配準算法沒有考慮到兩者相對位置固定的先驗知識，在應用于紅外可見光雙目相機時，存在配準精度低、幾何定位差異大等多模態(tài)配準的問題。

針對上述問題，本文提出一種基于幾何約束下區(qū)域搜索的紅外可見光雙目圖像配準框架。首先對紅外相機和可見光雙目相機進行雙目標定，通過立體校正將兩幅圖像約束到同一水平高度，接著利用相位一致性特征提取紅外和可見光的邊緣圖像，在邊緣圖上提取穩(wěn)定的紅外特征點，然后提出了兩階段的同名特征點搜索方法進行特征點搜索，第一階段以歸一化互相關作為相似度度量估計兩幅圖像的整體水平偏移，從而預測同名特征點位置，第二階段提出多尺度加權NCC作為相似性度量方式，以紅外圖像特征點為基準在可見光邊緣圖中進行區(qū)域同名特征點搜索得到匹配點，最后通過迭代式細化的方式剔除匹配誤差較大的點，得到更加精確的配準模型。

1 配準算法

考慮到紅外和可見光相對位置固定，兩個相機的內參和外參可以通過雙目相機標定獲取，從而約束紅外和可見光同名特征點的相對位置，即可以預測待匹配圖像同名特征點的相對位置，進而可以在預測的同名特征點周圍局部區(qū)域精確搜索得到最終的匹配特征點，提高匹配精度與效率。因此，本文提出幾何約束下基于區(qū)域搜索的紅外和可見光圖像配準方法，算法流程如圖1所示。

1）紅外和可見光圖像立體校正。利用相機標定得到的紅外和可見光雙目相機的內參和外參，通過立體校正可將圖像約束到同一高度之上。

圖1 基于幾何約束下區(qū)域搜索的紅外可見光圖像配準方法框架

2）基于相位一致性獲取圖像的邊緣特征圖。在1）校正后圖像的基礎上，計算紅外和可見光圖像的相位一致性響應圖，并計算其最大矩獲得魯棒的邊緣特征圖像。

3）紅外邊緣圖特征點提取。在紅外邊緣圖像進行FAST特征點的提取，并剔除掉原紅外圖像中背景中的無用特征點。同時使用非極大值抑制策略，使得到的特征點分布更加均勻。

4）兩階段特征點搜索匹配。第一階段以NCC為衡量相似性指標計算兩邊緣圖整體水平偏移參數，從而預測同名特征點初始位置，進一步減少后續(xù)同名特征點的搜索范圍，降低時間復雜度。接著以3）得到的紅外特征點為基準，在可見光邊緣圖的搜索區(qū)域內，提出多尺度加權NCC作為相似性衡量指標，搜索最佳匹配點。。

5）誤匹配的剔除。首先通過最小二乘法建立所有匹配特征點的變換模型，然后計算所有匹配點的誤差和均方根誤差（Root mean square error，RMSE），剔除誤差較大的匹配點，迭代上述過程提高配準精度。

1.1 紅外相機與可見光雙目相機標定

在紅外與可見光雙目成像中，兩個相機相對位置固定，雙模圖像間的旋轉平移等幾何變換關系相對固定，可以通過雙目相機標定預先估計。換言之，我們可以通過雙目相機標定方法獲取兩個相機之間的內部光學參數（內參），以及相機之間的旋轉和平移參數（外參）。為了計算紅外可見光雙目相機的內參和外參，我們可以參考典型的相機標定方法——張正友標定法[18]，該方法借助不同角度的多張黑白棋盤格圖片，利用最小二乘法計算雙目相機的內參和外參。雙目相機的內參和外參只和相機本身的光學特性以及相對位置有關，所以針對一套紅外和可見光雙目相機只需要標定一次，因此相機內參和外參的計算并不會增加紅外與可見光雙目配準的處理時間。

雖然張正友標定法操作簡單、精度高，但主要用于可見光相機或者深度相機中。而在紅外和可見光雙目成像中，兩者的模態(tài)不同，直接在紙上打印的黑白棋盤格無法同時在兩個相機中都順利成像。因此我們采用特制的氧化鋁黑白棋盤格標定板，前面板是氧化鋁做成的黑色棋盤格，后面板是玻璃基板。當對標定板背面均勻加熱時，兩種材料導熱性與反射率不同，使得標定板在紅外圖像和可見光圖像上都會形成黑白分明的棋盤格圖像，如圖2所示。然后就可通過張正友標定法獲取紅外與可見光雙目相機的內參與外參。

圖2 棋盤格標定板紅外和可見光成像

在得到了紅外和可見光相機的內參和外參后，我們可以進一步對圖像進行立體校正，將兩者的圖像校正到相近的水平高度。具體來說，紅外和可見光圖像的立體校正的計算根據文獻[19]可以式(1)和式(2)表示：

ir￠＝rectify(ir,ir,,) (1)

vis￠＝rectify(vis,vis,,) (2)

式中：ir和vis表示未進行立體校正的紅外和可見光圖像；ir￠和vis￠分別表示立體校正后的紅外和可見光圖像；ir和vis分別表示紅外相機和可見光相機的內參；[,]表示雙目相機外參；表示兩個相機的相對旋轉參數；表示相對平移參數。rectify表示校正函數，具體細節(jié)可參考文獻[18]中同名函數，立體校正前和校正后的圖像如圖3和圖4所示。通過圖中的水平線可以看出，立體校正后紅外和可見光圖像基本處于同一水平高度。

圖3 立體校正前的可見光和紅外圖像

圖4 立體校正后的可見光和紅外圖像

1.2 基于相位一致性的邊緣特征圖

紅外圖像和可見光圖像相似性小，灰度差異大，直接在灰度圖上進行特征點匹配工作難以尋找一致性的特征。考慮到邊緣是紅外圖像和可見光圖像都較為穩(wěn)定的特征，不會因為圖像之間的旋轉、平移和縮放而引起形狀的實質性變化，所以本文先提取紅外和可見光圖像的邊緣圖。

考慮到可見光圖像對比度、光照會受到環(huán)境變化的影響而劇烈變化，而紅外與可見光圖像模態(tài)差異大，要求邊緣具備對圖像的灰度、對比度、光照等的不變性。為此本文采用Kovesi[20]提出的基于相位一致性（Phase congruency，PC）邊緣檢測算法分別提取紅外和可見光的邊緣圖。該方法選取個方向和尺度的Log-Gabor小波變換，計算每個方向上的相位一致性圖即PC圖。本文選取＝6，＝4，計算方式簡要表示如式(3)和式(4)，具體細節(jié)可參考文獻[20]中的式(1)～(3)：

PCir()＝calPC(ir,,1, …,4) (3)

PCvis()＝calPC(vis,,1, …,4) (4)

式中：表示選取的Log_Gabor濾波器方向，1～6分別為(0°, 30°, 60°, 90°, 120°, 150°)，1～4表示4個頻率尺度。

利用6個方向的相位一致性信息，通過矩分析方法得到PC圖的最大矩，計算過程如式(5)所示：

式中：

PC圖的最大矩代表了圖像的邊緣特征，具有亮度和對比度不變性，若像素點(,)處的最大矩(,)＞，則該位置為邊緣點，表示邊緣點檢測閾值。對于紅外和可見光異源圖像，可采用相同的閾值得到細節(jié)程度相當的紅外邊緣圖像iredge和可見光邊緣圖像visedge。獲取圖像邊緣圖的過程如圖5所示。

圖5 紅外與可見光圖像邊緣圖計算過程

1.3 紅外特征點提取

本文針對紅外圖像和可見光圖像之間的配準，僅在紅外邊緣圖上進行特征點檢測。原因有兩個方面，一方面本文采用局部區(qū)域搜索的方式尋找匹配特征點，所以僅需要在一幅圖像上檢測特征點，在另一幅圖像上的局部區(qū)域進行搜索即可。另一方面，具有熱源的目標是紅外可見光配準任務中的主要目標，所包含的信息最為豐富也最有價值，這類目標在紅外圖像中更加突出。

由于在眾多特征點檢測算法中，FAST特征檢測算法[21]相對于SIFT，SURF等特征檢測檢測算法相比，能夠僅依靠周圍像素快速地檢測特征點，且不進行特征點方向等冗余信息的計算。因此，在紅外邊緣圖中的特征點檢測中，本文在紅外邊緣圖iredge的基礎上，進行基于FAST的特征點檢測，基于此得到的候選特征點集irCandidate結合了角點和邊緣信息，更加穩(wěn)定。

通過FAST檢測出特征點之后，由于紅外圖像背景所含信息量極少，處于背景中的特征點特征信息同樣很少，而且若將所有特征點用于配準會影響主體目標配準的準確性，因此，本文在處理紅外特征點時，主要保留目標主體上的特征點，而舍棄背景中無用的特征點。紅外圖像中熱源目標表現的很“亮”，背景則很“暗”，因此保留的候選特征點集￠irCandidate滿足其灰度大于ir￠的灰度均值。處理后的特征點顯示到原紅外圖像中如圖6(b)所示。

圖6 特征點提取結果

針對候選特征點集￠irCandidate，為了防止特征點過于聚集，導致配準結果偏向于局部區(qū)域，本文以特征點￠irCandidate為中心，在5×5的鄰域內采用非極大值抑制（Non-Maximum Suppression，NMS）[22]策略，只保留鄰域內FAST特征響應最大的特征點，基于此得到分布較為均勻的特征點集ir。由圖6(c)可以看出經過非極大值抑制，減少了一些冗余的特征點，特征點的分布更加均勻。

1.4 兩階段特征點搜索匹配

上文利用相機標定信息進行立體校正，可以將紅外圖像和可見光圖像約束到同一高度之上。因此可在同一水平線上搜索同名特征點。考慮到在同一水平線上直接搜索同名特征點，需要在整個圖像寬度范圍內進行搜索，計算量偏大，本文提出兩階段的同名特征點搜索方式以紅外特征點為基準在可見光邊緣圖中搜索同名特征點。

1）第一階段

通過以NCC作為相似度的度量方式，粗略估計紅外圖像邊緣圖ir-edge和可見光圖像邊緣圖vis-edge的水平偏移量d，使兩幅圖像在水平方向上大致對齊，進而預測同名特征點的位置，減小同名特征點的搜索范圍，提高配準效率，d的計算方式如下式：

式中：visedge表示水平偏移量為時的可見光邊緣圖像。NCC表示互相關一致性算子，表示兩幅圖像的相似程。計算圖像和之間的NCC的計算方式如式(7)所示：

2）第二階段

針對紅外圖像特征點集ir中的每個特征點(,)，其位于可見光邊緣圖中的初始同名點位置為￠(＋d,)。由于紅外圖像根據熱輻射成像，相對于可見光圖像，邊緣不清晰是其固有缺陷，在相機標定以及立體校正過程中，無法嚴格將紅外圖像和可見光圖像束到同一高度之上，存在一定誤差，因此對應的同名點搜索區(qū)域為以￠為中心×（＞）大小的長方形區(qū)域，即圖7右側長方形區(qū)域，而不是僅在水平線上進行搜索，提高了準確性。過大會影響效率，過小會影響準確性，經過實驗本文搜索范圍設為11×7。

圖7 局部區(qū)域同名特征點搜索

NCC作為衡量相似性的指標，一般來說模板越大準確性也就越高，同時時間復雜度也會上升，而邊緣圖像相對于灰度圖像所含信息較少，使用較大尺寸模板對匹配精度來說更有益處，因此為了提高匹配準確性同時保證匹配效率，本文提出多尺度加權NCC（wncc）作為搜索同名特征點過程中的相似性衡量指標。即以兩個尺寸的模板計算NCC，將其加權結合。具體來說首先構建大尺寸模板，然后將其進行下采樣，這樣保留了大模板內的主體結構信息，同時也不至于增加計算復雜度。然后構建小模版作為信息補充，彌補了大模板下采樣時丟失的特征點周圍的信息。最后將用兩個模板計算得到的NCC進行加權結合，大模板包含更多的結構信息，用其計算的NCC衡量相似性更高，故其權值也更大。將雙尺寸模板加權結合，提高了準確性，更加適用于邊緣圖像。具體計算方式如式(8)所示：

對于最終搜索得到的同名特征點correspond有：

1.5 誤匹配剔除

針對匹配后的特征點，為了更進一步提高配準的精度，需要將錯誤匹配的一些點進行剔除。本文采用迭代細化的方式剔除錯誤的匹配點。具體流程如下：

1）根據已經匹配的點集ir和vis，利用最小二乘法計算出初始仿射變換模型。

2）根據變換模型計算出紅外圖像中的特征點經過變換后在可見光圖像中對應的點ir￠：

ir￠＝ir×(10)

3）計算所有匹配點的誤差和總的RMSE，RMSE代表了變換模型對整個點集的擬合程度，RMSE越小說明模型擬合的越好，具體計算方式如式(14)所示。

式中：表示匹配特征點對的數量。

4）剔除點集中誤差較大的點，重復1）～3）步驟，直到RMSE小于閾值RMSE。當RMSE小于3時可認為配準模型較好地擬合了特征點集之間的變換關系，故本文選取RMSE＝3。

2 實驗結果與分析

2.1 實驗設置

本文實驗采用自行組裝的紅外和可見光雙目相機。紅外相機采用高德plug 417測溫型紅外相機，分辨率為384×288?？梢姽庀鄼C使用FLIR公司生產的型號為BFS-U3-17S7M-C的工業(yè)灰點相機。雙目相機實物如圖8所示，左側為可見光相機，右側為紅外相機。實驗環(huán)境為：Intel Core i5 10200H CPU，16GB RAM；軟件平臺為：Matlab R2016b。

圖8 紅外可見光雙目相機

為了評價本文方法配準的準確性，采用主觀評價和客觀評價結合的方式。主觀評價通過觀察配準后的紅外可見光融合圖像中目標的對齊程度直觀地感受算法的配準效果。客觀評價采用總匹配點對數NUM、匹配準確率（Correct Matching Rate，CMR）[23]。CMR＝MC/×100%，其中MC表示正確匹配點對數。當匹配點對數NUM＜4時視為配準失敗。

2.2 實驗分析

為了驗證本文算法針對紅外和可見光雙目圖像配準任務有效性，選取了近年較為先進的3個異源圖像配準算法SURF-PIIFD-RPM[10]、CAO-C2F[13]、RIFT[14]以及一個基于深度學習的配準算法ReDFeat[17]與本文算法進行對比實驗。

使用上述紅外與可見光雙目相機采集不同場景的3組圖像共30對進行綜合對比實驗，數據分為3組，每組包含十對圖像。第一組圖像包含不同距離的以“人”為主體的圖像。圖像環(huán)境，光線條件較好，圖像質量比較高，紋理相對豐富。第二組圖像主要包含不同距離的以物為主體的圖像，透明水壺裝有熱水，紅外與可見光圖像差異性更大，紅外圖像中水壺后面的圖像信息完全看不見，而可見光圖像中則可以看到透明水壺后面的場景內容，且圖像紋理較差。第三組圖像包含在弱光環(huán)境下的圖像。在弱光環(huán)境下，紅外圖像由于是捕獲熱輻射成像，成像質量基本不受影響，但依靠光反射成像的可見光圖像的質量大大下降，主體變得不再清晰，噪點也相應增多，配準難度增大。每組數據各算法客觀評價指標平均值如表1所示。

表1 實驗結果對比

第一組圖像的各個算法的特征點匹配結果和對應的配準融合結果如圖9和圖10所示，第二組圖像的特征點匹配結果以及配準融合結果如圖11和圖12所示。由表1可以看出SURF-PIIFD-RPM和CAO-C2F匹配的特征點較少，準確率偏低，前者在第一組圖像中平均特征點匹配數量僅5.7對，且準確率較低，這說明配準失敗概率很大，如圖10(a)左圖，配準已經失敗。在第二組紋理較弱的圖像特征點匹配數量僅2.8對，說明其在圖像紋理較弱的情況下無法完成配準任務。CAO-C2F算法在第一組圖像中能匹配少量的特征點完成配準任務，但由于其在輪廓圖中構建SIFT描述符，在第二組紋理較弱的圖像中匹配準確率則明顯下降，如圖12(b)的右圖，配準結果都已經出現較大的偏移。

RIFT算法由表1可以看出得到較為豐富的匹配特征點，且匹配準確率較高，由圖10和圖12的(c)圖中可以看出能較好的配準圖像，配準后的紅外與可見光圖像都能大體對齊。這說明RIFT算法面對常規(guī)情況下紅外圖像和可見光圖像能夠比較好地提取其共同特征并成功匹配特征點。但RIFT存在的一個問題是特征點分布過于集中如圖9(c)的左圖集中于人物右上側區(qū)域，圖11(c)的右圖集中于左側水壺，這會導致配準有一定的偏移風險。如圖10(c)中的頭部區(qū)域和圖12(c)兩張圖的右側區(qū)域，都明顯出現了偏移，這是因為RIFT通過獨立提取紅外和可見光的特征點，在點集中尋找匹配點，要求雙方都提取了對應特征點才可能匹配成功，這會篩選掉大量特征點，造成特征點集中于紋理最豐富的區(qū)域。

ReDFeat通過深度學習進行特征點的檢測和描述，在特征點匹配數量上明顯高于其他對比算法和本文算法，但特征點存在大量重復和冗余，并且比RIFT更加聚集于小部分區(qū)紋理豐富的區(qū)域，如圖11(d)左圖，絕大多數特征點都聚集在了杯蓋附近。同時由表1可以看出特征點匹配的準確率不高，第一組僅有80%，第二組下降到76.8%。這在第一組紋理豐富的圖像中依靠特征點數量優(yōu)勢尚能得到較好的配準結果如圖10(d)。但在第二組紋理較弱的圖像中的配準結則果出現了扭曲錯位，如圖12(d)。

本文算法由于是在紅外邊緣圖上進行特征檢測，使得特征點圍繞主體邊緣分布，并且結合非極大值抑制策略，使得特征點分布更加均勻，如圖9和圖11的(e)圖所示。在特征點匹配準確率上本文算法明顯高于其他對比算法，這說明本文兩階段特征點搜索匹配方法的優(yōu)越性。體現到配準結果中，由圖10和圖12的(e)圖所示，在第一組和第二組圖像中，都得到準確的配準結果。

圖9 第一組圖像各算法特征點匹配結果

圖10 第一組圖像配準結果

圖11 第二組圖像各算法特征點匹配結果

圖12 第二組圖像配準結果

第三組圖像主要針對的弱光環(huán)境下的圖像。從表1和圖13以及圖14可以看出本文算法特征點匹配數量和準確率上相較于對比算法表現出顯著的優(yōu)越性。從表1可以看出，SURF-PIIFD-RPM算法特征點匹配數量僅有1.8對，無法完成配準任務。CAO-C2F算法特征點匹配數量和準確率都處于較低水平，說明其無法適用于弱光環(huán)境，多數圖像的匹配準結果都如圖14(b)右圖一樣，出現無法辨識的扭曲。RIFT由于需要通過可見光圖像構建對應的描述子，在可見光質量大大下降的情況下，從表1可以看出得到匹配特征點數量明顯下降，配準效果也隨之下降，如圖14(c)中的兩張圖像，配準結果都產生了明顯錯位。而ReDFeat在弱光環(huán)境下，特征點數量多的優(yōu)勢也無法再繼續(xù)保持，由表1可以看出在第三組圖像中特征點匹配數量和準確率相較于第一組和第二組圖像都出現了明顯的下降。配準結果如圖14(d)所示，也出現了明顯錯位扭曲。本文算法則體現出了較大優(yōu)勢，在弱光環(huán)境可見光圖像質量下降的情況下，本文算法通過兩階段特征點搜索匹配能夠僅依靠局部有限的信息獲取同名特征點，保證了匹配的準確性。同時由于在紅外邊緣圖上進行特征點檢測，由表1可以看到，依然能夠得到豐富的匹配特征點。由圖14(e)的配準結果可以看出，在弱光環(huán)境下，本文算法依然能夠準確得進行配準。

圖13 第三組圖像各算法特征點匹配結果

圖14 第三組圖像配準結果

3 結語

本文針對相對位置固定的紅外可見光雙目成像應用場景，提出了一種幾何約束下基于區(qū)域搜索圖像配準方法。算法利用相機標定信息對紅外和可見光圖像進行立體校正，使二者處于同一高度之上，接著利用相位一致性計算魯棒的邊緣圖，在邊緣圖的基礎上，進行紅外特征點檢測，最后提出兩階段同名特征點搜索方法完成紅外可見光圖像配準。通過與其他算法在不同場景上的數據進行實驗，結果表明相較于其他異源圖像配準算法，本文算法能夠適用于紅外可見光雙目成像的配準，在不同場景的圖像都保證了特征點匹配數量和配準效果，并且能很好適應弱光環(huán)境下的圖像配準工作，相對于其他算法取得了明顯的優(yōu)勢。

[1] LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]., 2019, 22(4): 9435-9443.

[2] 付添, 鄧長征, 韓欣月, 等. 基于深度學習的電力設備紅外與可見光圖像配準[J]. 紅外技術, 2022, 44(9): 936-943. FU T, DENG C, HAN X, et al. Infrared and visible image registration for power equipments based on deep learning[J]., 2022, 44(9): 936-943.

[3] 黃穎杰, 梅領亮, 王勇, 等. 基于紅外與可見光圖像融合的無人機探測研究[J]. 電腦知識與技術, 2022, 18(7): 1-8. HUANG Y, MEI L, WANG Y, et al. Research on unmanned aerial vehicle detection based on fusion of infrared and visible light images[J]., 2022, 18(7):1-8.

[4] 王戈, 鐘如意, 黃浩, 等. 基于輕量級人臉識別的智慧地鐵云支付系統搭建[J]. 湖北大學學報: 自然科學版, 2021, 43(4): 437-442. WANG G，ZHONG R，HUANG H, et al. Construction of intelligent metro cloud payment system based on lightweight face recognition[J].: Natural Science, 2021, 43(4): 437-442.

[5] Banuls A , Mandow A , Vazquez-Martin R , et al. Object detection from thermal infrared and visible light cameras in search and rescue scenes[C]//(), 2020: 380-386.

[6] JIANG X, MA J, XIAO G, et al. A review of multimodal image matching: Methods and applications[J]., 2021, 73: 22-71.

[7] 李云紅, 劉宇棟, 蘇雪平, 等. 紅外與可見光圖像配準技術研究綜述[J].紅外技術, 2022, 44(7): 641-651. LIU Y, LIU Y, SU X, et al. Review of Infrared and visible image registration [J]., 2022, 44(7): 641-651.

[8] YU K, MA J, HU F , et al. A grayscale weight with window algorithm for infrared and visible image registration[J]., 2019, 99: 178-186.

[9] Yedukondala D C, Pejhman G, Pfefer T, et al. Free-Form deformation approach for registration of visible and infrared facial images in fever screening[J]., 2018, 18(2): 125.

[10] WANG G, WANG Z, CHEN Y, et al. Robust point matching method for multimodal retinal image registration[J]., 2015, 19: 68-76.

[11] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]., 2008, 110(3): 346-359.

[12] CHEN J, TIAN J, Lee N, et al. A partial intensity invariant feature descriptor for multimodal retinal image registration[J]., 2010, 57(7): 1707-1718.

[13] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]., 2020, 36(4): 2559-2569.

[14] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]., 2019, 29: 3296-3310.

[15] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th(ICIP)., 2018: 1248-1252.

[16] Arar M, Ginger Y, Danon D, et al. Unsupervised multi-modal image registration via geometry preserving image-to-image translation[C]//, 2020: 13410-13419.

[17] DENG Y, MA J. ReDFeat: Recoupling detection and description for multimodal feature learning[J/OL]., 2022: 591-602. https://arxiv.org/abs/2205.07439.

[18] ZHANG Z. A flexible new technique for camera calibration[J]., 2000, 22(11): 1330-1334.

[19] Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs[J]., 2000, 12(1):16-22.

[20] Peter Kovesi. Phase congruency detects corners and edges[C]//2003: 309-318.

[21] Edward R, Tom D. Machine learning for high-speed corner detection[C]//, 2006: 430-443.

[22] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//,, 2006: 850-855.

[23] YE Y, SHAN J, Bruzzone L, et al. Robust registration of multimodal remote sensing images based on structural similarity[J]., 2017, 55(6): 2941-2958.

Infrared and Visible Binocular Registration Algorithm Based on Region Search Under Geometric Constraints

WANG Hesong，ZHANG Can，CAI Zhao，HUANG Jun，FAN Fan

(Electronic Information School,Wuhan University, Wuhan 430072, China)

For the registration task of infrared and visible binocular cameras with fixed relative positions, existing algorithms do not consider the prior fixed relative positions of the two cameras, resulting in problems, such as low registration accuracy, large differences in geometric positioning, and poor applicability. An infrared and visible binocular image registration method based on region search under geometric constraints. First, stereo correction was performed on the infrared and visible images using the calibration information of the infrared and visible binocular cameras, such that they were at the same height. Second, infrared and visible edge maps were obtained using phase congruency and feature points were extracted from the infrared edge map. Finally, a two-stage feature point search method is proposedto search for feature points with the same name in the local area of the visible edge map based on the infrared feature points. In the first stage, normalized cross-correlation (NCC) was used as a similarity metric to calculate the overall horizontal offset of the two edge maps, and the initial positions of feature points with the same name were predicted. In the second stage, a multiscale-weighted NCC was proposed as a similarity metric to accurately search for feature points with the same name around the initial location of feature points of the same name. Then, experiments were performed on the constructed real-environment dataset. The experimental results show that compared with other comparison methods, the number and accuracy of matching points and registration results in subjective vision are better.

image registration, infrared image, visible image, phase congruency, binocular camera

TP391

A

1001-8891(2024)03-0269-11

2022-12-06；

2023-03-17.

王賀松（1997-），男，安徽亳州人，碩士研究生，研究方向為紅外與可見光配準。E-mail：wanghesong@whu.edu.cn。

樊凡（1989-），男，江西南昌人，博士，副教授，研究方向為紅外圖像處理。E-mail：fanfan@whu.edu.cn。

國家自然科學基金項目（62003247, 62075169, 62061160370）；湖北省重點研發(fā)計劃（2021BBA235）；珠海市基礎與應用基礎研究基金（ZH22017003200010PWC）。