基于NSCT自適應紅外與可見光融合算法

【摘 要】文章提出基于非采樣Contourlet變換（NSCT）的紅外與可見光圖像融合方法，用于解決霧霾天、逆光等惡劣環(huán)境下，單目攝像頭識別能力有限的問題。實驗表明：通過5組實驗比較分析文章所述方法與基于單目攝像頭方法的融合結(jié)果，采用所述方法的融合圖像客觀評價指標分別提高了8.41%、93.58%、15.41%;7.86%、58.84%、22.06%;20.03%、95.70%、3.21%;32.62%、148.38%、19.25%;8.95%、19.01%、10.44%。文章所述方法從主觀視覺效果和客觀評價都優(yōu)于基于單目攝像頭方法。

【關鍵詞】圖像融合;非下采樣Contourlet變換;自適應

【中圖分類號】TP391.41 【文獻標識碼】A 【文章編號】1674-0688（2019）07-0093-03

伴隨“東風柳汽3.0”時代的到來，2018年已實現(xiàn)量產(chǎn)搭載L2級別的ADAS功能，正向L3級別的ADAS功能邁進。采用單目攝像頭（如圖1所示）配合超聲波雷達、ECU、全景攝像頭等，實現(xiàn)了自動緊急制動（AEB）、車道偏離報警（LDW）等功能。經(jīng)過一段時間的市場檢驗，ADAS相關功能市場反饋效果好，在較好的環(huán)境下，AEB的誤報率小于1次/100萬km。但在霧霾天、能見度差、亂用遠光燈等工況下，單目攝像頭識別能力有限，造成ADAS相關功能穩(wěn)定性降低。

21世紀，圖像處理技術蓬勃發(fā)展，汽車、航空航天、安全監(jiān)控等領域應用廣泛。由于原理差異，不同傳感器的特性不盡相同。紅外感知傳感器以熱輻射為原理，感知能量分布，并且具有不受光照條件影響的性質(zhì)[1-2];可見光感知傳感器以光譜特性采用反射的原理探測場景，能充分捕捉場景中的邊緣、紋理等細節(jié)信息，但很容易被光照等條件影響。綜上所述，針對單目攝像頭中存在的潛在問題，增加一個紅外攝像頭傳感器（如圖2所示），將紅外攝像頭感知的圖像和可見光攝像頭感知的圖像融合，彌補特定環(huán)境中單目攝像頭識別能力差，導致ADAS相關功能穩(wěn)定性降低的問題。

1 NSCT的基本原理

Cunha等人在21世紀初，提出了非下采樣Contourlet變換（NSCT）[3]，如圖3所示。NSCT采用Z變換，讓NSCT具有平移不變性;采用上采樣，讓NSCT的子帶圖像與感知圖像大小相同[4-5]。

N級分解圖像后，得到1+∑Nj=1 2■個子帶圖像，其中l(wèi)j表示在尺度j下的方向分解級數(shù)。

2 基于NSCT的圖像融合算法

NSCT有3個優(yōu)點：優(yōu)秀的空域局部特性、優(yōu)秀的頻域局部特性、優(yōu)秀的方向特性。基于這些優(yōu)點，NSCT能較好地表達圖像的幾何特性。針對單目攝像頭在惡劣環(huán)境下識別能力降低的問題，本文采用基于自適應NSCT的方法對圖像進行分解融合。圖像的融合規(guī)則如下。

步驟1：針對紅外感知傳感器反饋的紅外感知圖像A、可見光感知傳感器反饋的可見光感知圖像B，分別對A與B進行NSCT，得到低通子帶系數(shù)LA、LB，高通子帶系數(shù)■、■，其中k=1，2，…;i=1，2，…。

步驟2：分別對LA、LB采用低通融合規(guī)則進行融合，分別對■、■采用高通融合規(guī)則進行融合。

步驟3：對融合子帶系數(shù)進行逆變換，得到最終融合圖像。

圖4給出了基于NSCT融合的基本流程框架。

2.1 低頻分量融合規(guī)則

針對霧霾天、逆光的環(huán)境，可見光圖像低頻分量如圖5所示。由可見光低頻圖像可以得出，在惡劣環(huán)境下可見光傳感器反饋圖像包含信息量低，路面情況如行駛車輛、行人、標識牌、車道線等信息顯示不完全。

紅外圖像低頻分量如圖6所示。由紅外低頻圖像可以得出，對惡劣環(huán)境下紅外傳感器反饋圖像信息量高，且能反饋出路面信息，如房屋、汽車、行人等。選擇自適應[6]的融合方法，對已經(jīng)分解好的低頻子帶系數(shù)進行融合。

LF=（1-λ）LA+λLB（1）

公式（1）中，λ表示感知圖像的信息量。正常環(huán)境中，可見光傳感器反饋的圖像信息量大，低頻子帶融合時，可見光低頻子帶占比高;當處于惡劣環(huán)境時，由于大霧、逆光等導致可見光傳感器反饋的圖像信息量降低，紅外低頻子帶占比升高。采用公式（1）自適應融合的方法進行融合，當環(huán)境較好時，紅外攝像頭能輔助可見光攝像頭，進一步提高感知端的識別能力;針對霧霾、逆光等環(huán)境，紅外攝像頭能彌補可見光攝像頭的不足，較好地提高感知端的適用范圍，進而提高ADAS相關功能在惡劣環(huán)境下的穩(wěn)定性。

3 仿真結(jié)果與評價

為了驗證本文方法，采用MATLAB進行大量的仿真實驗（如圖8所示）。

第一、二組是模擬逆光的工況：如圖8（1-a）和圖8（2-a）可見光所示，圖中逆光明顯，幾乎看不到路面信息，若采用單目攝像頭，則在此工況下ADAS相關功能性能將大幅降低;如圖8（1-b）和圖8（2-b）紅外圖像所示，圖中路面信息豐富;本文方法如圖8（1-c）和圖8（2-c）所示，圖中道路線清晰，車輛輪廓明顯，行人特征明顯，能彌補單目攝像頭在惡劣環(huán)境下的缺陷。

第三、四組是霧霾天的情況：如圖8（3-a）和圖8（4-a）可見光所示，圖中濃霧遮擋了車輛、行人、車道線等路面信息;如圖8（3-b）和圖8（4-b）紅外圖像所示，圖中車道線清晰可見，路上行人特征明顯，遠處的房子清晰，車輛輪廓、車牌、尾燈等特征清晰;本文方法如圖8（3-c）和圖8（4-c）所示，圖中反映的路面信息豐富，能彌補使用單目攝像頭時，在霧霾天的工況下不能觀察路面信息的缺陷。

第五組是路面照明差的情況：如圖8（5-a）可見光所示，圖中路面照明差，在對向車道有開遠光燈的情況下，幾乎看不到路邊的行人、車道線等信息;如圖8（5-b）紅外圖像所示，路邊行人特征明顯，且能清晰地看到對向車道的車輛信息;但是，紅外圖像也有缺陷，如可見光圖像圖8（5-a）中左側(cè)的汽車尾燈，在紅外圖像圖8（5-b）中，不能觀察到相鄰車道的信息;采用本文提出的融合方法如圖8（5-c）所示，右側(cè)行人特征明顯，左側(cè)相鄰車道汽車尾燈特征能清晰表現(xiàn)，且能正確表達對向車道遠光燈區(qū)域路面信息，能彌補單目攝像頭在惡劣環(huán)境下的缺陷。

以客觀評價的角度分析本文方法的融合質(zhì)量。選擇香農(nóng)熵（S），方差（V），峰值信噪比（P），并使用3個指標客觀地分析融合圖像。其中，香農(nóng)熵表示圖像中信息程度，方差衡量圖像復雜程度，圖片看起來灰蒙蒙的，則方差小，如果圖片看起來信息豐富，則方差大;峰值信噪比用于衡量圖像信息中，有用信息在圖像信息的占比程度。

從表1可以得出，對比香農(nóng)熵、方差、峰值信噪比參數(shù)，本文所述方法明顯優(yōu)于單目攝像頭方法。本文方法相對于單目攝像頭在第一組融合，融合質(zhì)量指標分別提高了8.41%、93.58%、15.41%;第二組融合比較，質(zhì)量指標分別提高7.86%、58.84%、22.06%;第三組融合比較，質(zhì)量指標分別提高20.03%、95.70%、3.21%;第四組融合比較，質(zhì)量指標分別提高32.62%、148.38%、19.25%;第五組融合比較，質(zhì)量指標分別提高8.95%、19.01%、10.44%。

4 結(jié)論

本文提出了一種融合方法，是采用在NSCT基礎上通過自適應的方法對紅外和可見光進行融合。通過5組實驗比較分析本文所述方法與基于單目攝像頭方法的融合結(jié)果，本文所述方法客觀評價指標分別提高了8.41%、93.58%、15.41%;7.86%、58.84%、22.06%;20.03%、95.70%、3.21%;32.62%、148.38%、19.25%;8.95%、19.01%、10.44%。無論從主觀視覺效果還是客觀評價，本文所述方法都明顯優(yōu)于單目攝像頭的方法，能彌補在霧霾天、能見度差、亂用遠光燈等惡劣環(huán)境下，單目攝像頭識別能力有限的缺點，有效提升在惡劣環(huán)境下ADAS相關功能的穩(wěn)定性。

參 考 文 獻

[1]XIANGT，YAN L，GAO R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Physics &Technology，2015，69：53–61.

[2]王烈，羅文，陳俊鴻，等.自適應PCNN與信息提取的紅外與可見光圖像融合[J].計算機工程與應用，2018，54（4）：192-198.

[3]張一晨，賈振紅，覃錫忠，等.基于NSCT域圖像融合改進算法的SAR圖像無監(jiān)督變化檢測[J].光電子·激光，2015，26（10）：2023-2030.

[4]吳延海，張燁，馬孟新.基于NSCT變換和壓縮感知的圖像融合[J].西安科技大學學報，2015，35（4）：480-485.

[5]CUNHA A L，ZHOU J P，DO M N.Nonsubsampled Contourlet transform：filter design and application in image denoising[C].IEEE International Conference on Image Processing，2005.

[6]王烈，羅文，秦偉萌.分段弱選擇自適應正交匹配追蹤算法[J].計算機工程與設計，2018，39（12）：3767-3773.

[責任編輯：鐘聲賢]