可見光與紅外圖像分區(qū)融合的夜視抗暈光方法

梁嘉豪，郭全民，王晗蕾

可見光與紅外圖像分區(qū)融合的夜視抗暈光方法

梁嘉豪，郭全民，王晗蕾

（西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710021）

針對(duì)夜視暈光圖像區(qū)域特征差異大，導(dǎo)致融合圖像視覺效果不理想的問題，提出一種可見光與紅外圖像分區(qū)融合的夜視抗暈光方法。先采用自適應(yīng)閾值迭代法確定低頻系數(shù)的暈光閾值，將低頻系數(shù)劃分為暈光與非暈光區(qū)域，在暈光區(qū)域采用非線性紅外系數(shù)權(quán)值調(diào)節(jié)策略，依據(jù)圖像暈光程度合理消除暈光；在非暈光區(qū)域采用灰度均值先驗(yàn)權(quán)值調(diào)節(jié)策略，提高較亮圖像參與融合的權(quán)值，增強(qiáng)暗處區(qū)域的可見度。實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)不同程度的夜視暈光場(chǎng)景均具有良好的適用性，能合理且有效地消除暈光，提高夜視融合圖像的質(zhì)量。

夜視抗暈光；圖像融合；紅外圖像；Curvelet變換

0 引言

夜間行車濫用遠(yuǎn)光燈極易引發(fā)交通事故[1]。因此，研究夜視抗暈光方法用于消除暈光干擾并獲得符合人眼觀察的夜視圖像，應(yīng)用于汽車安全輔助系統(tǒng)，可有效保障夜間行駛安全。

目前夜視主動(dòng)抗暈光方法主要有：前擋風(fēng)玻璃增加偏振[2]、紅外成像技術(shù)[3-5]、像素積分時(shí)間獨(dú)立可控的圖像傳感器[6]、可見光與紅外融合圖像[7-10]等。其中，結(jié)合可見光圖像分辨率高且色彩豐富、紅外圖像不受暈光干擾等優(yōu)點(diǎn)的異源融合方法，可有效降低暈光干擾并提高圖像質(zhì)量，是當(dāng)前解決暈光問題的研究熱點(diǎn)。文獻(xiàn)[11]提出了一種多尺度分解融合方法，通過對(duì)低頻分量的顯著圖和殘差圖分別采用“模值取大”和“平均”規(guī)則進(jìn)行融合，提高了融合圖像的清晰度并凸顯了紅外顯著信息。文獻(xiàn)[12]采用非下采樣剪切波變換（Nonsubsampled shearlet transform，NSST）對(duì)圖像進(jìn)行分解，通過設(shè)計(jì)的自適應(yīng)稀疏表示模型對(duì)低頻分量融合，有效提升了顯著信息。文獻(xiàn)[13]對(duì)NSST分解的高頻分量采用自適應(yīng)參數(shù)的簡(jiǎn)化脈沖耦合神經(jīng)網(wǎng)絡(luò)（Adaptive-parameter pluse-coupled neural network，AP-SPCNN）進(jìn)行融合，利用其全局耦合性與脈沖同步性提高了融合圖像清晰度。文獻(xiàn)[14]采用四階偏微分方程（Fourth-order partial differential equation，F(xiàn)PDE）分解紅外與可見光圖像，對(duì)低頻分量采用期望值最大的融合策略，有效地提升了融合圖像的顯著信息。但因暈光也屬于夜視圖像中的顯著信息，上述方法在增強(qiáng)圖像細(xì)節(jié)信息的同時(shí)會(huì)放大暈光區(qū)域，不利于夜間行車安全。文獻(xiàn)[15]在YUV色彩空間下通過Wavelet變換對(duì)低頻分量加權(quán)融合，降低了暈光干擾，但暈光信息仍參與融合，在強(qiáng)暈光場(chǎng)景中存在暈光消除不足問題。文獻(xiàn)[16]提出改進(jìn)的IHS-Curvelet變換，通過設(shè)計(jì)的低頻紅外權(quán)值自動(dòng)調(diào)節(jié)策略消除暈光較為徹底，但在暈光分布不均勻的場(chǎng)景，由于區(qū)域特征差異過大，易導(dǎo)致明暗分裂現(xiàn)象。

為了在不同暈光場(chǎng)景下均能獲得視覺效果較好的夜視圖像，本文提出一種可見光與紅外圖像分區(qū)融合的夜視抗暈光方法。通過暈光閾值將低頻系數(shù)分為暈光與非暈光區(qū)域，在暈光區(qū)著重依據(jù)圖像暈光程度合理消除暈光；在非暈光區(qū)重點(diǎn)提高暗處區(qū)域的可見度。

1 夜視抗暈光原理

在夜視暈光場(chǎng)景，可見光圖像中暈光十分刺眼，覆蓋了車輛輪廓，導(dǎo)致暗處行人難以觀察。在紅外圖像中車輛與行人輪廓清晰可見，但車牌、車道線、色彩等重要細(xì)節(jié)信息缺失，如圖1所示。

圖1 夜視暈光圖像

可見光圖像不同區(qū)域特征差異極大，故不同區(qū)域圖像融合處理的著重點(diǎn)也應(yīng)不同。在高亮度暈光區(qū)域，應(yīng)合理消除暈光干擾，當(dāng)暈光較強(qiáng)時(shí)，易使駕駛員眩目影響夜間行車安全，故要盡可能地消除暈光；當(dāng)暈光較弱時(shí)，避免亮度消除過度導(dǎo)致圖像局部過暗，故暈光消除適當(dāng)即可。在低亮度非暈光區(qū)域，應(yīng)有效提升圖像色彩、輪廓及紋理等細(xì)節(jié)信息，增強(qiáng)夜視圖像的視覺效果。為了在不同暈光場(chǎng)景中均能獲得視覺效果較好的夜視圖像，本文提出了一種基于分區(qū)融合的夜視抗暈光方法。

可見光圖像轉(zhuǎn)換到Y(jié)UV空間后，因暈光信息主要分布在亮度分量中，故通過自適應(yīng)閾值迭代法求解亮度分量的暈光臨界值，并進(jìn)一步確定低頻系數(shù)的暈光閾值，將低頻系數(shù)劃分為暈光與非暈光區(qū)域。在暈光區(qū)通過構(gòu)造非線性紅外系數(shù)權(quán)值調(diào)節(jié)策略合理消除暈光；在非暈光區(qū)域采用灰度均值先驗(yàn)權(quán)值調(diào)節(jié)策略，提高較亮圖像參與融合的權(quán)值，提高暗處區(qū)域的可見度。高頻系數(shù)融合采用模值取大策略保留更多的細(xì)節(jié)信息。利用Curvelet變換具有各向異性的特性，保留邊緣細(xì)節(jié)并抑制周邊噪聲，有效提高了圖像的清晰度。同時(shí)僅對(duì)YUV變換的亮度分量進(jìn)行融合，降低算法復(fù)雜度，提高處理效率，并避免色彩失真。

2 基于分區(qū)融合的夜視抗暈光方法

基于上述夜視抗暈光原理，本文方法的整體處理框圖如圖2所示。

圖2 圖像融合抗暈光過程

2.1 Curvelet分解

可見光圖像經(jīng)YUV變換[17]獲得亮度分量，再對(duì)分量與紅外圖像分別進(jìn)行Curvelet分解。二維離散Curvelet分解[18]可表示為：

式中：[1,2]表示輸入圖像；,l,k[1,2]表示Curvelet函數(shù)；分別表示分解的尺度、方向與位置。

分解后得到亮度分量和紅外圖像對(duì)應(yīng)的低頻系數(shù)VI0()、IR0()，高頻系數(shù)VI()、IR()，其中上標(biāo)VI、IR分別表示可見光、紅外。

2.2 低頻系數(shù)暈光閾值的確定及區(qū)域劃分

首先通過自適應(yīng)閾值迭代法[19]確定可見光圖像亮度分量的暈光臨界值c。

計(jì)算第＋1次閾值T＋1為：

T＋1＝(1＋2)(2)

(3)

式中：為自適應(yīng)系數(shù)；1和2分別為經(jīng)閾值T分割后的兩個(gè)區(qū)域的灰度均值；In()是第個(gè)像素的灰度值；為總像素?cái)?shù)，1和2分別為兩個(gè)區(qū)域的像素?cái)?shù)，＝1＋2。

為了盡可能減少迭代次數(shù)，自適應(yīng)系數(shù)需要根據(jù)圖像的暈光程度自動(dòng)調(diào)整。研究表明暈光程度與暈光區(qū)域面積正相關(guān)，與非暈光區(qū)域面積負(fù)相關(guān)，通過實(shí)際實(shí)驗(yàn)，自適應(yīng)系數(shù)取為：

＝－1.73360.0253＋2.2243 (4)

式中：表示暈光與非暈光面積比。初始閾值0取亮度分量的灰度中值進(jìn)行迭代計(jì)算，直到閾值不再變化時(shí)結(jié)束，最新的閾值即為暈光臨界灰度值c。

由于暈光區(qū)域高灰度值像素比較集中，進(jìn)行暈光消除處理時(shí)易造成暈光臨界處明暗分裂的現(xiàn)象，故在c的基礎(chǔ)上擴(kuò)大低頻系數(shù)的暈光消除范圍，低頻系數(shù)的暈光閾值L取為：

式中：為縮放因子，使消除暈光后的暈光與非暈光區(qū)域銜接更自然，?[0, 1]。通過多次計(jì)算優(yōu)化，本文取＝0.65。若低頻系數(shù)位置的灰度值VI0()＞L，則該位置屬于暈光區(qū)域；反之，若VI0()≤L，則該位置屬于非暈光區(qū)域。

2.3 非暈光區(qū)域低頻系數(shù)權(quán)值調(diào)節(jié)策略

夜視圖像非暈光區(qū)整體較暗，為了增強(qiáng)融合圖像非暈光區(qū)的可見度，通過提高非暈光區(qū)整體較亮像素參與融合的權(quán)值，提升融合圖像暗處視覺效果。以亮度分量與紅外圖像的非暈光區(qū)灰度均值作為先驗(yàn)信息，確定非暈光區(qū)域紅外低頻系數(shù)權(quán)值IRNH()：

式中：為非暈光區(qū)總像素?cái)?shù)。

2.4 暈光區(qū)域低頻系數(shù)權(quán)值調(diào)節(jié)策略

由于暈光信息主要分布于可見光圖像的低頻分量，Curvelet分解后的可見光低頻分量在暈光區(qū)域的系數(shù)值明顯大于其他區(qū)域。因此，在暈光區(qū)隨著暈光程度變強(qiáng)，可見光低頻系數(shù)值變大，應(yīng)增大紅外低頻系數(shù)權(quán)值，降低可見光低頻系數(shù)權(quán)值以更好地消除暈光；當(dāng)逐漸遞進(jìn)到暈光中心區(qū)域時(shí)，對(duì)應(yīng)的紅外低頻系數(shù)權(quán)值應(yīng)取大值，以徹底地消除暈光；在暈光臨界處，為了使暈光與非暈光區(qū)域明暗銜接自然，且防止暈光消除過度，應(yīng)合理設(shè)置緩沖區(qū)，以非暈光區(qū)的紅外低頻系數(shù)作為暈光區(qū)域紅外低頻系數(shù)權(quán)值的基準(zhǔn)，且要變化緩慢。根據(jù)上述思想構(gòu)造暈光區(qū)域紅外低頻系數(shù)權(quán)值IRH()的非線性表達(dá)式：

式中：為約束因子，用于調(diào)節(jié)暈光消除程度。當(dāng)取不同值時(shí)，紅外低頻系數(shù)權(quán)值IRH()隨可見光低頻系數(shù)VI0()的變化趨勢(shì)如圖3所示。

圖3 暈光區(qū)域紅外低頻系數(shù)權(quán)值曲線

Fig.3 Weight curves of infrared low frequency coefficient in halo region

由圖3可以看出，取值不同的函數(shù)曲線變化趨勢(shì)，均為HIR()隨0VI()的增大而增大，且變化率開始緩慢后變大，接近1時(shí)再變小。另外，對(duì)應(yīng)同一0VI()不變時(shí)，越小該點(diǎn)的HIR()越大，因此與暈光消除程度成反比關(guān)系。根據(jù)暈光程度調(diào)整的取值，再利用式(6)調(diào)整紅外與可見光低頻系數(shù)權(quán)值，達(dá)到合理消除暈光的目的。由于暈光程度與暈光臨界值成正比關(guān)系，經(jīng)過多次計(jì)算優(yōu)化，將暈光臨界值c劃分為3個(gè)區(qū)間，不同區(qū)間的取值為：

為了將暈光區(qū)域的紅外低頻系數(shù)權(quán)值均勻分布在范圍[0,1]，首先對(duì)VI0()進(jìn)行區(qū)間投射：

式中：VI0()表示點(diǎn)VI0()投射到[,]區(qū)間的低頻系數(shù)值。本文選擇[0, 4]區(qū)間投射，以VI0()為作為式(7)的輸入，得到紅外低頻系數(shù)權(quán)值矩陣IRH()。

2.5 Curvelet重構(gòu)

融合后的低頻系數(shù)FU0()為：

式中：IR()為紅外低頻系數(shù)權(quán)值矩陣，可表示為：

高頻系數(shù)融合采用模值取大策略，可獲得更多的紋理細(xì)節(jié)信息[20]。融合后的高頻分量FU()為：

頻域的離散Curvelet變換表式為：

利用式(13)將FU0()與FU()進(jìn)行Curvelet重構(gòu)，得到新亮度分量￠，再將其與、分量進(jìn)行YUV逆變換得到最終的融合圖像。

3 實(shí)驗(yàn)及分析

為驗(yàn)證本文方法的有效性，本文在兩種不同道路暈光場(chǎng)景采集了對(duì)向車輛由遠(yuǎn)及近的可見光與紅外圖像，分別采用NSST[12]、AP-SPCNN[13]、FPDE[14]、YUV-WT[15]、IIHS-CT[16]等5種融合方法與本文方法進(jìn)行實(shí)驗(yàn)對(duì)比。為了避免高亮度暈光信息干擾融合圖像的評(píng)價(jià)結(jié)果，本文采用文獻(xiàn)[19]提出的自適應(yīng)分區(qū)質(zhì)量評(píng)價(jià)方法對(duì)融合結(jié)果進(jìn)行客觀評(píng)價(jià)。采用暈光消除度HE指標(biāo)對(duì)暈光區(qū)域的暈光消除效果進(jìn)行評(píng)價(jià)，值越大表明暈光消除越徹底。采用均值、平均梯度（AG）、邊緣強(qiáng)度（EI）、空間頻率（SF）等指標(biāo)對(duì)非暈光區(qū)域進(jìn)行評(píng)價(jià)，越大表明非暈光區(qū)域亮度越高，AG越大表明圖像細(xì)節(jié)反差的變化速率越大；EI越大表明圖像的邊緣細(xì)節(jié)越明顯；SF越大表明圖像空間域變化越強(qiáng)。

3.1 對(duì)向車輛距離較遠(yuǎn)的暈光場(chǎng)景

夜間對(duì)向車輛較遠(yuǎn)時(shí)，圖像整體偏暗。可見光圖像中暈光較弱，路況等信息受益于暈光變得更加明顯，但暈光部位側(cè)方和后方區(qū)域缺乏光源，車輛輪廓、行人難以觀察；紅外圖像中車輛輪廓與行人清晰可見，但路面狀況、色彩等信息缺失。圖4與圖5分別為場(chǎng)景1與場(chǎng)景2的原始圖像及不同算法的融合圖像。

從圖4與圖5可以看出，在整體清晰度方面，YUV-WT與NSST相較于其他5種算法融合圖像的清晰度欠佳。在暈光消除方面，NSST、AP-SPCNN、FPDE以及YUV-WT在車燈附近仍有光斑殘余，暈光消除程度明顯不如IIHS-CT與本文算法。在行人、車輛等信息的顯著程度與圖像整體亮度方面，本文算法的行人與車輛輪廓相較于其它5種算法更顯著，且圖像整體亮度更好。場(chǎng)景1與場(chǎng)景2各算法融合圖像的客觀評(píng)價(jià)結(jié)果如表1與表2所示。

Table 1 場(chǎng)景1融合圖像的客觀評(píng)價(jià)指標(biāo)

由表1與表2知，IIHS-CT與本文算法都設(shè)計(jì)了暈光消除的低頻融合規(guī)則，所以HE明顯高于其他4種算法，其中本文算法HE最高，在場(chǎng)景1中相較于其他5種抗暈光算法分別提升了24.7%、26.5%、8.7%、50.1%、5.3%，在場(chǎng)景2中相較于其他5種抗暈光算法分別提升了12.7%、13%、3.4%、38.4%、5.6%。在非暈光區(qū)域，本文算法設(shè)計(jì)了灰度均值先驗(yàn)權(quán)值調(diào)節(jié)策略，通過提高較亮圖像參與融合的權(quán)值有效提升融合圖像的亮度，指標(biāo)在場(chǎng)景1中相較于其他5種算法分別提升了10.2%、20.5%、17%、20.8%、13.9%，在場(chǎng)景2中相較于其他5種算法分別提升了7.1%、15%、15.4%、24.1%、14.3%。由于Curvelet變換的各向異性，對(duì)邊緣信息更敏感，所以本文算法與IIHS-CT融合圖像的AG、EI與SF指標(biāo)相較于其它4種算法明顯提高，但I(xiàn)IHS-CT暈光消除范圍過大，導(dǎo)致圖像非暈光區(qū)域整體較暗，變化率與細(xì)節(jié)反差小，故相較于本文方法的AG、EI與SF指標(biāo)較低。在兩種場(chǎng)景下，本文算法的各項(xiàng)指標(biāo)均高于其它5種方法，驗(yàn)證了本文方法在對(duì)向車輛距離較遠(yuǎn)的暈光場(chǎng)景的有效性。

Table 2 場(chǎng)景2融合圖像的客觀評(píng)價(jià)指標(biāo)

3.2 對(duì)向車輛距離較近的暈光場(chǎng)景

當(dāng)對(duì)向車輛較近時(shí)，多個(gè)車燈形成的暈光部位連成一個(gè)較大區(qū)域，十分炫目極易造成交通隱患。可見光圖像的高亮度暈光覆蓋了車輛輪廓，路面受益暈光變得明顯，但也導(dǎo)致暗處區(qū)域更加難以觀察；紅外圖像無暈光且目標(biāo)輪廓清晰，但會(huì)丟失車道線等重要信息且細(xì)節(jié)模糊，無色彩。圖6與圖7分別為場(chǎng)景3與場(chǎng)景4的原始圖像及不同算法的融合圖像。

由圖6與圖7可看出，NSST與YUV-WT算法融合的圖像在兩種場(chǎng)景中較為模糊，邊緣細(xì)節(jié)的清晰度較差，行人顯著度不足。除了IIHS-CT與本文算法，其他4種算法處理融合圖像在場(chǎng)景4中的暈光消除不足，在車燈附近暈光仍比較嚴(yán)重。IIHS-CT在兩種場(chǎng)景中均暈光消除過度，導(dǎo)致暈光臨界處兩側(cè)明暗差異較大，整體視覺效果較差。本文算法相較于其他5種算法，暈光消除較好，車輛輪廓更清晰，整體亮度更符合人眼視覺。場(chǎng)景3與場(chǎng)景4融合圖像的客觀評(píng)價(jià)結(jié)果如表3與表4所示。

Table 3 場(chǎng)景3融合圖像的客觀評(píng)價(jià)指標(biāo)

Table 4 場(chǎng)景4融合圖像的客觀評(píng)價(jià)指標(biāo)

由表3與表4可知，本文算法與IIHS-CT變換都針對(duì)低頻部分的暈光信息設(shè)計(jì)了暈光消除策略，因此兩種場(chǎng)景中HE指標(biāo)明顯高于其它4種方法。在場(chǎng)景4中，雖然IIHS-CT的HE最高，但暈光臨界處明暗分裂明顯，影響圖像整體視覺效果，而本文算法暈光消除范圍控制較好，獲得圖像的視覺效果更好。YUW-WT與NSST分別在場(chǎng)景3與場(chǎng)景4中最高，但行人顯著度較差。AP-SPCNN與FPDE能較好保留圖像顯著信息，但暈光本身也屬顯著信息，導(dǎo)致上述算法在暈光較強(qiáng)場(chǎng)景中的融合圖像較高而HE較低，暈光信息依然存在，導(dǎo)致車輛輪廓比較模糊。本文算法與IIHS-CT利用了Curvelet變化對(duì)邊緣信息更敏感的特性，相較于其他4種算法邊緣信息保留的更多，圖像更清晰，故AG、EI與SF較高。另一方面，由于IIHS-CT不能有效地控制暈光消除范圍，導(dǎo)致部分非暈光區(qū)域亮度較低，灰度變化率變小，所以AG、EI與SF相較于本文算法較低，驗(yàn)證了本文算法在對(duì)向車輛距離較近的暈光場(chǎng)景的有效性。

3.3 結(jié)果討論

通過以上的分析可知，NSST、AP-SPCNN、FPDE、YUV-WT算法在強(qiáng)暈光場(chǎng)景中存在暈光消除不足。IIHS-CT方法暈光消除徹底，但存在因暈光消除過度造成嚴(yán)重的明暗分裂現(xiàn)象，適用性較差。本文算法針對(duì)不同區(qū)域特征采取不同權(quán)值調(diào)節(jié)策略，在不同暈光場(chǎng)景中均能有效消除暈光，提升融合圖像質(zhì)量，普適性較好。

4 結(jié)論

本文提出的基于可見光與紅外圖像分區(qū)融合的夜視抗暈光方法，較好地解決了現(xiàn)有夜視抗暈光融合圖像視覺效果不理想的問題。該方法能較好地控制暈光消除，并有效提高暗處色彩、細(xì)節(jié)的可見度，獲得的融合圖像更適合人眼觀察。不同暈光程度場(chǎng)景下的實(shí)驗(yàn)結(jié)果表明，本文方法相較于對(duì)比的5種圖像融合方法普適性更好，對(duì)提高夜間行車安全具有重要意義，也可為交通感知、安全監(jiān)控等領(lǐng)域中的低照度逆光圖像采集提供一種解決方案。

[1] 安軒. 濫用遠(yuǎn)光燈致事故發(fā)生要擔(dān)責(zé)[J]. 道路交通管理, 2021(1):75.

AN Xuan. Taking responsibility for accidents caused by misuse of high beams [J]., 2021(1): 75.

[2] Marsell E, Bostrom E, Harth A. Spatial control of multiphoton electron excitations in InAs nanowires by varying crystal phase and light polarization[J]., 2018, 18(2): 907-915.

[3] Ashiba H I, Ashiba M I. Super-efficient enhancement algorithm for infrared night vision imaging system[J].., 2021, 80: 9721-9747. DOI: 10.1007/s11042-020-09928-w.

[4] YUAN Yubin, SHEN Yu, PENG Jing, et al. Defogging technology based on dual-channel sensor information fusion of near-infrared and visible light[J]., 2020, DOI:10.1155/2020/8818650.

[5] Ashiba H I. Dark infrared night vision imaging proposed work for pedestrian detection and tracking[J]., 2021, 80: 25823–25849. DOI: 10.1007/s11042-021-10864-6.

[6] 王健, 高勇, 雷志勇, 等. 基于雙CCD圖像傳感器的汽車抗暈光方法研究[J]. 傳感技術(shù)學(xué)報(bào), 2007(5): 1053-1056.

WANG Jian, GAO Yong, LEI Zhiyong, et al. Research of auto anti-blooming method based on double CCD image sensor[J]., 2007(5): 1053 -1056.

[7] QIAO Tianzhu, CHEN Lulu, PANG Yusong. Integrative multi-spectral sensor device for far-infrared and visible light fusion[J]., 2018, 8(2): 134-145. Doi:10.1007/s13320-018-0401-4.

[8] HU Haimiao, WU Jiawei, LI Bo. An adaptive fusion algorithm for visible and infrared videos based on entropy and the cumulative distribution of gray levels[J]., 2017, 19(12): 2706-2719. Doi: 10.1109/TMM.2017. 2711422.

[9] 裴佩佩, 楊艷春, 黨建武, 等. 基于滾動(dòng)引導(dǎo)濾波器和卷積稀疏表示的紅外與可見光圖像融合方法[J]. 激光與光電子學(xué)進(jìn)展, 2022, 59(12): 56-63.

PEI Peipei, YANG Yanchun, DANG Jianwu, et al. Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation[J]., 2022, 59(12): 56-63.

[10] 蔣一純, 劉云清, 詹偉達(dá), 等. 基于圖像退化模型的紅外與可見光圖像融合方法[J]. 電子與信息學(xué)報(bào), 2022, 44(12): 4405-4415. DOI: 10.11999/JEIT211112.

JIANG Yichun LIU Yunqing ZHAN Weida, et al. Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation [J].2022, 44(12): 4405-4415. DOI: 10.11999/JEIT211112.

[11] CHEN J, WU K, LUO L. Multiscale infrared and visible image fusion based on phase congruency and saliency[C]//2020, 2020: 224-227. DOI: 10.1109/IGARSS39084.2020.9324363.

[12] 王昭, 杜慶治, 董安勇, 等. 基于非下采樣剪切波變換的紅外與可見光圖像融合[J]. 光電子·激光, 2020, 31(10): 1062-1073.

WANG Zhao, DU Qingzhi, DONG Anyong, et al. Infrared and visible image fusion based on nonsubsampled shearlet transform[J]., 2020, 31(10): 1062-1073.

[13] ZHANG L, ZENG G, WEI J, et al. Multi-modality image fusion in adaptive-parameters SPCNN based on inherent characteristics of image [J]., 2022, 20(20): 11820-11827. DOI: 10.1109/JSEN.2019. 2948783.

[14] 高雪琴, 劉剛, 肖剛, 等. 基于FPDE的紅外與可見光圖像融合算法[J].自動(dòng)化學(xué)報(bào), 2020, 46(4): 796-804.

GAO Xueqin, LIU Gang, XIAO Gang, et al. Fusion algorithm of infrared and visible images based on FPDE[J]., 2020, 46(4): 796-804.

[15] 郭全民, 董亮, 李代娣. 紅外與可見光圖像融合的汽車抗暈光系統(tǒng)[J].紅外與激光工程, 2017, 46(8): 171-176.

GUO Quanmin, DONG Liang, LI Daidi. Vehicles anti-halation system based on infrared and visible images fusion[J]., 2017, 46(8): 171-176.

[16] 郭全民, 王言, 李翰山. 改進(jìn)IHS-Curvelet變換融合可見光與紅外圖像抗暈光方法[J]. 紅外與激光工程, 2018, 47(11): 440-448.

GUO Quanmin, WANG Yan, LI Hanshan. Anti-halation method of visible and infrared image fusion based on improved IHS-Curvelet transform [J]., 2018, 47(11): 440-448.

[17] 何惜琴, 陳冬冬. 基于YUV顏色模型與導(dǎo)向?yàn)V波的圖像去霧算法[J].液晶與顯示, 2021, 36(8): 1166-1173.

HE Xiqin, CHEN Dongdong. Image defogging algorithm based on YUV color model and guided filtering[J]., 2021, 36(8): 1166-1173.

[18] 王麗, 苗鳳娟, 陶佰睿. 結(jié)合Curvelet變換和LSWT的多聚焦圖像融合算法[J]. 計(jì)算機(jī)工程與科學(xué), 2015, 37(6): 1203-1207.

WANG Li, MIAO Fengjuan, TAO Bairui. A multi-focus image fusion algorithm based on Curvelet transform and LSWT[J].,2015, 37(6): 1203-1207.

[19] 郭全民, 柴改霞, 李翰山. 夜視抗暈光融合圖像自適應(yīng)分區(qū)質(zhì)量評(píng)價(jià)[J]. 電子與信息學(xué)報(bào), 2020, 42(7): 1750-1757.

GUO Quanmin, CHAI Gaixia, LI Hanshan. Quality evaluation of night vision anti-halation fusion image based on adaptive partition[J]., 2020, 42(7): 1750-1757.

[20] LI W, LI Z, LI S. Infrared and visible image fusion via multi-scale edge-preserving filtering and pulse-couple neural network[C]//2021 7th, 2021: 742-746. DOI: 10.1109/ICCC54389.2021.9674474.

Night Vision Anti-halation Method Based on Partition Fusion of Visible and Infrared Images

LIANG Jiahao，GUO Quanmin，WANG Hanlei

(,,710021,)

The imperfect visual effects in fused images are caused by the large difference between the regional features of night-vision halation images. To address this problem, a partition fusion method for visible and infrared images is proposed. First, the halation threshold of the low-frequency coefficient, determined by the adaptive threshold iteration method, divided the low-frequency coefficient into halation and nonhalation regions. In the halation region, the proposed nonlinear adjustment method for the infrared coefficient weights eliminated halation according to the degree of halation in the image. In the nonhalation region, the weight adjustment method based on the prior grayscale mean was applied to improve the weight of brighter images participating in the fusion to enhance the visibility of dark areas. The experimental results show that the proposed method can be applied to night-vision halation scenes of different degrees to eliminate halation and improve the quality of night-vision image fusion.

night vision anti-halation, image fusion, infrared Image, Curvelet transformation

TP391.4

A

1001-8891(2023)07-0714-07

2022-09-11；

2022-11-23.

梁嘉豪（1997-），男，碩士研究生，主要研究方向：圖像處理與機(jī)器視覺。E-mail：kouhaoshi58300@163.com.

郭全民（1974-），男，教授，博士，主要從事智能感知與信息處理、圖像處理及機(jī)器視覺方面的研究。E-mail：guoqm@163.com。

國家自然科學(xué)基金(62073256)，陜西省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019GY-094，2022GY-112）