低照度隧道口視覺融合技術(shù)研究

馬戀，馬慶祿，付冰琳，王江華

（1 重慶交通大學(xué) 交通運(yùn)輸學(xué)院，重慶 400074）

（2 重慶奉建高速公路有限公司，重慶 401120）

0 引言

山區(qū)高速公路隧道橋隧的封閉環(huán)境中光照強(qiáng)度不足，成像后像素光照強(qiáng)度平均值較低。車載視覺系統(tǒng)中的識別算法可用于像素之間差異較小的情況。單一傳感器所獲得的數(shù)據(jù)信息通常是有限的，通過將多傳感器數(shù)據(jù)信息加以融合，可得到更加客觀、準(zhǔn)確、全面的隧道場景信息。常用的夜視背景增強(qiáng)技術(shù)包括紅外視覺技術(shù)，紅外傳感器通過采集物體表面的熱輻射來獲取圖像信息，捕捉低照度和黑暗條件下的物體。紅外與可見光電磁光譜圖像信息進(jìn)行融合，可獲得增強(qiáng)的、更全面的場景信息。

研究人員對低照度下視覺圖像處理提出了多種解決方法：1）基于空間域的算法。KUMAR A 等［1］利用典型的直方圖均衡化增強(qiáng)以增強(qiáng)圖像亮度和對比度；程文傲等［2］為了使融合圖像特征更明顯，利用加權(quán)平均將互補(bǔ)信息進(jìn)行有機(jī)集成融合，然而容易造成局部圖片過飽和，產(chǎn)生噪聲。2）基于變換域的算法，多尺度變換應(yīng)用最為廣泛。ZHANG S Q［3］利用非下采樣輪廓波（Non-Subsampled Contourlet Transform，NSCT）進(jìn)行分解，根據(jù)視覺顯著性對不同來源的低頻子帶賦予不同的權(quán)重，通過篩選方法得到高頻子帶權(quán)重圖；PARK S 等［4］基于Retinex 理論在變換域算法將圖像變換到頻域空間再做濾波處理，然后進(jìn)行反變換獲得增強(qiáng)的圖片；楊九章等［5］提出了一種基于雙邊濾波的方法對可見光和紅外圖像進(jìn)行非對稱處理，去除“光暈”和噪聲；陳豪等［6］采用圖像金字塔融合以提高圖像對比度和清晰度，然而圖像增強(qiáng)仍然存在“光暈偽影”、計算效率低等問題。3）基于深度學(xué)習(xí)的算法。BIANCO S 等［7］采用訓(xùn)練模型參數(shù)和卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行編解碼提取抽象特征并對圖像特征進(jìn)行分解和增強(qiáng)操作，實(shí)現(xiàn)低照度圖像增強(qiáng)；LORE K G 等［8］利用深層堆疊稀疏降噪自編碼器（Stacked Sparse Denoising Autoencoder，SSDA）構(gòu)建了低照度圖像增強(qiáng)網(wǎng)絡(luò)（Low-Light Net，LLNet）模型，在增強(qiáng)對比度的同時有效抑制噪聲；AMINUDIN M F C 等［9］利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和去噪自動編碼器等深度學(xué)習(xí)架構(gòu)，提高圖像質(zhì)量；LU H M 等［10］為降低光學(xué)圖像受到低光照的影響，使用深度卷積神經(jīng)網(wǎng)絡(luò)解決光場圖像的去散射問題，然而基于RGB 色彩空間模型存在RGB 三原色相關(guān)性的影響，增強(qiáng)圖像時易造成色彩失真，且數(shù)據(jù)依賴問題導(dǎo)致利用深度學(xué)習(xí)算法對低照度場景下增強(qiáng)效果不理想。對于多傳感器的融合，混合模型通過結(jié)合多重優(yōu)點(diǎn)以提高圖像融合的性能。FALLAH M 等［11］將多尺度變換（Multi-scale transforms，MST）和稀疏表示（Sparse Representation，SR）用于紅外與可見光融合，保留熱輻射信息的同時改善了空間細(xì)節(jié)；REN L 等［12］采用引導(dǎo)濾波和紅外特征分解的紅外與可見光圖像融合算法，計算效率高；LIU Y C 等［13］利用方向均勻性和強(qiáng)度分布顯著性將增強(qiáng)后的可見光圖像作為背景重建融合圖像；BUDHIRAJA S 等［14］基于NSCT 分解，利用稀疏表示和聚類字典以獲取增強(qiáng)的融合圖像。上述方法對圖像都有較好的增強(qiáng)效果，但在隧道口低照度條件下會存在前景亮度偏低、顏色偏暗或失真等。本文利用卷積稀疏表示（Convolution Sparse Representation，CSR）、光譜邊緣信息（Spectral Edge，SE）以及局部能量（Energy）特征進(jìn)行圖像融合，提出一種公路隧道光環(huán)境靜態(tài)和動態(tài)條件下隧道空間信息的智能感知方法（CSR-SE-Energy），同時處理降噪與融合，避免在融合處理時可見光和近紅外信息的丟失。

1 預(yù)處理

1.1 不同時段注視點(diǎn)

在光線較強(qiáng)的正午時段，由于隧道本身環(huán)境封閉，高速公路隧道口比其他路段的注視點(diǎn)更為分散，在低照度時段注視點(diǎn)分布范圍更加廣泛。選用典型駕駛數(shù)據(jù)分析，隧道口區(qū)域不同區(qū)段的注視點(diǎn)分布不同，在水平軸差異大［15］。隧道內(nèi)利用照度計采集車內(nèi)外光照差異，如圖1 所示。

圖1 隧道出入口視覺及車輛內(nèi)外照度對比Fig.1 Comparison of tunnel entrance vision and vehicle internal and external illumination

1.2 雙邊濾波圖像濾波器

減少光照對于圖像的影響，準(zhǔn)確提取出圖像的光照信息是圖像預(yù)處理中非常重要的一環(huán)。應(yīng)用普遍的光照信息提取算法主要有高斯濾波算法、雙邊濾波算法以及Retinex 算法等。高斯濾波會引起圖像邊緣不清晰，細(xì)節(jié)信息不完善，基于Retinex 算法對光照突變的信息提取不理想。不同的色彩信息采用雙邊濾波對多源圖像進(jìn)行濾波反饋，即

式中，i、j表示計算的這一個像素點(diǎn)的位置，k、l為周圍像素位置，w(i，j，k，l)代表經(jīng)過兩個高斯函數(shù)計算出的值，f(i，j)和f(k，l)分別為像素區(qū)域的坐標(biāo)和相鄰區(qū)域基本單元的灰度值，是標(biāo)準(zhǔn)的空間域距離的高斯標(biāo)準(zhǔn)差。雙邊濾波算法［16］提取出可見光彩色圖像和紅外圖像信息，很好地保持圖像邊緣信息的同時抑制圖像噪聲，如圖2 所示。

圖2 雙邊濾波處理及亮度特征Fig.2 Bilateral filtering and luminance characteristics

1.3 照度層的提取與優(yōu)化

避免圖像增強(qiáng)過程中產(chǎn)生的失真現(xiàn)象，采用伽馬（Gamma）校正對光照分量進(jìn)行校正。首先求取參數(shù)a，對Gamma 校正I（x，y）的參數(shù)進(jìn)行自適應(yīng)調(diào)整，即

式中，m、n分別為圖像的寬與高。I2（x，y）為經(jīng)過校正后的光照分量值。Gamma 校正很好地提高圖像亮度，豐富暗區(qū)域細(xì)節(jié)信息。為防止曝光區(qū)域的增長，隧道入口處可見光與紅外圖像的校正如圖3 所示。Gamma校正提高圖像亮度的同時，圖像動態(tài)范圍有所壓縮且局部對比度低，因此采用限制對比度的自適應(yīng)直方圖均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）進(jìn)行光照分量處理，如圖4 所示。

圖3 多源圖像伽馬校正Fig.3 Multi-source images Gamma correction

圖4 CLAHE 變換Fig.4 CLAHE transform

在進(jìn)行CLAHE 變換中利用像素插值將無法對整塊進(jìn)行調(diào)整的部分的邊緣對稱擴(kuò)充，對x和y利用插值法能夠有效填充圖像變換時像素之間的空隙。

2 融合步驟

2.1 非下采樣輪廓波

為提高隧道可見光所呈現(xiàn)的視覺信息并增強(qiáng)紅外像素暗處細(xì)節(jié)，通過與原始可見光圖像融合進(jìn)一步提高圖像中多元化信息的反饋。非下采樣金字塔（Nonsubsampled Pyramid，NSP）和非下采樣方向?yàn)V波器（Nonsubsampled Directional Filter Bank，NSDFB）是非下采樣輪廓波（Non-subsampled Contourlet transform，NSCT）的主要部分。若對預(yù)處理后的源圖像進(jìn)行k層分解，可得與其大小相同的k+1 個子帶圖像，包含一個低通子帶和多個帶通子帶，k級NSCT 分解如圖5 所示。對于NSCT 分解部分，金字塔濾波器和方向?yàn)V波器設(shè)置為“pyrexc”和“vk”，分解級別皆設(shè)為4，分解級數(shù)為［2，3，3，4］。

圖5 k 級NSCT 分 解Fig.5 k level NSCT decomposition

本文提出的算法整體流程如圖6 所示，雙邊濾波與光照分量對隧道口低照度紅外和可見光源圖像進(jìn)行自適應(yīng)圖像增強(qiáng)；利用非下采樣輪廓波對預(yù)處理后的圖像進(jìn)行多尺度、多方向分解；對低頻系數(shù)，采用基于卷積稀疏表示與局部能量特征相結(jié)合的方法進(jìn)行融合；對高頻系數(shù)，根據(jù)底層視覺特征構(gòu)建新活性度量方法與光譜邊緣處理，最后對融合系數(shù)進(jìn)行重構(gòu)得到融合圖像。

圖6 算法流程Fig.6 Flow diagram of algorithm

2.2 低頻部分融合

算法首先對可見光圖像與近紅外圖像分別使用雙邊濾波器將k層分解后的單個低頻子圖Ik分解成低頻基礎(chǔ)分量和細(xì)節(jié)特征分量，前者采用局部能量特征融合，細(xì)節(jié)特征分量采用卷積稀疏表示（Convolution Sparse Representation，CSR）策略融合。

通過式（3）可得。

式中，gx和gy分別表示x，y方向梯度算子，F(xiàn)為范數(shù)，*為卷積運(yùn)算符號，正則化參數(shù)η=5。

為求得細(xì)節(jié)特征分量，對應(yīng)CSR 模型為

式中，λ為稀疏正則項(xiàng)，λ＞0 表示自定義參數(shù)；dm表示濾波字典，m∈{1，2，3，…，M}，{dm}表示M維卷積字典；Ck，m為的系數(shù)矩陣，{Ck，m}為特征響應(yīng)，利用加權(quán)局部能量和局部能量比保存隧道入口的紅外與可見光圖像的低頻子帶結(jié)構(gòu)細(xì)節(jié)信息。

加權(quán)局部能量（Weighted Local Energy，WLE）可表示為

式中，E(x，y)表示紅外圖像加權(quán)局部能量EI(x，y)或可見光圖像加權(quán)局部能量EV(x，y)，L(x，y)表示圖像位置(x，y)處的NSCT 低頻系數(shù)，W(m，n)為低頻系數(shù)的窗口加權(quán)系數(shù)矩陣，r為矩陣半徑，當(dāng)r=1 時，正則化系數(shù)矩陣

加權(quán)局部能量保存結(jié)構(gòu)化信息，由于簡單加權(quán)往往會導(dǎo)致紅外目標(biāo)淡化，為保持融合目標(biāo)亮度，度量細(xì)節(jié)提取值采用局部特征能量比，即

式中，R(x，y)表示紅外局部能量與可見光局部能量的占比。EI(x，y)相對EV(x，y)越大，其像素越有可能屬于目標(biāo)，但是R(x，y)受EI(x，y)和EV(x，y)共同作用。因此，對于融合圖像應(yīng)盡可能保留紅外圖像中目標(biāo)的高亮特征。

式中，mean［］表示均值；std［］表示標(biāo)準(zhǔn)差；k1，k2為經(jīng)驗(yàn)參數(shù)，設(shè)k1=0.5，k2=1.5。合并后的低頻部分為LF=

2.3 高頻部分處理

利用新活性度量方法（New Activity-level Measurement，NAM）對高頻信息進(jìn)行融合，即［17］

式中，α1、β1和γ1取值為1、2、2，Si（x，y）是大小為×滑動窗，K為源圖像數(shù)目。MNAMi（x，y）≥maxMNAMj i，j∈(1，K)。采用NSCT 逆變換重構(gòu)得到融合圖像，其中IF=LF+HF。邊緣信息注入多源圖像中，提取高頻信息，光譜邊緣（Spectral Edge，SE）圖像融合表示為

式中，Ihi表示hi通道的信號，1 ≤i≤3，L(λ)為光源的相對光譜功率分布，R(λ)為物體光譜反射率，τL(λ)和τF(λ)分別為鏡頭和濾光片的光譜透光率，S(λ)為歸一化光譜靈敏度。

3 實(shí)驗(yàn)與分析

計算機(jī)的CPU 采用Intel Core i7-7500U2.5GHz，內(nèi)存為8GB，Matlab 2018a 環(huán)境。針對低照度下隧道出入口行車會車時的實(shí)際場景，在實(shí)驗(yàn)室自然光照射、隧道燈光及車輛燈光照射等不同情形下，模擬駕駛員的視線進(jìn)行隧道出入口會車實(shí)驗(yàn)。通過內(nèi)外部路段亮度變化模擬實(shí)際路況，光源周圍3 輛汽車模型模擬低照度下隧道出入口行駛車輛。對于圖像融合程度，選取基于無參考圖像的評價指標(biāo)［18］，包括：融合圖像與源可見光、紅外圖像之間相似程度的互信息量（Mutual Information，MI）［19］；融合圖像的空間頻率（Spatial Frequency，SF），用于反映梯度分布，從而揭示融合圖像的細(xì)節(jié)和紋理［20］；融合圖像清晰程度的指標(biāo)平均梯度（Average Gradient，AG）［21］；融合圖像的邊緣信息傳遞量（The transfer of edge information，QAB/F）［22］；信息熵指標(biāo)（Information Entropy，IE）［23］；和基于統(tǒng)計概念，反映融合圖像信息分布和對比度的標(biāo)準(zhǔn)差（Standard Deviation，SD）［24］。A、B 組為低照度下隧道入口的近紅外與可見光圖像實(shí)驗(yàn)，C、D 組為低照度下隧道出口的近紅外與可見光圖像實(shí)驗(yàn)，A、C 組主要由自然光照射，B、D 組主要由隧道燈光照射。

3.1 主觀分析

實(shí)驗(yàn)選取了200 組分辨率為1 920×1 080 的隧道口低照度可見光與紅外預(yù)配準(zhǔn)圖像，方便實(shí)驗(yàn)結(jié)果分析，選取4 組典型低照度圖像作為結(jié)果展示。選用具有對比性的融合算法包括雙邊濾波算法（Bilateral Filtering，BF）［25］、光譜邊緣圖像融合（Spectral Edge，SE）［26］、NSCT-BF［27］、SF-Energy-Q［28］、SR-C&L［29］與本文算法進(jìn)行性能比較。對于SR-C&L，小波融合方法中小波分解層數(shù)為3 層，小波基選取bior2.4。

除混合方法外，BF 和SE 算法采用“高頻絕對值取大，低頻加權(quán)平均”的融合規(guī)則。其余參數(shù)詳見對應(yīng)參考文獻(xiàn)。通過主觀視覺感受對4 組實(shí)驗(yàn)進(jìn)行分析評價。

圖7（a）～（b）為通過模擬駕駛員的視線拍攝到的A 組可見光與紅外源圖像，融合對比算法結(jié)果如圖7（c）～（h）?？梢钥闯?，BF 融合亮度適中；SE 融合在源彩色可見光圖像的對比度更加突出，但是幾乎無隧道內(nèi)近紅外信息，視覺效果不理想；SF-Energy-Q 比BF 和NSCT-BF 背景融合結(jié)果分辨率高，但是隧道內(nèi)環(huán)境畫面不清晰；SR-C&L 對亮度的提升不足，呈現(xiàn)塊狀陰影；本文基于CSR-SE-Energy 融合算法得到的圖像亮度得以提升，很好地去除“光暈”現(xiàn)象和圖像噪聲，優(yōu)于前5 種方法，對比度良好。

圖7 A 組圖像及融合結(jié)果Fig.7 Images and fusion results of group A

從圖8 主觀視覺可以看出BF 融合、NSCT-BF 和SR-C&L 三種方法在亮度方面呈現(xiàn)遞增，但是隧道內(nèi)的車輛色彩偏暗；NSCT-BF 融合方法出現(xiàn)了顏色失真，并伴隨著“陰影”；SE 融合方法存在隧道內(nèi)燈光顏色過飽和；SF-Energy-Q 融合將隧道內(nèi)車輛燈光照明放大，明暗反差過于強(qiáng)烈；SR-C&L 方法背景較暗，細(xì)節(jié)紋理損失較多；CSR-SE-Energy 融合方法有較好的主觀視覺優(yōu)勢，融合后的整幅圖像場景得以凸顯。

圖8 B 組圖像及融合結(jié)果Fig.8 Images and fusion results of group B

由圖9 可見，C 組隧道出口處車輛駛離隧道，經(jīng)BF 融合后的圖像有亮度不柔和現(xiàn)象；SE 融合方法未呈現(xiàn)近紅外信息，隧道外背景圖像中還存在噪聲干擾；SF-Energy-Q 算法的隧道環(huán)境場景稍暗；SR-C&L 算法受“塊效應(yīng)”影響較大；CSR-SE-Energy 算法優(yōu)于前5 種方法。

圖9 C 組圖像及融合結(jié)果Fig.9 Images and fusion results of group C

由圖10 可見，D 組SF-Energy-Q 算法相較于前3 種算法整體的層次感較高，但是局部色彩失真，顏色偏綠；而SR-C&L 算法存在局部對比度過大，分辨率不高；CSR-SE-Energy 算法融合結(jié)果辨識度高，體現(xiàn)出良好的圖像融合性能優(yōu)勢。

圖10 D 組圖像及融合結(jié)果Fig.10 Images and fusion results of group D

3.2 客觀指標(biāo)分析

A 組融合實(shí)驗(yàn)的客觀評價指標(biāo)如表1 所示。與其他5 種方法相比，CSR-SE-Energy 中有5 項(xiàng)指標(biāo)占據(jù)優(yōu)勢，SF-Energy-Q 算法的SF 值高于本文算法，但相差無幾。

表1 A 組性能指標(biāo)評價Table 1 Performance index evaluation of group A

由表2B 組指標(biāo)可知，車輛由隧道外黯淡的條件下駛?cè)胨淼纼?nèi)，亮度條件主要由隧道燈光照射與自身車輛燈光提供。此種情況CSR-SE-Energy 方法僅AG 指標(biāo)相對略低，其余指標(biāo)均較優(yōu)。

表2 B 組性能指標(biāo)評價Table 2 Performance index evaluation of group B

表3 中，C 組隧道出口處CSR-SE-Energy 算法除了QAB/F指標(biāo)略低于SF-Energy-Q 算法之外，其余5 項(xiàng)均高于其他5 種對比算法結(jié)果，因此該算法具有較好的優(yōu)越性。

表3 C 組性能指標(biāo)評價Table 3 Performance index evaluation of group C

由表4，D 組指標(biāo)可知，與其他5 種方法相比，本文算法僅QAB/F值略低于SR-C&L 算法，其余5 項(xiàng)指標(biāo)均為最高。

表4 D 組性能指標(biāo)評價Table 4 Performance index evaluation of group D

表1 至表4 對應(yīng)的柱狀圖如圖11 所示。圖11（a）評價指標(biāo)柱狀圖可以看出，CSR-SE-Energy 算法SD 指標(biāo)占據(jù)顯著優(yōu)勢。對比圖11（a）～（d），CSR-SE-Energy 算法在融合圖像信息分布和對比度上具有明顯優(yōu)越性。

圖11 評價指標(biāo)柱狀圖Fig.11 Histogram of evaluation indicators

為體現(xiàn)算法在運(yùn)算時間上的優(yōu)勢，50 幅、100 幅、150 幅和200 幅融合圖像的運(yùn)行平均時間對應(yīng)于Tn1、Tn2、Tn3和Tn4，如表5 所示?？芍?，CSR-SE-Energy 算法中Tn4與5 種典型算法對比至多減少0.023 2 s，同時視覺效果顯著。

表5 不同算法處理低照度隧道口處圖像時運(yùn)行的平均時間（ms）Table 5 Average running time of different algorithms for images at tunnel entrance with low illumination（ms)

4 結(jié)論

本文利用光譜邊緣圖像融合SE 算法提取可見光彩色圖像信息，結(jié)合CSR 和局部能量特征的特性，提出低照度下CSR-SE-Energy 近紅外與可見光融合框架。將NSCT 分解所得的低頻基礎(chǔ)分量利用局部能量特征的方法進(jìn)行融合，重點(diǎn)體現(xiàn)在紅外亮度信息得到保留，使用SE 方法對可見光色彩信息進(jìn)行優(yōu)化，利用CSR 融合低頻細(xì)節(jié)特征分量，并根據(jù)活性測度算法提取源圖像的特性，對高頻部分進(jìn)行融合。該算法克服了傳統(tǒng)的“SR”的“塊效應(yīng)”和“偽吉布斯”效應(yīng)，彌補(bǔ)了圖像之間關(guān)聯(lián)性差的缺陷，保存能量信息與邊緣細(xì)節(jié)信息。與BF、SE、NSCT-BF、SF-Energy-Q、SR-C&L 5 種算法的對比實(shí)驗(yàn)結(jié)果表明，該算法得到的融合結(jié)果圖有著良好的視覺特性；結(jié)合MI、SF、AG、QAB/F、IE、SD 六種評價指標(biāo)進(jìn)行評價，該算法的MI 值、IE 值、SD 值均高于其他算法，分別為7.596 2、7.764 2、82.194 1；在處理低照度隧道出入口處圖像時，運(yùn)算時間至多減少0.023 2 s，降低了總體運(yùn)算成本，提升了圖像的魯棒性和視覺清晰度。