智能汽車不利天氣視覺圖像信息增強技術綜述

鐘魁松，馮治國

（550025 貴州省 貴陽市 貴州大學 機械工程學院）

0 引言

自動駕駛的智能汽車將是21 世紀汽車技術實現(xiàn)新飛躍的重點，作為其重要組成部分的智能傳感系統(tǒng)是行駛信息的輸入模塊，在系統(tǒng)決策過程中扮演著不可或缺的角色，其中基于視覺的傳感系統(tǒng)是SLAM、車道線和道路交通標示識別等功能的基礎。受環(huán)境影響，相機采集到的視覺信息經(jīng)常出現(xiàn)視野受阻、模糊、暗淡等質量問題，對于后續(xù)的信息提取不利，因此對于視覺的信息增強技術也在不斷發(fā)展。常見的圖像質量問題有雨霧天氣、低照度和強光等環(huán)境因素引起的不清晰。本文將從以上幾點對產生原因、解決方法現(xiàn)狀展開敘述。單幅圖像增強的研究已有眾多成果，由于車輛行駛過程中需要考慮所增強視頻的實時可見性，因此本文對視頻增強也進行了調研。

1 霧天信息增強

1.1 單幅圖像去霧

目前國內外針對單圖像去霧的算法可分為3類：（1）基于圖像增強的方法；（2）基于圖像復原的方法；（3）基于機器學習的方法。

1.1.1 圖像增強方法

這類方法是直接在有霧圖像基礎上進行空域或者頻域的變換，增強感興趣的信息，其核心是盡量去除圖像噪聲、增強圖像的對比度，以恢復出無霧圖像[1]。經(jīng)典算法有直方圖均衡化（HLE）、自適應直方圖均衡化（AHE）、限制對比度自適應直方圖均衡化（CLAHE）、Retinex 算法、小波變換、同態(tài)濾波等。

1.1.2 基于圖像恢復的方法

這類方法基于如式（1）所示的大氣散射模型，利用一定的先驗來估計模型中未知參數(shù)，將圖像恢復成無霧場景下的形狀。

式中：I（x）——輸入的有霧圖像；J（x）——去霧后的輸出圖像；A——大氣光值；t（x）——透射率。其中A 和t（x）即為需要估計的參數(shù)。

Tan[2]等提出了一種單幅圖像去霧算法，通過最大化恢復圖像的局部對比度估計大氣光，該算法可自動增強有霧圖像的可見性。但是簡單的由輸入圖像最高亮度來估計大氣光，會造成嚴重的顏色失真和一些光暈現(xiàn)象。針對上述問題，He Kaiming[3]等提出了一種基于暗通道先驗的方法，利用最小濾波求出暗通道圖，按亮度取前0.1%的像素估計光值A。該方法是最經(jīng)典去霧算法之一，但圖像有較大的天空區(qū)域、較大的白色區(qū)域或濃霧和非均勻霧，該理論將失效。很多學者對此方法進行了改進。Zhu Qingsong[4]等提出了一種基于顏色衰減先驗的去霧方法，創(chuàng)建了霧圖景深線性模型，可較好恢復深度信息，并通過大氣散射模型估算傳輸率來恢復場景輻射度，實現(xiàn)單圖像去霧，但其大氣消光系數(shù)β的選擇，對近遠景去霧差異太大，自適應、泛化不足；Ju Mingye[5]等提出了一種基于伽馬校正先驗（GCP）的去霧方法——IDGCP?；凇叭帧辈呗?，獲取一個未知常量即可還原圖像，較好地減小了處理時間和計算成本。對于道路圖像去霧有較好應用前景。實驗表明，基于大氣散射模型的去霧效果普遍好于基于圖像增強的去霧算法。

1.1.3 基于機器學習的方法

近年發(fā)展良好的CNN，也被應用到了圖像去霧領域。Li B[6]等在2017 年提出了一種一體化去霧網(wǎng)絡（AOD-Net），這是一種可以訓練的端到端的去霧模型，在一個統(tǒng)一模型中進行計算，省去了中間的參數(shù)估計，可直接從有霧圖像復原清晰圖；Mei K[7]等提出了一種基于漸進特征融合的U-Net編碼器/解碼器深度學習網(wǎng)絡，在合成數(shù)據(jù)集上，可恢復超高清模糊圖像；Cai Bolun[8]等提出了可訓練的端到端系統(tǒng)（DehazeNet），采用卷積神經(jīng)網(wǎng)絡深層架構，得到中間透射圖，利用大氣散射模型復原無霧圖像。其雙邊整流線性單元的激活函數(shù)，一定程度提高了復原圖像的精確性?；趯W習的去霧具有效率高的特點，但由于缺乏真實的訓練數(shù)據(jù)或者先驗參數(shù)，一定程度限制了其去霧性能。道路環(huán)境復雜多變，不同于靜止的房屋或其他參照物，無法獲得準確且通用的訓練集，因此基于學習的去霧對智能駕駛目前尚不夠成熟。

1.2 視頻實時去霧

國內外學者對視頻圖像去霧算法研究可分為3類[9]：第1 類基于逐幀處理，對視頻的每個幀執(zhí)行單個圖像去霧，屬于圖像自增強，可最大程度恢復圖像細節(jié)；第2 類是基于融合的方法，依靠每個視頻幀的增強背景圖像和前景圖像的融合。此類方法可以提高效率，但是霧天條件下，目標前景的提取極易不準確，這會導致鄰幀圖像色彩或亮度突變，不利道路信息獲??；第3 類利用通用分量。它基于對可應用于所有視頻幀的通用分量的估計，常見的通用分量有基于背景圖像的透射。此法對于目標較多的道路圖像，易出現(xiàn)邊緣退化和偽影，不利于交通信息提取。

總體看，對每幀執(zhí)行單圖像去霧效果最好，如Retinex 算法和基于暗通道先驗的去霧方法，但這些算法耗時較大，如何加快視頻實時去霧速度是智能車霧天信息增強的研究重點。

2 低照度信息增強

2.1 單幅圖像增強

低照度圖像增強問題一直是數(shù)字圖像處理領域的一個熱門問題，在光線較弱的的情況下，目標物體表面反射不足，采集到的圖像往往存在大量噪聲而失真，帶來質量下降。智能汽車在一些環(huán)境，如光照不足的地下車庫、夜間照明較弱和多云天氣等不利的條件下。相機獲取的圖像信息不足，嚴重影響視覺系統(tǒng)實現(xiàn)算法處理的效果，因此需要對低照度圖像進行增強。目前單幅圖像低光照增強的算法主要可分為4 類：（1）基于視網(wǎng)膜理論即Retinex；（2）直方圖均衡方法；（3）基于偽去霧原理；（4）利用神經(jīng)網(wǎng)絡學習并增強的方法。

2.1.1 Retinex 方法

Retinex 由Edwin H Land 于1963 年提出，基礎理論是物體的顏色由物體對光線的反射能力決定，而不由反射光強絕對值來決定，物體的色彩不受光照非均勻性的影響，具有一致性，可消除光照的影響來增強低光照圖像，原理見式（1）。

式中：L——入射光；R——反射率；S——接收圖像。

在Retinex 的基礎上，很多改進算法被提出來，如單尺度Retinex（SSR）、多尺度Retinex（MSR）、多尺度顏色恢復Retinex（MSRCR）和LIME 等經(jīng)典算法。近期進展有，Li Peng[10]等提出了一種新的基于不同顏色空間中多算法融合的圖像增強算法，該算法使用Retinex 模型修改近似的反射率和照度，并考慮給定圖像的噪聲映射以獲得增強圖像。此類方法增強了邊緣和角點等高頻信息，并且可以增強圖像的細節(jié)。在動態(tài)范圍壓縮、顏色恒定和邊緣增強等3 個方面做到平衡，可以對不同類型的圖像進行自適應的增強。這類算法不僅能夠增強圖像的亮度信息，同時可以去除圖片中的部分陰影信息，但缺點是容易出現(xiàn)顏色失真和對比度不均勻，且該算法的運算速度太慢，目前不能應用到實時智能汽車駕駛場景中。

2.1.2 直方圖均衡化方法

直方圖均衡化（HE）變換因其操作簡單、易于實現(xiàn)而受到研究者的廣泛關注，屬于全局增強方法。它重新映射圖像的灰度值，使處理圖像直方圖上的灰度信息均勻分布。如果直方圖中出現(xiàn)高峰，圖像將過度增強，無法達到預期效果。為了克服這一限制，Dale Jones[11]等提出了局部直方圖均衡化（LHE）算法，該算法可以更有效地增強圖像的整體對比度。然而，LHE 通常會導致圖像的某些部分過度增強，導致不自然的外觀。許多研究人員提出了局部增強方法，如Pizer[12]等提出的自適應直方圖均衡化（AHE）。在圖像增強過程中考慮了局部信息，可以突出細節(jié)和紋理，但是AHE 會產生很多噪音。后來，Zuiderveld 提出了一種CLAHE算法[13]，基于AHE，CLAHE 對每個子塊的直方圖進行了限制，很好地控制了AHE 帶來的噪聲，使圖像對比度更加自然。此外，為了克服亮度問題，還有一些基于直方圖的改進方法，如保亮度雙直方圖均衡化（BBHE）和保亮度動態(tài)直方圖均衡化（BPDHE）。2013 年，Raju A[14]提出了一種改進的雙直方圖均衡化方法。與傳統(tǒng)的直方圖均衡化方法相比，該算法能更好地保持圖像的亮度。盡管這些方法在輸出圖像上保留了輸入圖像的亮度，但它們可能無法生成具有自然外觀的圖像，常常出現(xiàn)顏色失真和丟失細節(jié)等問題。

2.1.3 基于偽去霧原理

基于圖像去霧原理，此類方法將低照度圖像進行反轉，然后通過去霧算法進行增強，其中圖像反轉即對灰度矩陣進行式（2）操作：

式中：R——反轉圖像；I——輸入圖像。

此方法主要是Xuan[15]等于2011 年提出的一種基于低照度視頻增強方法，對反轉圖像進行基于暗原色的去霧操作。該方法在照度方面取得了不錯的增強效果，但在復雜場景條件下，很容易出現(xiàn)噪聲和塊效應，增強效果較差。

2.1.4 基于學習的增強方法

近年，深度學習在圖像增強中應用逐漸廣泛。與傳統(tǒng)的單一圖像增強方法不同，深度學習采用數(shù)據(jù)驅動的方法訓練大量不同類型的圖像輸入模型，使模型具有增強某一類型圖像的能力。Lee[16]等使用卷積神經(jīng)網(wǎng)絡對熱圖像進行增強，并取得了良好的效果；Li T[17]等提出了LLCNN 模型，表明使用深度學習技術進行圖像增強是可行的；Wei C[18]等在Retinex 理論基礎上，提出了RetinexNet 卷積神經(jīng)網(wǎng)絡模型。該模型分為分解網(wǎng)絡和增強網(wǎng)絡，前述可知任何圖像可分解為反射圖和光照圖，且反射圖由物體本身性質決定，因此圖像質量取決于光照圖。該模型通過分解網(wǎng)絡將圖像分解為光照圖和反射圖，對反射圖進行降噪處理，通過一個9 層的神經(jīng)網(wǎng)絡對光照圖進行亮度增強，然后重新合成圖片。該模型很好地解決了傳統(tǒng)Retinex 方法處理時間過長的缺點，可以批量增強低照度圖像。然而單分支或簡單神經(jīng)網(wǎng)絡無法滿足亮度、對比度同時增強和偽影去除、降噪等多功能需求。對此，Lv F[19]等提出一種多分支弱光增強網(wǎng)絡模型—MBLLEN，通過CNN 卷積網(wǎng)絡將圖像豐富的特征提取到不同的層次，使用多個子網(wǎng)進行同時增強，最后將多分支輸出結果融合成最終增強圖像，實現(xiàn)從多方面提高圖像質量的效果，這一點優(yōu)于很多傳統(tǒng)算法。

為了提高圖像的視覺效果，不同的學者使用不同的算法進行模型訓練，因此經(jīng)常需要大量的訓練模型進行實驗，情況多變的駕駛環(huán)境需要更大的訓練樣本，且模型的訓練條件僅由損失值來判斷，不能保證模型參數(shù)得到最佳調整以獲得更好的處理結果，因此基于深度學習的低照度圖像增強方法仍有很大的改進空間。

2.2 低照度視頻增強

低照度視頻增強可分為機器學習和非機器學習。在大型的數(shù)據(jù)集下機器學習方法增強效果很好且處理速度快，但是當缺乏足夠訓練數(shù)據(jù)時則表現(xiàn)很差。道路情況多變，常常缺乏足夠訓練樣本。傳統(tǒng)的非機器學習方法則不需要訓練，小樣本的情況下依然增強效果很好，因此很多學者在傳統(tǒng)視頻增強領域做了大量工作。Soumya[20]等通過融合白天背景圖像的信息來進行夜間周圍場景的恢復，但視頻的視覺效果較差。很多學者提出改進，陸健強[21]等提出了一種改進的暗通道先驗模型，并將其與局部平滑和圖像高斯金字塔算子相結合。它不僅增強了低照度視頻圖像的視覺效果，而且有效地增強了圖像的邊緣。然而基于暗通道的增強，耗時非常大，無法做到車載視頻實時增強。李騰飛[22]等提出了一種基于照度調整的自適應低照度視頻增強算法，基于Retinex 理論設計了一種新的全變分方程求解照度圖，并采用自適應伽馬校正調整照度圖L 的亮度，得到增強單幅圖像，并通過將圖像顏色空間由RGB 轉換到HSV 后僅處理亮度分量（V）和同一視頻參數(shù)共享的方式，對視頻處理進行加速。雖然能較好地增強和去噪，但處理時間單幀在3 s 以上，計算時間過長。Xuan[15]等提出了一種基于去霧的低光照視頻增強方法。在反轉圖像基礎上，利用后續(xù)幀之間的時間相關性加快關鍵參數(shù)透射率t(x)的計算，大大提升了視頻增強速度。

3 結語

本文就智能車在不利天氣條件下無法準確提取道路信息的問題，研究了現(xiàn)有的解決方法。針對霧天道道路，將圖像去霧方法歸納為3 類：圖像復原、圖像增強和機器學習的方法。其機器學習的方法，處理最快，但對訓練集要求較高，因此還有很大上升空間。視頻去霧可分為3 類：逐幀處理、基于融合和基于通用分量。逐幀處理效果最好，但是耗時較大。低照度圖像增強基于4 類：基于Retinex 理論、直方圖均衡、基于偽去霧原理、利用神經(jīng)網(wǎng)絡?；谏窠?jīng)網(wǎng)絡的普遍耗時小，但受限于訓練樣本。傳統(tǒng)的增強算法泛華性更強，但耗時大。未來的智能車圖像增強，需要基于硬件和算法兩方面來改進，提升圖像質量的同時，保證實時性。