基于DenseNet結構的軌道暗光環(huán)境實時增強算法

王 銀，王立德，邱 霽

（北京交通大學電氣工程學院，北京 100044）

隨著我國軌道交通技術的不斷發(fā)展，部分城市軌道列車將會轉向采用無人值守的自動駕駛方式運營，而其中車載視覺系統(tǒng)將會是保障列車安全運營的關鍵技術之一.車載視覺系統(tǒng)主要承擔對于列車運行前方環(huán)境的感知任務，主要包括軌道識別[1]、場景分割[2]、障礙物檢測[3-4]以及行人入侵檢測[5]等，而城市軌道交通大多運營在封閉的環(huán)境中，光照強度不足或運行在夜間環(huán)境的低照度條件下將導致視覺系統(tǒng)效率低下或檢測精度下降，主要表現在低照度圖像像素光照強度平均值較低，像素之間差異較小導致識別及檢測算法無法精確提取圖像或物體特征.因此，低照度圖像增強算法的研究對于車載視覺系統(tǒng)具有非常重要的意義.

在計算機視覺領域，低照度圖像處理一直是研究的熱點問題，國內外研究人員提出了多種算法用于處理通用場景下的低照度圖像，按照理論分類主要表現為三種：一是基于空間域的算法，典型的如基于直方圖均衡化[6-7]的增強方法，該方法針對圖像整體來調整直方圖分布達到增強圖像亮度和對比度的目的；二是基于變換域的算法，該算法需要對圖像采用小波變換、離散余弦變換或傅里葉變換等將圖像變換到頻域空間再做濾波處理，然后進行反變換獲得增強的圖像，其中最具代表性的算法為基于Retinex理論的方法[8-10]；三是基于深度學習的算法，也是目前研究的前沿和熱點，原理是采用卷積神經網絡對圖像進行編解碼提取抽象特征并對圖像特征進行分解及進行增強操作，網絡采用數據驅動的方式訓練模型參數，實現低照度圖像的增強.

目前，基于深度學習的增強方法相比于傳統(tǒng)的基于空間及變換域的方法具有明顯優(yōu)勢.這其中又發(fā)展為兩個分支：基于監(jiān)督學習的方法和基于無監(jiān)督學習的方法.大多數基于神經網絡的方法均采用具有標簽配對數據的有監(jiān)督訓練方式訓練網絡參數來對圖像進行增強，如Lore等[11]提出采用堆疊式稀疏去噪自動編碼器對低照度圖像進行弱光增強，并驗證了采用深度學習對于圖像增強的有效性，Wei等[12]提出基于Retinex理論的Retinex-Net進行圖像增強，作者在網絡中建立了一個用于分解的Decom-Net和一個用于增強光照的Enhance-Net，整個網絡采用端到端的方式進行訓練.Chen等[13]采用全卷積網絡（fully convolutional networks，FCN）來處理低光照圖像的原始數據（raw文件）并生成sRGB（standard red green blue）圖像，可以對極端弱光照條件下的傳感器數據進行增強處理.Cai等[14]訓練了SICE （single image contrast enhancement）增強器用于改善曝光不足或曝光過度圖像的對比度.這些方法均建立或者采用了成對的弱光和正常光的數據集進行監(jiān)督訓練，對于數據要求較高.而基于無監(jiān)督或自監(jiān)督學習的方法則擺脫了有標簽數據的限制，其根據損失函數以及對于圖像本身的光照判別來進行訓練，典型的如基于GAN （generative adversarial network）方法，Jiang等[15]開創(chuàng)性地提出了采用不成對的弱光和正常光圖像進行網絡訓練的EnlightenGAN來增強弱光圖像.

在軌道環(huán)境下獲取高質量成對的低光照/正常光照圖像樣本并非易事，車載系統(tǒng)也需要實時處理攝像機捕捉到的環(huán)境圖像，因此，本文提出一種輕量級的自監(jiān)督學習模型用于對軌道低照度圖像進行光照增強，模型采用密集連接網絡（DenseNet）作為特征提取網絡，用于預測每個像素的光照增強率值，采用多種曝光條件下的非配對圖像作為訓練數據，以先驗知識建立對于圖像本身的關鍵約束來進行自監(jiān)督學習，先驗知識包括正常曝光范圍、圖像色彩恒定以及輸入輸出空間一致性等，以此建立損失函數指導網絡進行訓練.實驗結果表明：本文建立的算法能夠自適應調整圖像每個像素的光照強度值，提高了軌道環(huán)境圖像在暗光條件下的可視質量且具備實時處理能力，通過實驗驗證其在軌道分割及軌道障礙物檢測任務上能夠提高算法在暗光環(huán)境下的檢測準確率.

1 軌道環(huán)境實時增強網絡模型

本文提出的模型結構如圖1所示，骨干網絡由密集連接網絡構成，通過級聯結構逐層增強圖像曝光水平，對密集連接網絡每一級輸出均采用二次函數改變原始圖像各通道的像素強度，網絡輸入為低照度軌道圖像，輸出為經過光照增強后的圖像，網絡層數可自定義調整.圖1中：xk為第k層特征集；p(i)和P(i)分別為第i個像素歸一化后的和經過二次變換后的像素強度值；Conv （convolution）為卷積；ReLU （rectified linear units）為激活函數；BN （batch normalization）為批量歸一化.

圖1 暗光級聯增強網絡整體結構Fig.1 Structure of low-light enhancement network

1.1 密集連接網絡

DenseNet是由Huang等[16]在2017年提出的深度網絡架構，網絡主要由多個DenseBlock以及池化層串聯組成，每個DenseBlock中都建立前面所有層與后面層的密集連接，實現特征重用并加強了特征的傳播，這一特點相比于其他網絡極大的減少了網絡的參數量和網絡計算成本.傳統(tǒng)網絡第k層輸出為

式中：Hk(?)為第k層非線性組合函數.

當采用密集連接時，當前層連接前面所有層作為輸入，因此輸出變換為

本文利用了DenseNet網絡結構中的密集連接用于特征提取并輸出預測圖像中每個像素點的增強率，因此，舍棄了原始結構中的池化連接，得到一個特征尺寸不變網絡.

1.2 像素強度調整非線性映射函數

所提出網絡本身不直接預測像素輸出強度值，而是通過二次函數變換上一層輸出（或原始輸入圖像）的結果，對輸入圖像中每一個像素i都根據其亮度值輸出相應的增強率 α∈[?1,1].理論上當光照強度大于閾值強度時 α 為負值，降低光照強度；反之 α 為正值，增強光照強度.基于此，建立如下變換函數：

對于每一層變換可表示為

式中：Pn(i)為第n（n= 1,2,…）次變換的輸出；Λn(i)為第n次強度變換網絡輸出的像素i預測增強率.

當n= 1時，Pn?1(i)代表模型原始輸入圖像，像素亮度變換示意圖如圖2所示.圖中：黃色區(qū)域代表增強網絡輸出的增強率圖；數字為像素亮度值.通過二次函數對原始輸入進行亮度變換，紅色線和藍色線分別表示對相應的像素亮度進行增強和減弱.

圖2 像素亮度變換示意Fig.2 Pixel brightness conversion

1.3 損失函數

為了訓練網絡參數，本文采用3個損失函數用于表征輸出與輸入之間的差異，分別為曝光損失、色彩恒定損失以及光照平滑度損失.這3個損失根據對于彩色圖像本身的先驗知識來衡量增強后的圖像與低照度圖像之間的損失值，因此，在訓練時不需要采用成對的弱光和正常圖像進行訓練，網絡采用輸入圖像進行自監(jiān)督訓練.

1.3.1 曝光損失

根據人類視覺感受或計算機視覺成像規(guī)律，圖像曝光值在一定的閾值范圍內的為正常曝光，高于這一閾值范圍為過度曝光，而低于則為欠曝光.曝光損失函數Le用于度量輸入圖像中局部曝光強度與正常曝光水平之間的距離，其目的是將圖像中局部區(qū)域的曝光值調節(jié)到一定的范圍之內，可表示為

式中：K為采用16 × 16像素尺寸分割出的局部區(qū)域的數量，當輸入圖像設置為256 × 256時，整幅圖像被分為16 × 16個局部區(qū)域；Ej為第j個區(qū)域的平均曝光強度值；ε為正常曝光水平經驗值.

1.3.2 色彩恒定損失

人類視覺系統(tǒng)具有顏色恒常性,在外界光源變化的情況下，人類視覺能從變化的光照環(huán)境和成像條件下獲取物體表面顏色的不變特性，仿照這一原理，Grey-World算法[17]以灰度世界假設為基礎，提出對于有著大量色彩變化的圖像，R、G、B3個分量的平均值趨于同一灰度值，因此，本文采用一個顏色恒定性損失建立3通道之間的約束關系以校正增強圖像中3通道顏色偏差，先計算增強圖像的3個通道均值，這樣平均灰度值可以表示為

色彩損失函數Lc為3個分量的約束，使3個分量均值趨于一致，可表示為

1.3.3 光照平滑度損失

光照圖的一個特點就是局部的一致性和紋理細節(jié)的平滑性，而在對圖像增強的過程中會引入外部變量干擾圖像的光照分布以及引入噪聲導致圖像局部一致性被破壞，因此，需要對光照增強率添加正則化約束保持光照的平滑性.這種平滑性可以通過降低網絡輸出的光照增強率圖中相鄰元素之間的差異來保持，本文采用總變差（total variation，TV）損失Ltv來控制輸出每一層增強圖的光照平滑度，定義如下：

式中：?x、?y表示對水平和垂直方向的梯度運算；為第n層通道c的增強率；N為網絡總增強層次.

1.3.4 網絡總損失

網絡總損失函數如式（9）.

式中：ωe、ωc、ωtv分別為Le、Lc、Ltv的權重.

2 實驗設置及結果分析

2.1 訓練數據

訓練數據來自真實列車運行場景下車載視覺系統(tǒng)拍攝的軌道環(huán)境視頻，采用將視頻每隔一定時間提取一個關鍵幀并結合人工篩選的方法構建軌道環(huán)境原始數據集，數據集由正常曝光圖像、隧道環(huán)境和夜間環(huán)境低光照圖像組成，其中，包含1200幅正常曝光圖像和200幅低照度圖像，為了更好地訓練網絡，本為采用lightroom軟件對數據集進行樣本增強，對部分正常曝光圖像進行曝光率調節(jié)得到不同曝光水平圖像組，設置多組過曝光樣本和多組欠曝光樣本，最終數據集中欠曝光、正常曝光和過曝光樣本比例約為2∶2∶1，數據集中包含約4000幅圖像用于訓練，100幅低照度圖像用于測試.

2.2 網絡訓練細節(jié)

將模型部署在Pytorch環(huán)境下，GPU采用GTX1080，網絡輸入圖像尺寸設為256 × 256，輸入圖像全部進行歸一化處理，訓練時設定mini-batch大小為8，采用Adam優(yōu)化器訓練網絡參數，初始學習率設定為 10?4，網絡增強層次N設定為8.總的損失函數中默認3個損失分量同等重要，由于損失分量輸出值之間數量級存在差異，其權重是為了平衡各損失值在總損失中所占比重，本文實驗設定ωe、ωc和ωtv分別為2、1和40.

2.3 網絡各層輸出評估

所構建的模型為逐層增強級聯模型，網絡層次可變，將模型中間層結果輸出，對比不同層對輸入圖像的增強效果，結果如圖3所示.實驗結果顯示：網絡對低照度輸入圖像進行逐層增強，通過對不同網絡結構的輸出對比發(fā)現采用8層迭代可以兼顧增強效果和模型計算速度.本文算法對全局暗光環(huán)境下的圖像可以進行良好的曝光增強，提高軌道環(huán)境可視化效果.在列車通過隧道時由于隧道內光線和外界光線強度差異較大，攝像機光圈無法自適應這種光線變化，感光元器件捕捉到的環(huán)境畫面將會同時出現過曝和欠曝兩種極端情況，而根據攝像機成像原理可以知道過度曝光的區(qū)域無法通過降低曝光量而獲得正常環(huán)境細節(jié).本文算法克服了根據圖像全局曝光平均值對圖像進行曝光調節(jié)的缺陷，可以對這種明暗變化強烈的圖像進行暗光增強，過曝區(qū)域不會影響到算法對其他暗光區(qū)域的增強.

圖3 增強網絡不同層輸出結果Fig.3 Enhancement output of different layers

2.4 損失函數作用評估

網絡模型訓練采用的損失函數具有3個分量，分別為曝光損失分量Le、色彩損失分量Lc和光照平滑損失分量Ltv.本節(jié)將通過裁剪對比實驗探究3個損失分量各自在網絡中的作用，設置以下實驗：分別移除總損失函數中3個損失分量其中之一訓練網絡，實驗的目的在于評估各損失函數對輸出的影響.實驗結果如圖4所示.

圖4 將損失分量分別移除后的實驗結果Fig.4 Experimental results after removing loss components separately

實驗結果顯示：失去了色彩均衡控制的網絡生成的圖像雖然在亮度值上增強到了正常的范圍，但是產生了嚴重的色偏；曝光損失函數主要用于將曝光調整到正常范圍之內，失去了曝光控制損失函數后網絡無法對弱光區(qū)域像素進行亮度增強導致輸出圖像與輸入圖像無明顯差異；移除了光照平滑損失函數的網絡所輸出的圖像雖然曝光正常且未出現明顯的色偏，但是圖像明顯與正常圖像相差較大，這主要是由于失去了領域間的相關性產生了偽影導致圖像質量下降.

為了探究曝光損失中 ε對實驗輸出的影響，設定對照實驗用以確定該值的大小，實驗對照如圖5所示，按照經驗設定5組對照實驗，分別取 ε值為0.4到0.8間隔0.1，分別訓練模型，訓練樣本及其他參數不變，實驗結果顯示：ε=0.6 或 ε=0.7 得到的圖像質量較高，但當圖像中存在較大過曝區(qū)域時，ε=0.7 時圖像整體出現輕微過曝的表現，因此，在本文中設定 ε=0.6，以滿足算法對于多數場景的適用性.

圖5 不同ε值對輸出的影響Fig.5 Effect of ε on output

2.5 低照度圖像不同區(qū)域增強效果評估

本節(jié)實驗驗證網絡對于曝光不足像素點的增強效果，根據多層增強網絡中輸出的3通道增強率圖計算平均增強率，并進行可視化輸出， 如圖6所示.圖中，紅色為主要增強區(qū)域，顏色越深增強率越大.由增強率圖與原始輸入圖的對比可發(fā)現主要增強區(qū)域集中在暗光區(qū)，對于顏色偏白的過曝或反光區(qū)則增強率明顯較低，甚至增強率為負.

圖6 網絡中對于低照度圖像中每個像素增強率的可視化結果Fig.6 Visualization results for each pixel enhancement rate in network for low-light images

圖7為對某一個通道的8次迭代增強率統(tǒng)計信息，其中，橫坐標為增強率大小，取值范圍為(?1，1)，縱坐標為統(tǒng)計像素數量，輸入軌道環(huán)境圖像大小為512 × 288.從圖中不難看出：增強率的范圍隨著層數的升高而擴大，并且較高的層具有對高亮度區(qū)域逐步降低曝光量的作用.這驗證了本文的軌道增強算法具有光照自適應性，能夠對輸入圖像根據弱光區(qū)域曝光強度自動調節(jié)曝光增強率，而對過曝區(qū)域降低曝光率，從而將圖像曝光調節(jié)到正常范圍之內，有效地改善低照度圖像的視覺效果.

圖7 增強網絡中某一通道1 ～ 8層各像素增強率統(tǒng)計結果Fig.7 Statistical results of the enhancement rate of each pixel in layers 1 to layer 8

2.6 暗光環(huán)境下的軌道分割實驗

本節(jié)采用多種分割算法對軌道場景下的原始暗光圖像以及經過本文算法增強的圖像進行軌道分割實驗，對比不同分割算法在暗光增強前、后的分割效果，采用軌道分割網絡RailNet[2]中定義的像素準確度（pixel accuracy）、平均交并比（mean IoU）、精確度（precision）及F值（F-measure）3個指標評估分割結果，實驗結果如表1所示，圖8為采用RailNet軌道分割網絡進行的測試對比圖，圖8（a）為原始暗光環(huán)境下的檢測結果，圖8（b）為經過本文算法增強后的檢測結果，紅色區(qū)域為檢測出的軌道區(qū)域.

圖8 暗光環(huán)境下軌道檢測對比實驗Fig.8 Comparative experiment of railroad detection under low-light environment

表1 不同分割算法在暗光增強前、后的性能對比Tab.1 Performance comparison of different segmentation algorithms before and after low-light enhancement

2.7 暗光環(huán)境下行人入侵檢測實驗

行人入侵是軌道交通中嚴重影響行車安全的行為，本節(jié)采用目前目標檢測中常用的YOLO算法作為基準來進行軌道環(huán)境下的行人檢測，通過暗光增強前、后檢測器的性能對比實驗證明本文所提出的軌道低照度增強算法的有效性.部分實驗結果如圖9所示，圖9（a）為原始暗光環(huán)境下的檢測結果，圖9（b）為經過本文算法增強后的檢測結果，圖中紅色實線框為檢測結果，黃色虛線框為誤檢，綠色虛線框為漏檢.實驗顯示：暗光環(huán)境下的行人檢測存在較多誤檢或漏檢情況，而經過本文算法增強的圖像在進行行人檢測時準確率更高，誤檢率較低.圖10展示了部分軌道場景下弱光增強效果.

圖9 軌道暗光環(huán)境下行人檢測對比實驗Fig.9 Comparative experiment of pedestrian detection in low-light railroad environment

圖10 低照度軌道環(huán)境下圖像增強結果Fig.10 Image enhancement results in low-light railroad environment

3 結束語

本文提出了一種采用DenseNet結構的自監(jiān)督學習輕量級深度學習模型用于解決鐵路弱光環(huán)境中車載視覺的弱光檢測問題，模型通過逐級提高弱光區(qū)域曝光率的方式改善弱光場景下的圖像成像質量，并采用圖像本身的先驗知識對網絡進行端到端訓練，緩解了鐵路環(huán)境下難以獲取大量成對訓練樣本（正常曝光/欠曝光圖像組）的問題.在實驗中解釋了模型原理及參數設置依據，通過設置多組對比實驗及軌道場景下的軌道分割實驗和行人檢測實驗證明了模型的有效性，處理速度為160幀/s滿足實時處理的要求.本文所提出的算法對低照度場景下的弱光增強效果較好，但目前還無法解決過度曝光場景下的成像質量問題，未來將研究過度曝光圖像及過度曝光區(qū)域的處理問題.