基于路面視亮度差平方最優(yōu)化的視頻能見度檢測算法

吳 煒李 勃 楊 嫻 端金鳴 陳啟美

(南京大學電子科學與工程學院 南京 210046)

1 引言

霧、霾等惡劣天氣是嚴重影響高速公路道路行車安全的因素，每年由低能見度原因造成的交通擁塞甚至惡性事故頻頻發(fā)生，據統(tǒng)計發(fā)生在特殊天氣下的交通事故占總交通事故的24%左右，因此及時、準確、有效地對霧天道路能見度進行監(jiān)測和預警意義重大。傳統(tǒng)的能見度監(jiān)測儀器價格昂貴，動輒幾十萬，且無法密集布設，難以準確反映整個路段的能見度情況。因此，急需在實時性、準確性、檢測范圍上尋求能夠替代甚至超越能見度儀的方法。

近年來，基于視頻處理的能見度檢測方法因其速度快、成本低、自動化等優(yōu)點廣受國內外學者的青睞。美國明尼蘇達州大學提出了基于固定距離目標物的視頻能見度檢測方法[1]，該算法需人工放置目標物，操作煩瑣，且成本高，對檢測路段的地形環(huán)境有較高要求；MIT提出基于標志圖像計算相對能見度的方法[2]，通過與樣本庫中能見度已知的圖像作對比，得出待檢測場景圖像的相對能見度，該方法無需人工干預較為方便，但難以用于高速公路上的PTZ攝像機；文獻[3]提出了基于求取路面特征亮度曲線的二階拐點來估算能見度值的算法，算法具有場景上的局限性，由于實際攝像機架的角度，當前道路畫面不一定能計算出二階拐點。文獻[4]研究了場景的物理特性，用非線性數據回歸的方式求解能見度，此方法需要對場景采集大量圖像作為樣本用于機器學習，工作量大。

國內方面，許多研究機構在基于視頻的能見度檢測方法上作出了探索，其中，文獻[5]提出的算法通過分割出天空區(qū)域進行信息重建，引入暗原色的知識計算大氣透射率進而求得能見度值，該方法需要進行長時間的時間積累獲得太陽的角度等信息，并且只在1500～3000 m的范圍內有較好的效果；文獻[6]提出了基于 SAD 檢測算法和景深自適應算法的視頻霧區(qū)自動檢測方法，需事先采集大量圖像，分割出多組距離信息目標物，提取對比度信息得到能見度相對值，再根據基準標志物映射出絕對距離，此方法對攝像機安裝的絕對位置有要求，稍有擾動會產生較大偏差。本實驗室在能見度檢測算法上也有多年研究，其中，文獻[7]提出了基于小波變換的視頻能見度檢測算法，采用小波變換提取圖像邊緣特征點，使提取的能見度值符合人眼的特征；文獻[8]提出了無需人工標記的基于視頻圖像對比度的檢測方法。這兩種方法計算量大且易受到噪聲的干擾，影響檢測的穩(wěn)定性。

在上述研究的基礎上，本文結合攝像機標定，提出了一種基于路面亮度特征的能見度檢測算法，利用高度和亮度一致的路面區(qū)域，將其亮度特征曲線作為目標值，選定消光系數的初值，用根據理論計算得到的視亮度值與目標值作差平方，根據最小二乘法原理，求使差平方取得最小值時消光系數的最優(yōu)解，進而得到實際能見度。經過實驗論證，本文算法與現(xiàn)有算法相比，具有計算精度高、速度快且對噪聲魯棒性高等優(yōu)點，并且能夠很好地與高速公路路況監(jiān)控系統(tǒng)兼容，具有普適性和實用性。

2 能見度檢測算法的實現(xiàn)

2.1 PTZ攝像機標定

根據路況攝像機成像模型[9]，建立路面坐標系、攝像機坐標系間與成像平面間的變換關系，并推算出路面上一點到攝像機坐標系的垂直距離di與該點在像平面上對應像素點的坐標的對應關系：

其中，θ為攝像機光軸與路面夾角，H為攝像機光心距路面的垂直距離，f為鏡頭有效焦距，vi為路面上一點在像平面坐標系中的行坐標，vh為滅點在像平面坐標系中的行坐標。

2.2 霧天大氣光學原理

光在介質中傳播時[10]，在其傳播路徑上能量不斷地損耗。根據Koschmieder理論[11]，令k表示大氣消光系數，某一固定亮度的物體在距離人眼距離為處的視亮度與物體本身亮度及背景亮度Lf關系為

根據CIE的定義[12]，目標物相對于背景對比度大于0.05的像素點，人眼才能夠區(qū)分出來，用Cd表示目標物亮度對比度，C0表示固有亮度對比度，當時，對于臨界位置處的黑色目標物，可以計算出大氣能見距離Vmet為

3 基于亮度特征差平方的能見度檢測算法

3.1 路面高度、亮度一致性保證

在成像過程中，由于真實3維空間和圖像2維空間轉換的關系，容易丟失物體高度信息，使得部分物體成像在地平線之上，因此本文采用拋物線擬合車道線，再通過隨機霍夫變換分割出完整的路面，如圖1所示。

為了排除路側樹木、路基等干擾，使得提取出的路面亮度具有一致性，本文采用區(qū)域增長算法[13,14]。設置路面興趣域最底端為種子區(qū)域，計算種子區(qū)域的灰度中值，記為。令種子區(qū)域的上一行像素點為目標區(qū)域，逐行向上處理，選擇像素點與其3鄰域內像素點的亮度值之差作為判別閾值，如圖2所示，若目標像素點的亮度值與種子點的中值亮度之間滿足式(4)所示約束關系，則認為此點是亮度一致的路面上的點。

圖1 車道分割線重建

圖2 種子點上3鄰域示意圖

其中，nr表示目標像素點與初始種子點ps相隔的行數。

對圖像依照自下而上、從左至右原則逐行掃描，獲得滿足亮度一致性的像素點后，采用Nagao中值濾波[15]將滿足高度、亮度一致性的像素點加入到路面區(qū)域中，得到精確增長出的路面區(qū)域。區(qū)域增長的效果可見圖3(a), 3(b)。

圖3 區(qū)域增長前后效果對比圖

3.2 路面亮度-距離特征曲線

在分割出的路面區(qū)域中，去除了行駛車輛、中間綠化帶、樹木陰影、車道線等的影響后，對于路面區(qū)域的每一行，亮度值會出現(xiàn)不連續(xù)的情況，因此不能直接取每行路面中點的亮度值作為該行路面的特征視亮度。為此，本文先計算圖像目標行第 v行中的連續(xù)像素點集，選取包含像素點數量最多的連續(xù)像素點集，其像素個數記為，如圖4(a)所示。隨后據式(5)計算該最長點集的亮度中值，將第vi行的路面視亮度特征記為。

圖4是對圖3(a)霧天交通視頻圖像經過分割去噪后提取出的路面區(qū)域，按照上述原則，對整幅圖像以行為單位，據式(5)計算第 vi行對應的視亮度，并畫出路面亮度-距離特征曲線，如圖5所示。進而通過式(1)進行實際距離與圖像坐標的轉換，也即得出路面視亮度與實際距離的視亮度真值曲線。

圖4 最長連續(xù)像素點集

圖5 路面亮度-距離(v)特征曲線

3.3 目標函數最優(yōu)化求解消光系數

3.3.1 最小二乘法原理

由極值的必要條件：

3.3.2目標函數建立及求解 結合上述Koschmieder理論和最小二乘法原理[16,17]，假設取不同的k和L0值代入式(2)計算視頻圖像每行對應的視亮度，便能得到許多條對應不同的曲線，若將此曲線與亮度真值曲線擬合，根據最小二乘法原理，當兩條曲線無限接近時，則此時的即目標圖像實際對應的消光系數和固有亮度。因此，本文以假設曲線與真實目標曲線的差平方建立目標函數，根據最小二乘法逼近原理，計算目標函數取得最小值時的最優(yōu)解。

據式(2)建立目標函數：

根據極值條件，目標函數對L0求偏導，有

由最優(yōu)解處條件，式(9)=0，化簡得

由式(10)可以得出L0和k之間的關系，隨后將目標函數對k求偏導：

將式(10)代入式(12)，經過整理得

式中，h是圖像總行數，di是圖像上第vi行對應實際路面上該行到攝像機坐標系的垂直距離，據式(1)計算得出；Lf是天空背景亮度即滅點處的視亮度值；為直接從圖像中得到的路面視亮度，作為目標真值。因此，只有 k是未知數，解方程式(13)得到消光系數k，進而由式(3)求得能見度距離vis。

3.4 算法整體框架

根據路況攝像機的成像模型和大氣光學基本原理，文中假定在有霧情況下，視頻一旦開始拍攝則攝像機的位置固定，俯仰角、焦距等參數不再改變。首先確保路面區(qū)域高度的一致性，本文采用拋物線擬合車道線，通過隨機霍夫變換(RHT)檢測圖像的ROI，再通過特定的區(qū)域增長準則保證圖像具有亮度一致性，得到精確的區(qū)域來計算路面每一行的視亮度特征值，從而得出亮度-距離曲線。對于視頻中的每一幀圖像，大氣消光系數和路面固有亮度均是一個定值，取不同的k和L0值代入式(2)得到L(di)與整幅圖像的視亮度真值作差平方，建立目標函數，根據最小二乘原理，計算目標函數Q(k,L0)取得最小值時的消光系數 k，從而據式(3)算出對應的能見度值。

本文具體算法流程如圖6所示。

4 測試結果及分析

本文將此能見度檢測算法在自行研制的高速公路視頻監(jiān)控系統(tǒng)上進行了測試，測試硬件平臺為Intel Core i5-2500 @ 3.3 GHz 4核 CPU, 4 GB內存，SUSE Linux操作系統(tǒng)，所采集的視頻來自江蘇省寧連高速公路視頻監(jiān)控圖像，格式為MPEG-2，分辨率為704×576。

選擇典型霧天天氣情況，從 8:03～10:33每 10 min截取1幀圖像，即圖7(a)～7(p)所示的16幀圖像，以此作為測試序列，分別將本文算法測試結果與能見度儀測值、文獻[7]提出的基于小波變換的視頻能見度檢測算法、文獻[8]提出的無需人工標記的基于視頻圖像對比度的檢測方法結果進行對比，考察性能優(yōu)劣。其中，用于測量真值的儀器是芬蘭VAISALA公司生產的PWD22前向散射能見度計，精確度為±1.5%。

圖6 具體算法流程圖

對于式(1)中的λ，只需在視頻圖像中找到一條清晰的車道分割線，車道分割線頭端到攝像機坐標系的距離為 d2，車道分割線尾端到攝像機坐標系的距離為 d1，由于實際高速公路的車道分割線有固定長度6 m，且車道線到攝像機距離較遠，因此近似認為，并讀出該車道分割線頭尾的行坐標，代入式(1)可以計算得到：

對于不同時刻的測試圖像，圖7中給出了應用本文算法得出的相應能見度值。不難發(fā)現(xiàn)，該結果與人眼感知的能見度距離十分吻合。為了更加客觀，圖8同時給出了能見度儀測值、小波算法、對比度法和本文算法的計算結果。

從統(tǒng)計結果中可以看出，小波算法在霧濃度較低時檢測結果偏大，且易受攝像機晃動等因素影響；對比度法是逐點計算，對圖像中出現(xiàn)的鏡頭污漬、車輛等噪聲較為敏感，容易發(fā)生跳變(如09:23時刻數據)；而本文算法先對整個圖像預處理，以行為單位進行計算，受噪聲影響小，有較好的魯棒性。由圖8可見，本文算法結果在大部分數值與真值近乎一致，只有少部分數值略有偏差，同時經觀察，本文算法能極好地反映相鄰能見度值的變化，與真值變化趨勢完全一致，這一特點也為將來應用本文算法進行霧霾消散情況的預測提供了支持。

圖7 霧天視頻圖像測試序列

圖9為本文算法及其他算法相對于能見度儀測量值的誤差，表1給出了3種算法的平均誤差和準確率。由數據得出，本文算法誤差均在10 m以內，平均誤差只有約5 m，這樣微小的誤差在高速公路實際應用中是可以忽略的。通過準確率對比，顯見本文算法精確度更高。

據本文理論，能見度檢測問題歸結為求目標函數極小值的問題。為此，以圖 3(a)霧天交通圖像為例，從0～0.2之間以0.001為間隔取不同的消光系數k值代入式(10)計算Q，得到如圖10所示曲線，顯見Q為凸函數，有且僅有一個極小值，符合本文理論。

表1 算法準確率對比

再者，由消光系數 k值可以據式(12)反推出路面固有亮度L0的值，圖11列出了每幅測試圖像對應的L0的值。路面固有亮度是根據CIE相應測試標準得出的一個路面固有特征，針對一個固定的場景，L0是一個定值。由圖可見，同一段道路在不同時刻下計算得出的固有亮度值基本維持穩(wěn)定，均值為85.5，符合該標準，說明本文算法具有較好的穩(wěn)定性。

表2給出了本文算法和其他兩種算法在測試環(huán)境下的計算速率及資源利用率。小波算法和對比度法是逐點進行處理，而本文算法則是以行為單位進行計算，并采用了最小二乘法逼近求解，減小了計算開銷。

圖8 本文算法與能見度儀值、其他算法結果對比

圖9 誤差對比分析

圖10 圖3(a)道路圖像的Q-k曲線

圖11 路面固有亮度L0計算值

表2 算法計算速率比較

5 結束語

本文能見度檢測系統(tǒng)與現(xiàn)有高速公路路況監(jiān)控系統(tǒng)兼容，可方便地接入，并已在滬寧、寧連、寧常等路段試用。與能見度儀和以往的軟件檢測形式對比，具有以下明顯優(yōu)勢：(1)無需設置任何人工標志物，充分利用了路況攝像機的視頻圖像，無附加成本，監(jiān)測直觀，處理及時，具有重要的社會經濟效益；(2)本文算法提取滿足條件的路面區(qū)域進行逐行計算，排除了周圍噪聲干擾，計算速度快，準確率高，穩(wěn)定性好，適用于實時監(jiān)測；(3)對高速沿路分布的監(jiān)控視頻逐一進行能見度檢測，進而開展全路段的能見度統(tǒng)計分析，反饋給運管部門，實時發(fā)布路況能見度信息，給出相應路段的車輛限速，以及路由迂回等信息，具有廣闊的應用前景和推廣價值。

當然，本文算法也存在一些不足，如在夜間，由于照明條件問題，不能準確地提取出路面視亮度，導致能見度檢測該方法模型并不適用。此外，測試時已驗證，本文算法能夠完全準確地反映能見度值變化的趨勢，這一特點為進行霧霾消長情況的預測提供了支持，也是本文算法進行下一步深化研究的目標。

[1] Kwon T M. Atmospheric visibility measurements using video

[10] Harrison R G. Aerosol-induced correlation between visibility and atmospheric electricity[J]. Journal of Aerosol Science,2012, 52(6): 121-126.

[11] Jaruwatanadilok S, Ishimaru A, and Kuga Y. Optical imaging through clouds and fog[J]. IEEE Transactions on Geoscience and Remote Sensing, 1993, 41(8): 1834-1843.

[12] CIE: International Lighting Vocabulary. CIE Publications 17.4[S]. Commission International de L’Eclairage, 1987.

[13] Shihf Y and Cheng S. Automatic seeded region growing for color image segmentation[J]. Image and Vision Computing,2005, 23(4): 771-792.

[14] 解立志, 周明全, 田沄, 等. 基于區(qū)域增長與局部自適應-C-V-模型的腦血管分割[J]. 軟件學報, 2013, 24(8):1927-1936.Xie Li-zhi, Zhou Ming-quan, Tian Yun, et al..Cerebrovascular segmentation based on region growing and local adaptive C-V model[J]. Journal of Software, 2013, 24(8):1927-1936.

[15] 張煜東, 吳樂南. 基于SPCNN和Nagao濾波的圖像去噪[J].中國科學F輯: 信息科學, 2009, 39(6): 598-607.Zhang Yu-dong and Wu Yue-nan. Image denoising based on SPC-NN and Nagao filter[J]. SCIENCE IN CHINA F:Information Science, 2009, 39(6): 598-607.

[16] Tobar F A, Kung Sun-yuan, and Mandic D P. Multikernel least mean square algorithm[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 25(2): 265-277.

[17] Gui Guan, Peng Wei, and Fumiyuki A. Improved adaptive sparse channel estimation based on the least mean square algorithm[C]. IEEE Wireless Communications and Networking Conference, Shanghai, China, April 2013:3105-3109.