基于場景深度的霧天圖像能見度檢測算法

徐 敏，張紅英 ，吳亞東

(1.西南科技大學信息工程學院,四川 綿陽 621010; 2.西南科技大學特殊環(huán)境機器人技術四川省重點實驗室,四川 綿陽 621010;3.西南科技大學計算機科學與技術學院,四川 綿陽 621010;4.西南科技大學核廢物與環(huán)境安全國防重點學科實驗室,四川 綿陽 621010)

基于場景深度的霧天圖像能見度檢測算法

徐 敏1,2，張紅英1,2，吳亞東3,4

(1.西南科技大學信息工程學院,四川 綿陽 621010; 2.西南科技大學特殊環(huán)境機器人技術四川省重點實驗室,四川 綿陽 621010;3.西南科技大學計算機科學與技術學院,四川 綿陽 621010;4.西南科技大學核廢物與環(huán)境安全國防重點學科實驗室,四川 綿陽 621010)

針對傳統(tǒng)能見度測試方法存在硬件成本較高、操作復雜、不能大范圍使用等缺陷，提出了一種簡單、快速的基于圖像的能見度測量方法。首先，對圖像進行感興趣區(qū)域的提取、閾值分割和形態(tài)學處理。然后，基于大氣退化物理模型和暗通道先驗原理，估計透射率。再利用同一場景中不同角度所獲取的兩幅圖像提取像素突變點，從而結合攝像機的內部參數估算場景深度。最后，根據能見度檢測原理求取大氣消光系數，進而獲得圖像的能見度。試驗結果表明，該算法與人眼觀測效果一致，準確率較高。與傳統(tǒng)方法相比，該方法操作簡單、抗干擾性強，不需要任何攝像機標定，并且適用范圍廣。

計算機視覺； 大氣光學； 能見度； 透射率； 消光系數

0 引言

隨著計算機視覺的不斷發(fā)展，能見度越來越受到人們的重視。能見度的檢測有利于人們的交通出行，同時，也可以體現(xiàn)空氣質量的好壞。因此，如何快速高效地測量能見度距離是當前的研究熱點。目前，關于能見度的檢測方法主要有傳統(tǒng)方法和基于圖像處理技術的能見度估計算法。

能見度是指在當時的天氣條件下，正常的人眼視力能夠從背景中確認目標物的距離。常用的傳統(tǒng)能見度測量方法一般分為目測法和使用大氣射儀、散射儀等儀器的器測法[1]。但前者帶有較強的主觀性，因此測量精度不高，而器測法雖然在精度上得到了很大的提高，但其硬件設備高度較高、占地面積較大，對周圍的環(huán)境要求較高，必須視野開闊、無遮擋物。因此，研究基于圖像處理技術的能見度檢測算法已成為一種新的主流方向。Liaw等[2]提出利用光銳圖像和Haar函數來降低非一致光照的影響，從而提高能見度估計精度。Barari[3]研究了對比度分布與大氣能見度之間的映射關系來計算能見度，由于技術水平有限，且該方法操作流程復雜，需要許多外部的標定信息，因此沒有得到推廣。Hautiere[4]提出了利用雙目視覺技術來得到場景的深度圖，再利用深度信息和對比度來估計能見度的方法。該方法只適用于霧天場景的測量，不僅需要對攝像機標定[5-7]，還需要不斷地進行角度修正；此方法易受外界環(huán)境的影響。陳釗正等[8]提出了采用小波變換提取圖像邊緣特征點，再結合攝像機自標定模型的方法。該方法對于攝像機采集距離有一定的限制，所取的目標大約在500 m以內；此外，需要不定時清理攝像機，以防能見度檢測出現(xiàn)偏差。劉建磊等[9]提出一種基于拐點線檢測濾波器的能見度檢測算法，但該算法計算量大，且不適合檢測非勻質天空情況下的能見度。

在圖像理解和計算機識別方面，Bronte等[10]利用霧的模糊效應，實現(xiàn)霧天的識別，同時結合道路的消失點與攝像機參數來估計能見度。該算法雖然提高了霧天識別和能見度的精確度，但在霧濃度較大的場景下，該算法在區(qū)分天空與道路部分上，難度增加，因此魯棒性較差。在文獻[10]利用消失點估計的基礎上，文獻[11]結合了自定義區(qū)域增長和基于加權平均值的拐點估計，進一步提高了拐點估計的準確性。但是該算法在路面起伏較大的情況下準確率較低。

為克服以上方法的缺陷，本文提出了一種利用圖像測量霧天能見度的算法。該算法根據霧天成像模型和暗通道先驗原理，基于圖像像素突變點的特征與雙目立體視覺的視差特性，結合了相機成像原理的幾何模型來檢測能見度。該算法測量方便、快捷，成本較低，不易受外界環(huán)境的干擾，對于攝像機的要求也不高；同時，其可以完全達到自動檢測能見度的效果，因此應用前景更為廣泛。

1 基于圖像的能見度檢測算法

能見度作為一個復雜的物理量，其好壞主要取決于空氣中懸浮的各種微粒對大氣消光系數的衰減，其次是人眼能區(qū)分的最小亮度對比值，該值越小，則能見度越大。如果目標物剛好能夠辨別，則意味著視覺對比度達到眼睛的對比閾值。在航空氣象部門，為確保飛行安全，國際民航組織(international civil aviation organization,ICAO)將視覺閾值取為0.05[12]，因此在計算過程中選取對比閾值(ε=0.05)。

本文所提出的能見度檢測算法由透射率估計、場景深度估計以及能見度估計三部分組成。①圖像透射率的估計：將輸入圖像進行預處理，提取感興趣區(qū)域(region of imterest,ROI)，求取透射率值。②場景深度估計：對兩幅圖像利用其區(qū)域特征信息進行閾值分割，將獲得的圖像進行形態(tài)學處理，再通過視差圖計算像素突變點，從而恢復圖像的深度信息，得到場景深度值。③能見度估計：根據透射率與景深深度求得消光系數，進而估計能見度的大小。能見度檢測具體流程如圖1所示。

圖1 能見度檢測流程圖

1.1 能見度檢測原理

1924年，Koschmieder建立了觀測者在遠處地平天空下所看到的目標物的視覺對比度與其本身亮度對比度的關系，即Koschmieder定律[13]：

C=C0e-σd

(1)

式中：C為目標物與背景的相對亮度差;C0為常數，是目標物的固有亮度對比度;σ為消光系數，表征任意情況下大氣透明度的一個特征量；d為觀測員距離目標物的距離。

根據ICAO推薦的對比閾值，式(1)可表示為:

ε=e-σV

(2)

即：

(3)

根據大氣衰減模型，太陽光在大氣中的衰減滿足指數定律：

I=I0e-σd

(4)

式中：I0為發(fā)射光光強;I為接收光光強;I/I0為透射率;σ為消光系數;d為拍攝場景中某場景點與傳感器之間的距離，即為場景深度。

則消光系數σ可推導為：

(5)

由此可見，能見度的估計關鍵在于求得透射率t和場景深度d，從而確定消光系數σ，最終得到能見度。

1.2 透射率的估計

圖像能見度的估計值與圖像中天空所占區(qū)域的大小有關。當場景中存在濃霧時，圖片上面的天空部分與地面部分的邊緣、梯度、對比度等信息將會減少，由此增加區(qū)別地面與天空部分的難度；其次，圖片下方可能出現(xiàn)移動的物體，如車輛等，存在大量噪聲點，并表現(xiàn)出很多不需要的細節(jié)，從而影響測量效果。因此，為了保證透射率的計算值更具一般性，防止圖像因噪聲干擾而導致計算不準確問題，本文在進行透射率估計前，將圖像中間區(qū)域的70%設置為ROI區(qū)域。

1975年，Mc Cartney提出大氣退化物理模型。該模型包含衰減模型和大氣光模型兩部分，如圖2所示。衰減模型即直接傳播，是大氣光能量從場景點到觀測點的衰減過程。因為空氣中的各種微粒，光波在傳播的過程中會受到這些懸浮微粒的散射作用，從而產生能量的衰減。大氣光模型描述的是大氣光因為在空氣柱中發(fā)生折射進入人眼或成像設備所感受到的光強度。隨著傳播距離的增大，環(huán)境光強度也隨之增強。

圖2 大氣退化物理模型示意圖

霧天圖像降質過程可以用退化模型表示，即：

I(x)=J(x)t(x)+A[1-t(x)]

(6)

式中：I為拍攝的有霧圖像;J為需要恢復的無霧圖像;A為大氣光值，表示周圍環(huán)境光的總強度;t(x)為霧霾的介質透射率，代表了場景目標的深度信息。

當大氣同質時，介質透射率t(x)為：

t(x)=e-βd

(7)

式中:β為大氣消光系數;d為場景深度。

根據何愷明提出的暗原色先驗理論[14]，即對于戶外無霧的圖像中存在絕大多數局部區(qū)域(除去天空區(qū)域)的某一些像素至少有一個顏色通道具有很低的強度值，這些像素被稱為暗原色像素。對于圖像J，暗通道定義為：

(8)

式中：Ω(x)為以像素點x為中心的一塊區(qū)域;Jc為無霧圖像J的三個顏色通道的一個;Jdark為無霧圖像J的暗原色。對于J的非天空區(qū)域，Jdark的值趨近于0。在霧天情況下，由于霧的顏色的干擾，使得圖像的整體像素強度得到提高。因此可以利用這些暗原色的強度狀況來判斷霧的濃度大小，從而估計透射率t(x)。

1.3 場景深度的估計

本節(jié)提出一種根據相機成像原理中視差與深度信息的關系，利用圖像的像素突變點進行能見度估計的方法。首先，對同一場景中不同角度的視圖進行預處理，消除圖中存在的噪聲、干擾以及失真等現(xiàn)象。然后，提取左右視圖的像素突變點，并結合攝像機的某些內部信息來估算能見度值。

1.3.1 圖像預處理

從圖像中獲取符合立體視覺原理的左右圖像對，由于各方面因素的影響，會不可避免地存在各種噪聲和干擾，從而使得圖像質量的下降。因此，在對其進行分析與能見度估計之前，必須對原始圖像進行預處理。圖像預處理就是采用一系列的技術方法來降低噪聲等因素的影響，改善其視覺效果，突出其中的有用信息，降低無用信息。基于上述問題，提出了預處理方法，步驟如下。

①采用閾值分割法將圖像二值化，提取圖像的特征信息。

為了從圖像中提取出需要的特征信息，首先要判斷哪些像素點是閾值需要的，其次判斷這些像素點是否屬于目標區(qū)域，根據這種方法便可以將灰度圖轉換為二值圖像。設f(x,y)為原始圖像，T為分割的閾值大小，則最終獲取的圖像滿足式(9)：

(9)

根據大量的試驗數據分析及不同的場景分析，本文采取手動選取閾值的方法，從而提高試驗效率，即在中霧與濃霧的環(huán)境中分別將T取值為0.7、0.5。圖像分割處理圖如圖3所示。

圖3 圖像分割處理圖

②采用形態(tài)學處理對圖像進行降噪平滑。

利用形態(tài)學上的開運算和閉運算對圖像進行降噪平滑處理，消除圖像中小且無意義的點，填充圖像中的空洞。某一幅圖像的預處理結果如圖4所示。

圖4 預處理結果示意圖

1.3.2 場景深度計算

視差是一種可以反映深度信息的現(xiàn)象，雙目視覺就是模擬人眼觀察事物的原理，從多個角度觀察同一個場景以獲取感知圖像，然后根據不同角度下的圖像像素的匹配關系來提取三維信息，從而恢復場景深度[14-15]。目前，基于圖像深度計算的方法[16-17]有許多，常見的主要有光度立體視覺法、散焦推斷法以及基于機器學習等方法。本文主要從分析同一場景不同角度拍攝的兩幅圖像出發(fā)，在同一場景下比較不同角度拍攝的圖像特征，尋找它們之間的不同點；再利用這些不同點的信息與攝像機的內在參數相結合來進行景深估計，從而計算出場景深度。

假設兩個相機的內部參數一致，如相機分辨率、焦距等，下面主要借助幾何和代數的方法來描述視差與景深的關系。為了描述方便，引入了相關的坐標，如圖5所示。假設兩個相機處于同一水平線上，且像平面重疊為同一個，坐標系以左相機為原點，則右相機是左相機的簡單平移，用坐標表示為(Tx,0,0)，其中Tx為基線,是兩個相機中心的距離。

圖5 相機坐標示意圖

然后，根據圖5的相機坐標示意圖，P為空間中的一點，P1和P2為點P(X,Y,Z)分別在左右像平面上的成像點，b1為兩個成像點的間距，Z為場景深度，X1、X2分別為左右成像點到Z的距離，X3、X4為成像點距離左右相機光軸的長度，XR與XT分別為左右成像點到圖像左邊緣的距離，X11、X22分別為左右相機到Z的距離，f為相機焦距，d為視差，OR和OT為左右相機的光心。根據三角形相似關系，很容易得出空間中的一點P(X,Y,Z)分別在像平面上的投影坐標。X1+X2=b1、X11+X22=Tx，由相似三角形原理可知：

從而，有：

(10)

b1可以用Tx、XR和XT表示，即:

(11)

最終得到：

(12)

由此可得場景深度Z為：

(13)

由此可知，其視差跟物體的深度成反比。

景深信息是判斷圖像邊緣突變的重要依據[17]，本文選擇從視差的角度來分析像素點的變化，尋找同一區(qū)域的突變點。在理想情況下，左圖像的特征點都可以在右圖像中找到與其對應的點。由于噪聲等因素的影響，使得某些特征點在右圖像中找不到與之匹配的點。因此，根據這種特點，利用圖像的像素灰度特征，即像素突變點來提取場景深度信息。其基本過程是：首先掃描一遍圖像的邊界、面積信息，求取當前圖像的總灰度值；其次根據圖像像素點的個數求取灰度平均值；最后利用兩幅圖像中像素點灰度值的突變情況設置相對應的閾值，選取適當的閾值參數θ提取視差的像素突變點。根據試驗數據，本文選取0.2作為參數θ的值。在具體實現(xiàn)中，如果左右圖像中相對應的像素點的灰度值之差大于設定的閾值θ，那么該像素點即為像素突變點。利用像素突變點，結合攝像機的焦距，光軸間距離等信息的相互關系，可以將式(13)轉換為式(14)，從而得到所需要的場景深度。

(14)

式中:D為像素突變點；f為焦距；B為光軸間距離；dx為單位像素的尺寸。

因此，根據上述方法，可求得透射率和場景深度；根據式(3)，可求得消光系數，進而求得能見度V。

2 試驗結果分析

為了驗證本文算法的有效性，在Intel i5(2.67 GHz)、8 GB內存、Windows 7(64 bit)環(huán)境下，在Matlab與Opencv平臺上實現(xiàn)該算法，并與文獻[10]和文獻[11]的檢測算法作對比。為了體現(xiàn)試驗數據集的豐富性和全面性，本文收集了不同類型(包括風景、人物、交通、建筑等不同類型的圖像)、不同大小、不同霧天濃度的27 590幅圖像，組成試驗數據集。數據集中有11 400張晴天圖像，3 400張中霧圖像和12 790張濃霧圖像。

能見度的等級可劃分為晴天、中霧、濃霧，對應的能見度范圍如表1所示。

表1 能見度等級范圍

表2給出了文獻[10]、文獻[11]以及本文算法的能見度檢測試驗數據。從表2可以看出，本文算法在整體上優(yōu)于現(xiàn)有的檢測算法，在能見度檢測上取得了一定的效果,尤其在晴天與濃霧下檢測精度更好。

表2 能見度檢測試驗數據

試驗數據比較結果如圖6所示。圖6(a)為本文算法的測量結果和參考文獻[10]～[11]算法結果比較；圖6(b)為三種算法的能見度檢測距離的相對誤差。其相對誤差的定義如下：

圖6 試驗數據比較圖

從圖6可以看出，本文算法的能見度測量值更接近于真實值，其對應的相對誤差也較小。

綜合上述的試驗結果說明，與現(xiàn)有的能見度檢測算法相比，本文所提算法不需要利用復雜的機器學習進行特征提取，相反，它的思想是將同一場景下的圖片利用不同的角度尋找像素突變點來測量；同時也不需要對攝像機安裝角度等較難獲取的參數進行隨時標定，因此檢測方便、精確度更高、成本更低。

3 結束語

本文從能見度檢測原理出發(fā)，利用暗通道先驗原理和圖像像素突變點的特征，尋找其中的相關切入點來測量能見度。它克服了能見度測量儀占地面積大、傳統(tǒng)方法帶有的一定主觀性，以及機器學習上的相機相關標定參數較多和易受外界影響的缺點，具有實時性、應用成本低、操作簡單方便等優(yōu)勢。當然，本文算法目前也存在需要進行改善的不足之處，即能見度為幾十米的情況下的檢測算法的準確度有待提高。在能見度極低的情況下，圖像的梯度、邊緣、對比度等區(qū)域特征并不明顯，測量結果的精確度也隨之降低，這一工作將是今后的研究重點。

[1] 苗苗.視頻能見度檢測算法綜述[J].現(xiàn)代電子技術,2012,35(15):72-75.

[2] LIAW J J，LIAN S B,HUANG Y F,et al.Using sharpness image with haar function for urban atmospheric visibility measurement[J].Aerosol and Air Quality Research,2010，10(4):323-330.[3] BABARI R,HAUTIERE N,DUMONT E,et al.A model-driven approach to estimate atmospheric visibility with ordinary cameras[J].Atmospheric Environment,2011,45(30):5316-5324.

[4] HAUTIERE N,LABAYRADE R，AUBERT D.Real-time disparity contrast combination for onboard estimation of the visibility distance[J].IEEE Transactions on Intelligent Transportation Systems,2006,7(2)：201-212.

[5] 宋洪軍，陳陽舟，郜園園.基于車道線檢測與圖像拐點的道路能見度估計[J].計算機應用，2012,32(12)：3397-3403.

[6] MICLEA R C,SILEA I.Visibility detection in foggy environment[C]//CSCS2015:20th International Conference on Control System & Computer Science,2015:959-964.[7] 王京麗，劉旭林,雷鳴,等.數字攝像能見度系統(tǒng)及其比對實驗[J].電子學報，2014,42(11):2298-2302.

[8] 陳釗正，周慶逵，陳啟美.基于小波變換的視頻能見度檢測算法研究與實現(xiàn)[J].儀器儀表學報,2010,31(1):92-98.

[9] 劉建磊，劉曉亮.基于拐點線的大霧能見度檢測算法[J].計算機應用，2015,35(2):528-530,534.

[10]BRONTE S,BERGASA L M,ALCANTARILLA P F.Fog detection system based on computer vision techniques[C]// International IEEE Conference on Intelligent Transportation Systems,2009:1-6.

[11]ZHU W X.Research of fog driving scenarios and visibility recognition algorithm based on video[J].Journal of Image & Signal Processing,2015,4(3):67-77.

[12]許茜，殷緒成，李巖，等.基于圖像理解的能見度測量方法[J].模式識別與人工智能，2013,26(6):543-551.

[13]NEGRU M,NEDEVSCHI S.Image based fog detection and visibility estimation for driving assistance systems[C]// IEEE International Conference on Intelligent Computer Communication and Processing,IEEE,2013:163-168.

[14]張登銀，鞠銘燁，王雪梅.一種基于暗通道先驗的快速圖像去霧算法[J].電子學報，2015,43(7)：1437-1443.

[15]牛連丁，陳婷婷，張立志.基于多尺度紋理特征的最小二乘法深度信息估計方法[J].智能計算機與應用，2015,5(4)：71-74.

[16]張淑芳，李華.基于一幅散焦圖像的深度估計新算法[J].光電子激光，2006,17(3)：364-367.

[17]TRIPATHI A K,MUKHOPADHYAY S.Single image fog removal using bilateral filter[C]// IEEE International Conference on Signal Processing,2012:1-6.

ImageVisibilityDetectionAlgorithmBasedonSceneDepthforFoggingEnvironment

XU Min1,2,ZHANG Hongying1,2，WU Yadong3,4

(1.School of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China;2.Robot Technology Used for Special Environment Key Laboratory of Sichuan Province，Southwest University of Science and Technology,Mianyang 621010,China;3.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China;4.Key Science on Nuclear Wastes and Environmental Safety Laboratory，Southwest University of Science and Technology,Mianyang 621010,China)

The traditional visibility detection methods feature many defects,e.g.,high costs of hardware,complex operation,and small detection range,etc.;to overcome these problems,a simple and fast measurement method of the visibility based on image is proposed.Firstly,the region of interest (ROI) of the image is extracted,and threshold segmentation and morphology treatment are carried out.Then,the transmittance is estimated based on the physical model of the atmospheric degradation and the dark channel prior principle,the pixel mutation point of the two images taken from different angles in the same scene is extracted,thus the scene depth is estimated from the internal parameters of the camera.Finally,the atmospheric extinction coefficient is found according to the principle of visibility detection; and then the visibility of image is obtained.The test results show that the algorithm is consistent with the observation effect of human eye,and the accuracy rate is high.Compared with traditional methods,this method is simple,offering strong anti-interference capability and wide applicable range,even any camera calibration is not needed.

Computer vision; Atmospheric optics; Visibility; Transmittance; Extinction coefficient

TH-89；TP39

： A

10.16086/j.cnki.issn1000-0380.201709021

修改稿收到日期:2017-04-07

國家自然科學基金資助項目(61303127)、四川省科技廳科技支撐計劃基金資助項目(2015GZ0212/2014SZ0223)、四川省重點實驗室開放基金資助項目(13zxtk05)

徐敏(1994—)，女，在讀碩士研究生，主要從事數字圖像處理方向的研究。E-mail：178848524@qq.com。 張紅英(通信作者)，女，博士，教授，主要從事數字圖像處理、模式識別方向的研究。E-mail:zhywyd@163.com。