低能見度下的地平線檢測算法研究

楊善敏，楊紅雨，張秀瓊

（四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都610065）

0 引 言

雪、雨、霧等低能見度條件常常對(duì)飛機(jī)的安全航行造成了很大的威脅。然而，這樣的情況是時(shí)有發(fā)生的，一直以來已成為航空公司密切關(guān)注的話題。雖然有許多先進(jìn)的地面導(dǎo)航系統(tǒng)和機(jī)載導(dǎo)航設(shè)備，低能見度仍然嚴(yán)重的威脅著航空安全，已成為導(dǎo)致可控飛行撞地和跑道入侵的主要因素。因?yàn)樵诘湍芤姸葪l件下，飛行員失去了空間方位信息和周圍環(huán)境信息。所幸的是隨著紅外技術(shù)的發(fā)展，類似的難題在一定程度得到了緩減。通過對(duì)紅外圖像進(jìn)行地平線檢測，我們能對(duì)飛機(jī)的空間方位進(jìn)行定位，從而在一定程度上增強(qiáng)飛行員的環(huán)境意識(shí)。目前人們所建立的各種視覺系統(tǒng)極大多數(shù)是在特定知識(shí)的指導(dǎo)下、在特定條件下，檢測特定目標(biāo)的特征，完成對(duì)特定世界的認(rèn)知。這種從特定認(rèn)知任務(wù)出發(fā)的視覺系統(tǒng)對(duì)開發(fā)者經(jīng)驗(yàn)和應(yīng)用條件過分的依賴，適應(yīng)性和魯棒性不高。而人類視覺系統(tǒng)是一個(gè)魯棒性很強(qiáng)的、能抵御實(shí)際中可能遇的各種變形和各種干擾噪聲的識(shí)別系統(tǒng)。根據(jù)人類視覺系統(tǒng)的特征以及紅外圖像的特點(diǎn)，本文提出了一種低能見度下的地平線檢測方法。

1 地平線檢測

1.1 地平線特征分析

在具有地平線的圖像中，地面場景復(fù)雜多變，天空的光照強(qiáng)度隨成像條件的不同差別也較大。但在不同的圖像中，地平線具有共性的典型特征可以總結(jié)為以下幾點(diǎn)［1］：

（1）地平線大致是一條直線，該直線在圖像中是顯著的；

（2）地平線是圖像中的一條邊緣線，可以通過圖像邊緣檢測的方法得到；

（3）地平線在地面與天空兩個(gè)區(qū)域之間是一種突變性邊緣線。無論地平線一側(cè)天空區(qū)域是灰度均勻還是線性平滑變化的情況，天空區(qū)域與地面區(qū)域之間的突變邊緣始終存在，兩個(gè)區(qū)域之間存在明顯的灰度跳變。

1.2 人類視覺系統(tǒng)

目前人們所建立的各種視覺系統(tǒng)極大多數(shù)是在特定知識(shí)的指導(dǎo)下、在特定條件下，檢測特定目標(biāo)的特征，完成對(duì)特定世界的認(rèn)知。這種從特定認(rèn)知任務(wù)出發(fā)的視覺系統(tǒng)對(duì)開發(fā)者經(jīng)驗(yàn)和應(yīng)用條件過分的依賴，適應(yīng)性和魯棒性不高。而人類視覺系統(tǒng)是一個(gè)魯棒性很強(qiáng)的、能抵御實(shí)際中可能遇到的各種變形和各種干擾噪聲的識(shí)別系統(tǒng)。因此，我們可以借鑒人類識(shí)別過程，在一定程度上提高機(jī)器視覺的識(shí)別性能。

神經(jīng)生理學(xué)研究表明，人腦中的神經(jīng)元不僅能反應(yīng)世界客觀物體的形狀，還能反應(yīng)它們的顏色、紋理特征等等，因此，被感知的圖像中蘊(yùn)藏著豐富的信息。這些信息首先是在大腦的不同腦區(qū)得到處理的，然后才被高層視覺合理的整合加工在一起形成我們想要識(shí)別的物體。這兩個(gè)階段分別被稱為注意和捆綁［2］。

如圖1所示，圖中有3條邊緣線，第1條邊緣線劃分均質(zhì)區(qū)域和非均質(zhì)區(qū)域，第2條邊緣線劃分黃色區(qū)域和紅色區(qū)域，第3條邊緣線劃分紅色區(qū)域和藍(lán)色區(qū)域。如果我們想要識(shí)別第2條邊緣線，首先我們從圖中提取出所有的邊緣線，然后關(guān)注于使黃色和紅色對(duì)比度較大的分割區(qū)域間的邊緣線。

圖1 典型圖例

1.3 地平線檢測的原理

圖2 是本文提出的基于動(dòng)態(tài)規(guī)劃的地平線檢測算法的流程圖。

在地平線檢測過程中，人類視覺系統(tǒng)在注意階段主要關(guān)注兩個(gè)因素，即邊緣和相似性，然后在捆綁階段將他們組合?；谌祟愐曈X系統(tǒng)的這一生物特征，本文提出了圖像中像素能量的定義

圖2 本文算法流程

式中：G（x，y）——圖像的邊緣；D（x，y）——區(qū)域的相似性；H——圖像的高度；α1、α2——他們的權(quán)值。

（1）圖像預(yù)處理

由于紅外圖像的噪聲大，對(duì)比度低，不利于對(duì)其進(jìn)行直接分析和處理。本文首先采用灰度變換法對(duì)采集到的紅外圖像進(jìn)行圖像對(duì)比度增強(qiáng)，以改善圖像質(zhì)量，加強(qiáng)圖像判讀和識(shí)別的效果。

（2）邊緣處理

傳統(tǒng)的邊緣檢測方法很多，有梯度算子、拉普拉斯算子、Robert算子、Sobel算子、Marr算子等眾多方法，這些算法都對(duì)噪聲敏感，在處理含有噪聲的圖像時(shí)，易造成檢測出的邊緣模糊，效果不太理想。最近幾年提出了經(jīng)典的Canny算子和LOG算子，他們用高斯函數(shù)直接對(duì)圖像進(jìn)行卷積或平滑，其計(jì)算量非常大，成本較為昂貴?；跀?shù)學(xué)形態(tài)學(xué)的邊緣信息提取處理優(yōu)于基于微分運(yùn)算的邊緣提取算法，它不像微分算法那樣對(duì)噪聲敏感，同時(shí)，提取的邊緣也比較光滑，在邊緣檢測上既能夠體現(xiàn)圖像集合特征，很好地檢測圖像邊緣，又能滿足實(shí)時(shí)性要求［3－4］。針對(duì)紅外圖像對(duì)比度低和噪聲大的特點(diǎn)，本文采用了形態(tài)學(xué)的方法來檢測邊緣點(diǎn)。

設(shè)f（x，y）是待處理的灰度圖像，b（x，y）是采用的結(jié)構(gòu)元素，G（x，y）是檢測出的邊緣圖像，o表示的是開操作，·表示的是閉操作，⊕表示的是膨脹操作，Θ表示的是腐蝕操作。由于地平線的結(jié)構(gòu)比較簡單，所以文中采用了較為簡單的結(jié)構(gòu)元素，其區(qū)域D0，D1，D2，D3，D4，D5識(shí)如下

本文采用的抗噪型形態(tài)學(xué)梯度算子定義為

形態(tài)學(xué)邊緣檢測算子的實(shí)現(xiàn)過程如下：①取基本結(jié)構(gòu)元素D1，D1，D2，D3，D4，D5按照檢測算法定義式 （3）分別對(duì)圖像提取邊緣，得到各個(gè)不同結(jié)構(gòu)元素下的邊緣圖像；②將各個(gè)邊緣圖像組合起來，得到最終的邊緣圖像；③對(duì)邊緣圖像進(jìn)行二值化，完成形態(tài)學(xué)邊緣檢測算法。

（3）相似性計(jì)算

D（x，y）代表的是區(qū)域間的相似性，可以通過計(jì)算點(diǎn)（x，y）中灰度相似的像素個(gè)數(shù)和上下區(qū)域的灰度差異而得到，其具體操作的MATLAB代碼段如圖3所示。

圖3 計(jì)算D（x，y）的 MATLAB代碼段

（4）動(dòng)態(tài)規(guī)劃選取分界點(diǎn)

地平線是圖像中一條分割天空和地面的邊界。因?yàn)樘炜詹糠趾偷孛娌糠只叶炔町惡苊黠@，所以他們之間的能量分布存在很明顯的變化現(xiàn)象，如果一個(gè)像素點(diǎn)的能量很高，我們則認(rèn)為它是一個(gè)潛在的地平線上的點(diǎn)，因此，地平線檢測問題就轉(zhuǎn)化為了尋找能量最大的路徑問題。此類問題利用動(dòng)態(tài)規(guī)劃編程能夠得到很好的解決。

動(dòng)態(tài)規(guī)劃的方法常用于解決優(yōu)化問題，例如尋找圖中兩節(jié)點(diǎn)間的最優(yōu)路徑，整數(shù)規(guī)劃問題等，它將待求解的問題分解成若干子問題，先求解子問題的解，然后從這些子問題得到原問題的解。

在地平線的檢測問題中，我們首先初始化第一列中各個(gè)點(diǎn)的能量，然后依次遞歸求解從第一列到達(dá)第二列，第三列，…，一直到最后一列中各個(gè)點(diǎn)的最大能量。求解子問題的遞歸格式如下所示

式中：Q（x，y）——從圖像的第一列到達(dá)點(diǎn) （x，y）的最高能量。因?yàn)槲覀円獧z測的地平線是一條直線，相鄰兩個(gè)地平線分界點(diǎn)的行坐標(biāo)值不會(huì)有較大的差異。所以我們并不需要按照傳統(tǒng)的動(dòng)態(tài)規(guī)劃方法計(jì)算所有路徑的能量，而是正如式 （4）所示，限定了相鄰兩地平線分界點(diǎn)的行坐標(biāo)距離不超過1，從而避免了傳統(tǒng)動(dòng)態(tài)規(guī)劃方法所帶來的龐大計(jì)算，也排除了圖像中噪聲點(diǎn)以及非地平線分界點(diǎn)的邊緣點(diǎn)的干擾，使算法不但具備一定的魯棒性，而且能夠快速準(zhǔn)確的定位到候選的地平線分界點(diǎn)。最后，找到矩陣Q最后一列的最大值，隨即進(jìn)行反向跟蹤，從而得出我們的最優(yōu)路徑。然而，反向跟蹤問題一般是利用前驅(qū)隊(duì)列保存迭代過程中的最優(yōu)路徑而得到的，這樣的方法復(fù)雜而且計(jì)算量較大。我們根據(jù)MATLAB強(qiáng)大的科學(xué)數(shù)據(jù)處理能力，用一個(gè)矩陣很好的解決了此問題。其MATLAB代碼段描述如圖4所示。

圖4 路徑優(yōu)化代碼段

（5）直線擬合

矩陣P中值為1的點(diǎn)是優(yōu)化路徑中的對(duì)應(yīng)的點(diǎn)，也即候選的地平線候分界點(diǎn)。然后利用Hough變換進(jìn)行直線擬合，從而得出真正的地平線。

2 實(shí)驗(yàn)與分析

在MATLAB平臺(tái)下，利用本文提出的方法，對(duì)在飛機(jī)上拍攝的真實(shí)紅外航跡圖進(jìn)行了實(shí)驗(yàn)。為了使實(shí)驗(yàn)更簡便，我們?cè)O(shè)置α1和α2相等均為1，實(shí)驗(yàn)結(jié)果如圖5所示。

如圖5所示，由實(shí)驗(yàn)結(jié)果可知，由于圖 （a）圖像噪聲大，像素的灰度值極為相近，對(duì)比度很低，直接使用文獻(xiàn)［2］中的高斯卷積方法進(jìn)行邊緣提取時(shí)，誤取了過多的背景點(diǎn)或是噪聲點(diǎn)，使得后續(xù)操作計(jì)算量大操作困難，處理結(jié)果如圖5（b）所示更是不盡人意；使用經(jīng)典的Canny算子進(jìn)行處理時(shí)也會(huì)提取太多的點(diǎn)，在處理結(jié)果圖 （c）中很難辨別出真正的地平線點(diǎn)。在本文提出的方法中，先對(duì)待檢測的圖像進(jìn)行灰度變換，增強(qiáng)其灰度對(duì)比度，變換結(jié)果如圖5（d）所示，從而使我們能夠更好的關(guān)注感興趣的特征，有利于后續(xù)的操作，圖 （e）是其地平線檢測的結(jié)果，它能克服紅外圖像噪聲大、對(duì)比度低的缺點(diǎn)，較好的檢測出圖像中的地平線。通過對(duì)不同算法的比較研究，證明了本文算法在處理紅外地平線圖像時(shí)的魯棒性和優(yōu)越性。

圖5 紅外圖像地平線檢測結(jié)果

3 結(jié)束語

本文根據(jù)人類視覺系統(tǒng)的特征，根據(jù)形態(tài)學(xué)邊緣邊緣檢測的優(yōu)點(diǎn)和動(dòng)態(tài)規(guī)劃的相關(guān)理論，提出了一種低能見度下的地平線檢測方法。該方法首先對(duì)圖像進(jìn)行預(yù)處理，增強(qiáng)其對(duì)比度，然后根據(jù)圖像的邊緣和圖像信息的相似性，定義了每個(gè)像素的能量，再利用動(dòng)態(tài)規(guī)劃法快速準(zhǔn)確的找到所有候選地平線上的點(diǎn)，最后用Hough變換擬合出地平線。整個(gè)算法操作簡單，其實(shí)驗(yàn)結(jié)果也證明了該算法的優(yōu)越性和魯棒性。

雨、雪、霧等低能見度條件會(huì)導(dǎo)致飛行員丟失飛機(jī)的空間方位信息和周圍環(huán)境信息，進(jìn)而對(duì)飛機(jī)的安全造成嚴(yán)重的威脅。所幸的是我們能夠?qū)t外地平線圖像進(jìn)行處理，并檢測出其中的地平線。本文提出的地平線檢測算法能直接運(yùn)用于各種低能見度條件，通過對(duì)紅外圖像進(jìn)行直接處理，然后將處理信息提供給飛行員，使其能夠?qū)︼w機(jī)的空間方位進(jìn)行定位，從而在一定程度上增強(qiáng)飛行員的環(huán)境意識(shí)，這在航空領(lǐng)域具有非常重要的意義。

［1］LI Li－chun，GUI Yang，SHANG Yang，et al.Horizon detection based on edge and region feature for images captured by UAV ［J］.Journal of Projectiles，Rockets，Missiles and Guidance，2009，29 （4）：281－284 （in Chinese）.［李立春，桂陽，尚洋，等.基于邊緣與區(qū)域特征的無人機(jī)圖像地平線檢測［J］.彈箭與制導(dǎo)學(xué)報(bào)，2009，29 （4）：281－284.］

［2］Woo J H，Kweon I S，Kim G S，et al.Robust horizon and peak extraction for vision－based navigation ［C］.Japan：IAPR Machine Vision Applications，2005：526－529.

［3］YANG Shanmin，F(xiàn)ENG Ziliang，ZHANG Xiuqiong，et al.A multi－scale morphologic runway detector ［C］.2nd International Conference on Computer Engineering and Technology，2010：524－528.

［4］HU Yong－gang，KONG Min.The comparison between morphology algorithm and traditional algorithms for edge detection［J］.Microprocessors，2009，30 （3）：97－98 （in Chinese）.［胡永剛，孔敏.形態(tài)學(xué)算法和傳統(tǒng)算法的邊緣檢測比較 ［J］.微處理機(jī)，2009，30 （3）：97－98.］

［5］CONG Yang，LI Xiao－mao，TIAN Jian－dong，et al.Real－time attitude angle estimation for unmanned aerial vehicle based on skyline detection ［J］.Chinese Journal of Scientific Instrument，2009，30 （5）：938－943.

［6］Wen－Nung Lie，Tom C－I Lin，Ting－Chih Lin，et al.A robust dynamic programming algorithm to extract skyline in images for navigation ［J］.Pattern Recognition Letters，2005，26 （2）：221－230.

［7］Jean－Charles Bazin，Inso Kweon，Cedric Demonceaux，et al.Dynamic programming and skyline extraction in catadioptric infrared images ［C］.Kobe：Robotics and Automation，2009：409－416.

［8］ZHUANG Li－kui，DING Meng，CAO Yun－feng.Landing parameters estimation of unmanned aerial vehicle based on horizon and edges of runway ［J］.Transducer and Microsystem Technologies，2010，29 （3）：104－109 （in Chinese）.［莊麗葵，丁萌，曹云峰.利用地平線與跑道邊緣線估計(jì)無人機(jī)著陸參數(shù)［J］.傳感器與微系統(tǒng)，2010，29 （3）：104－109.］

［9］Yang Sung－woo，Kim Ihn－cheol，Kim Jin－soo.Robust skyline extraction algorithm for mountainous images ［C］.International Conference on Computer Vision Theory and Applications，2007：253－257.

［10］LIAO Yu－ren，CHEN Yu－cheng，CHEN Kuan－chung，et al.Supporting landmark image retrieval with skyline extraction techniques［C］.International Conference on Multimedia and Ubiquitous Engineering，2008：138－143.

［11］BAO Gui－Qiu，XIONG Shen－Shu，ZHOU Zhao－Ying.Vision－based horizon extraction for micro air vehicle flight control［J］.IEEE Transactions on Instrumentation and Measurement，2005，54 （3）：1067－1072.

［12］YUAN Hong－Zhao，ZHANG Xiu－Qiong，F(xiàn)ENG Zi－Liang.Horizon detection in foggy aerial image ［C］.International Conference on Image Analysis and Signal Processing，2010：191－194.

［13］Zafarifar Bahman，Weda Hans，De With Peter H N.Horizon detection based on sky－color and edge features ［C］Visual Communications and Image Processing，2008.

［14］Srikanth S，James F M，Gaurav S S.Visually—guided landing of an unmanned aerial vehicle ［J］.IEEE Transactions on Robotics and Automation，2003，19 （3）：371－381.

［15］HUANG Ying－dong，LI Jie，F(xiàn)AN Ning－jun.An attitude measurement approach for Micro air vehicles based on image information ［J］.Journal of Projectiles，Rockets，Missiles and Guidance，2009，29 （3）：9－16 （in Chinese）.［黃英東，李杰，范寧軍.一種基于圖像信息的微小型飛行器姿態(tài)測量方法 ［J］.彈箭與制導(dǎo)學(xué)報(bào)，2009，29 （3）：9－16.］

［16］LI Li，JIN Wei－qi，HUANG You－wei，et al.Real－time image enhancement processing methods of low contrast visible light overthe－h(huán)orizon imaging ［J］.Binggong Xuebao／Acta Armamentarii，2010，31 （2）：242－247.