基于深度學(xué)習(xí)的霧天夜間機(jī)場(chǎng)能見(jiàn)度預(yù)測(cè)方法

徐悅，袁寶璽，2，米辰，齊樂(lè)

（1.西京學(xué)院，陜西西安，710123；2.陜西省組合與智能導(dǎo)航重點(diǎn)實(shí)驗(yàn)室，陜西西安，710100）

0 引言

能見(jiàn)度是反映大氣透明度的一個(gè)指標(biāo)，具體定義為視力正常的人能從背景中識(shí)別出具有一定大小的目標(biāo)物的最大距離。影響能見(jiàn)度的因子主要有大氣透明度、氣溶膠的化學(xué)成分、氣象因子等，當(dāng)出現(xiàn)降雨、霧、霾、沙塵暴等天氣過(guò)程時(shí)，能見(jiàn)度較差。能見(jiàn)度與人們的日常生活息息相關(guān)，例如在航空領(lǐng)域，習(xí)慣用跑道能見(jiàn)度反映機(jī)場(chǎng)附近霧和霾的大小，夜間其定義為可見(jiàn)跑道邊燈的最大距離。一般情況下，當(dāng)機(jī)場(chǎng)能見(jiàn)度只有400 m左右時(shí)，會(huì)禁止航班起降。能見(jiàn)度預(yù)測(cè)是高速公路管理部門和航空公司十分關(guān)注的問(wèn)題。

當(dāng)前階段，能見(jiàn)度預(yù)測(cè)有兩種主流方式。第一種方式是通過(guò)其他氣象要素的數(shù)值預(yù)報(bào)，并擬合能見(jiàn)度與這些要素的實(shí)時(shí)關(guān)系，通過(guò)間接預(yù)測(cè)的方式得到未來(lái)能見(jiàn)度的預(yù)測(cè)結(jié)果。張德山等[1]通過(guò)分析影響首都機(jī)場(chǎng)高速公路能見(jiàn)度的6種典型地面天氣形勢(shì)場(chǎng), 確定大氣穩(wěn)定度、低層水汽含量、低空大氣中懸浮顆粒物3個(gè)基本氣象要素作為預(yù)報(bào)因子,通過(guò)多項(xiàng)指標(biāo)進(jìn)行預(yù)測(cè)能見(jiàn)度。這類方法只能簡(jiǎn)單的預(yù)測(cè)能見(jiàn)度的大致變化趨勢(shì)。第二種方法是將能見(jiàn)度的預(yù)測(cè)看作時(shí)間序列問(wèn)題，并通過(guò)機(jī)器學(xué)習(xí)的方法進(jìn)行時(shí)間序列預(yù)測(cè)。Debashree Dutta等[2]利用人工神經(jīng)網(wǎng)絡(luò)（ANN）模型預(yù)測(cè)霧期間機(jī)場(chǎng)上空間可視性。方法僅使用過(guò)去的氣象數(shù)據(jù)作為輸入，并在計(jì)算過(guò)程中采用較少的物理先驗(yàn)知識(shí)，這將大大簡(jiǎn)化模型。相對(duì)的，這也會(huì)使得預(yù)測(cè)模型的可解釋性變差。

在統(tǒng)計(jì)學(xué)預(yù)測(cè)方法領(lǐng)域中，大量的機(jī)器學(xué)習(xí)方法被廣泛的應(yīng)用，如支持向量機(jī)，隨機(jī)森林，樸素貝葉斯算法等。這些方法通過(guò)數(shù)據(jù)間的關(guān)系擬合完成預(yù)測(cè)。隨著深度學(xué)習(xí)的發(fā)展，特別是卷積神經(jīng)網(wǎng)絡(luò)在圖像領(lǐng)域的廣泛應(yīng)用，通過(guò)精確的圖像定位，我們可以得到更加接近人類觀察的實(shí)時(shí)的能見(jiàn)度預(yù)測(cè)結(jié)果。在文獻(xiàn)[12]中，我們通過(guò)使用目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv5(YOU ONLY LOOK ONCE V5)檢測(cè)白天霧天情況下的地標(biāo)得到白天的能見(jiàn)度數(shù)值。本文將在文獻(xiàn)[12]的基礎(chǔ)上進(jìn)一步研究基于深度學(xué)習(xí)的霧天夜間機(jī)場(chǎng)能見(jiàn)度預(yù)測(cè)方法。本文在使用Unet網(wǎng)絡(luò)從背景中分割出地標(biāo)的基礎(chǔ)上，結(jié)合攝像機(jī)成像模型，提出一種基于深度學(xué)習(xí)的霧天夜間能見(jiàn)度預(yù)測(cè)方法，用檢測(cè)到的夜間地標(biāo)遠(yuǎn)近判斷能見(jiàn)度的大小。

1 基于U-net的霧天夜間機(jī)場(chǎng)能見(jiàn)度檢測(cè)過(guò)程

本文提出基于U-Net的霧天夜間機(jī)場(chǎng)能見(jiàn)度預(yù)測(cè)方法。首先建立訓(xùn)練模型數(shù)據(jù)集，使用U-Net網(wǎng)絡(luò)對(duì)夜間機(jī)場(chǎng)數(shù)據(jù)集中的跑道燈進(jìn)行分割,然后建立攝像機(jī)成像模型通過(guò)地標(biāo)點(diǎn)和攝像機(jī)的位置信息計(jì)算出跑道燈的距離信息，最終根據(jù)能檢測(cè)到的最遠(yuǎn)跑道燈的距離得到能見(jiàn)度數(shù)值。

1.1 數(shù)據(jù)集

選取某市機(jī)場(chǎng)大霧天氣下機(jī)場(chǎng)場(chǎng)景視頻，為了提高識(shí)別系統(tǒng)在不同時(shí)間段的檢測(cè)能力，從不同時(shí)間段機(jī)場(chǎng)視頻監(jiān)控中分幀出6000張圖片作為實(shí)驗(yàn)數(shù)據(jù)集，從圖1可以看到由于黑夜和濃霧的影響，地標(biāo)很模糊。按照5:1的比例分為訓(xùn)練集和測(cè)試集。如圖1所示為夜間機(jī)場(chǎng)數(shù)據(jù)集樣本圖像。圖中包含有霧黑夜背景，一個(gè)燈塔和數(shù)個(gè)目標(biāo)跑道燈圖像。首先將6000張圖片使用 Labelme 工具進(jìn)行人工標(biāo)注，然后使用隨機(jī)裁剪、隨機(jī)縮放、隨機(jī)排布的方式進(jìn)行拼接，得到增廣之后的數(shù)據(jù)集。mask文件中為二值圖像，只將圖像分為兩類，黑色為背景，白色為地標(biāo)（本數(shù)據(jù)集中為燈塔和跑道燈）。

圖1 夜間機(jī)場(chǎng)數(shù)據(jù)集樣本

1.2 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)由下采樣路徑和上采樣路徑組成，如圖2所示，網(wǎng)絡(luò)中多次重復(fù)卷積、Relu激活函數(shù)和max pooling等層。下采樣路徑每次經(jīng)池化層變換后，特征通道數(shù)擴(kuò)大一倍；上采樣路徑中首先使用反卷積，每次反卷積進(jìn)行之后對(duì)特征通道的數(shù)量減半，特征圖大小增加一倍。在進(jìn)行反卷積操作后將結(jié)果與對(duì)應(yīng)的修剪過(guò)后特征圖進(jìn)行拼接。對(duì)拼接后的特征圖進(jìn)行2次卷積和Relu激活。最后用 1×1 的卷積層將64維通道特征圖映射到2維圖像上，最終獲得分割結(jié)果。

圖2 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)模型中只有卷積層和池化層，沒(méi)有全連接層，網(wǎng)絡(luò)中較淺的高分辨率層與較深的層分別解決像素定位與分類問(wèn)題，從而可以實(shí)現(xiàn)像素級(jí)別的分類分割。U-Net網(wǎng)絡(luò)的上下采樣所使用的卷積層數(shù)量是相同的，且使用skip connection結(jié)構(gòu)將上下采樣層直接連接，這樣使得下采樣獲得的特征可以直接傳輸?shù)缴喜蓸訉?，這使得U-Net網(wǎng)絡(luò)的像素定位更加準(zhǔn)確，分割精度更高。

1.3 能見(jiàn)度檢測(cè)方法

本文提出基于U-Net的霧天夜間機(jī)場(chǎng)能見(jiàn)度檢測(cè)方法主要包括兩部分，第一建立攝像機(jī)成像模型通過(guò)地標(biāo)點(diǎn)和攝像機(jī)的位置信息計(jì)算出地標(biāo)點(diǎn)距離信息，第二根據(jù)能檢測(cè)到的最遠(yuǎn)地標(biāo)點(diǎn)的距離得到能見(jiàn)度數(shù)值。

(1)攝像機(jī)成像模型

在相機(jī)成像模型中，將三維世界坐標(biāo)系中的物體投影為二維圖像平面上的像素點(diǎn)，總共涉及四個(gè)坐標(biāo)系和三次坐標(biāo)系轉(zhuǎn)換，四大坐標(biāo)系分別是世界坐標(biāo)系(x w,y w,zw)相機(jī)坐標(biāo)系(xc,y c,zc)、圖像坐標(biāo)系(x,y)和像素坐標(biāo)系(u,v)，圖像坐標(biāo)系以圖像的中心為坐標(biāo)原點(diǎn)，像素坐標(biāo)系以圖像的左上角為坐標(biāo)原點(diǎn)，具體的轉(zhuǎn)換過(guò)程如圖3所示。

圖3 坐標(biāo)系轉(zhuǎn)換流程圖

(2)單目測(cè)算目標(biāo)點(diǎn)與攝像機(jī)距離

單目測(cè)距算法的目的就是將單張圖像從二維坐標(biāo)系轉(zhuǎn)換到三維坐標(biāo)系，確定物體在世界坐標(biāo)系中的位置，獲取物體的距離信息。本文利用檢測(cè)到的4個(gè)跑道燈作為控制點(diǎn)，通過(guò)跑道燈的世界坐標(biāo)使用EPnP算法計(jì)算得到攝像機(jī)的三維坐標(biāo)，從而最終得到攝像機(jī)和檢測(cè)到的各個(gè)地標(biāo)之間的距離，最遠(yuǎn)地標(biāo)距離就是能見(jiàn)度。

首先結(jié)合上文所述的計(jì)算機(jī)成像模型，使用跑道燈在世界坐標(biāo)系中的物理位置，已知4個(gè)跑道燈在世界坐標(biāo)系中的三維坐標(biāo)為:

在攝像頭采集到的二維圖像中，通過(guò)U-Net檢測(cè)跑道燈，在像平面中，跑道燈的坐標(biāo)表示為:

其中n=4為跑道燈控制點(diǎn)的數(shù)量。

將跑道燈的世界坐標(biāo)(xi,y i,zi)和在像平面中的坐標(biāo)(x i,yi)作為EPnP算法的輸入，可以計(jì)算出攝像機(jī)的世界坐標(biāo)，記為( x,y,z)。

因?yàn)榕艿罒粼谑澜缱鴺?biāo)系中的坐標(biāo)位置是已知的，因此我們可以使用三維坐標(biāo)點(diǎn)的歐氏距離公式得到跑道燈相對(duì)于攝像機(jī)的距離：(3)式中的d就是我們需要求解的攝像機(jī)到各個(gè)目標(biāo)的距離。最后我們將最遠(yuǎn)地標(biāo)距離就是作為此時(shí)的能見(jiàn)度。

2 實(shí)驗(yàn)結(jié)果

將機(jī)場(chǎng)大霧天氣下機(jī)場(chǎng)數(shù)據(jù)集輸入基于U-Net的霧天夜間機(jī)場(chǎng)能見(jiàn)度檢測(cè)系統(tǒng)，輸出地標(biāo)分割結(jié)果示例如圖5所示，然后擬合分割得到的每個(gè)地標(biāo)外接框，如圖6所示，最后根據(jù)人工標(biāo)注信息的外接框和本文算法檢測(cè)得到的外接框計(jì)算交并比（IOU）進(jìn)而統(tǒng)計(jì)精確率和召回率。

圖4 機(jī)場(chǎng)大霧天氣實(shí)際拍攝圖，透過(guò)濃霧，人眼可以看到有9個(gè)跑道燈

圖5 分割結(jié)果

圖6 將分割結(jié)果擬合得到外接框，然后畫到原圖中和人工標(biāo)注結(jié)果進(jìn)行比較。紅色方框?yàn)楸疚乃惴z測(cè)結(jié)果，青色邊框?yàn)槿斯?biāo)注結(jié)果的外接框

IOU的計(jì)算公式為：

精確率的計(jì)算公式為：

式中TP（True Positive）指正確檢測(cè)的正樣本數(shù)，F(xiàn)P（False Positive）指被錯(cuò)誤的識(shí)別為正樣本的負(fù)樣本數(shù)。

召回率的公式為：

FN（False Negative）指被錯(cuò)誤的識(shí)別為負(fù)樣本的正樣本數(shù)。使用算法檢測(cè)和人工標(biāo)注的外接框的IoU作為判斷正樣本是否為得到正確檢測(cè)。本文設(shè)置IoU=0.5作為閾值，每50張圖片取平均得到精確率如圖7和圖8所示的精確率和召回率隨測(cè)試樣本變化圖示。

圖7 IoU=0.5時(shí)，地標(biāo)檢測(cè)精確率統(tǒng)計(jì)，平均值為0.80

圖8 IoU=0.5時(shí)，地標(biāo)檢測(cè)召回率統(tǒng)計(jì)，平均值為0.79

實(shí)驗(yàn)結(jié)果表明本文的地標(biāo)檢測(cè)算法平均準(zhǔn)確率達(dá)到80%左右的情況下，能夠以79%的召回率檢測(cè)到霧天夜間機(jī)場(chǎng)的跑道燈。

3 結(jié)束語(yǔ)

本文首先使用在U-Net網(wǎng)絡(luò)的分割出夜間濃霧中的地標(biāo)，然后建立攝像機(jī)成像模型計(jì)算出跑道燈距離信息，最終計(jì)算得到能見(jiàn)度數(shù)值。在夜間濃霧干擾下，本文的分割算法在檢測(cè)平均準(zhǔn)確率達(dá)到80%左右的情況下，能夠以79%的召回率檢測(cè)到的霧天夜間地標(biāo)，具有成本低、準(zhǔn)確率高的優(yōu)點(diǎn)，具有很大的推廣價(jià)值。