基于CBAM-CondenseNet的航班延誤波及預(yù)測(cè)模型

吳仁彪 趙婭倩 屈景怡* 高愛(ài)國(guó) 陳文秀

①(中國(guó)民航大學(xué)天津市智能信號(hào)與圖像處理重點(diǎn)實(shí)驗(yàn)室 天津 300300)

②(中國(guó)民用航空華東地區(qū)空中交通管理局 上海 200335)

1 引言

由于航空網(wǎng)絡(luò)內(nèi)部航班之間具有相關(guān)性，所以當(dāng)某一航班發(fā)生延誤時(shí)往往會(huì)波及網(wǎng)絡(luò)內(nèi)的其他航班，從而造成大面積的航班延誤波及現(xiàn)象。因此，有必要深入研究航班延誤發(fā)生后在航空網(wǎng)絡(luò)內(nèi)的傳播路徑，對(duì)航班延誤波及時(shí)間進(jìn)行預(yù)測(cè)，為延誤波及的預(yù)防和控制提供理論依據(jù)與數(shù)據(jù)支持。

針對(duì)航班延誤波及預(yù)測(cè)問(wèn)題，國(guó)內(nèi)外學(xué)者展開(kāi)了大量研究，早先從延誤傳播特性入手，構(gòu)建航班延誤波及模型來(lái)分析延誤波及效應(yīng)[1-7]。其中，文獻(xiàn)[1]構(gòu)造了機(jī)場(chǎng)多航班的有色-時(shí)間Petri網(wǎng)模型，根據(jù)所提算法可以預(yù)測(cè)當(dāng)初始機(jī)場(chǎng)發(fā)生航班延誤后的下游機(jī)場(chǎng)是否也會(huì)發(fā)生航班延誤；文獻(xiàn)[2]提出基于貝葉斯網(wǎng)絡(luò)的航班延誤波及預(yù)測(cè)模型；并從復(fù)雜航空運(yùn)輸網(wǎng)絡(luò)方面研究樞紐機(jī)場(chǎng)在大型網(wǎng)絡(luò)中的延誤波及現(xiàn)象；文獻(xiàn)[3]基于排隊(duì)論機(jī)制，提出解析排隊(duì)和網(wǎng)絡(luò)分解模型，構(gòu)造了一個(gè)近似網(wǎng)絡(luò)延誤模型來(lái)研究美國(guó)34個(gè)繁忙機(jī)場(chǎng)的延誤情況；文獻(xiàn)[4]提出基于復(fù)雜網(wǎng)絡(luò)理論的航班延誤波及分析預(yù)測(cè)方法，給出了延誤波及的具體分類。以上方法均是通過(guò)對(duì)已有歷史數(shù)據(jù)分析建模來(lái)研究航班延誤波及的演變狀況，未考慮如何預(yù)測(cè)到未來(lái)一段時(shí)間內(nèi)的航班延誤波及狀況。隨著民航業(yè)大數(shù)據(jù)的發(fā)展，面對(duì)大量航空公司和管制部門數(shù)據(jù)，越來(lái)越多的機(jī)器學(xué)習(xí)方法[8,9]用于民航延誤預(yù)測(cè)中。文獻(xiàn)[8]提出采用機(jī)器學(xué)習(xí)的方法預(yù)測(cè)空中交通延誤，并利用淺層的人工神經(jīng)網(wǎng)絡(luò)對(duì)航班延誤進(jìn)行預(yù)測(cè)；文獻(xiàn)[9]基于空中交通管制延誤可控問(wèn)題，綜合考慮天氣、飛機(jī)導(dǎo)航與控制等影響因素，采用機(jī)器學(xué)習(xí)的方法對(duì)單個(gè)飛機(jī)的延誤進(jìn)行預(yù)測(cè)。

目前，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)特征提取能力明顯優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，實(shí)際應(yīng)用效果顯著[10-12]。文獻(xiàn)[10]提出的CondenseNet較一般CNN能有效解決深層網(wǎng)絡(luò)訓(xùn)練時(shí)梯度消失的現(xiàn)象，計(jì)算效率更高而且參數(shù)存儲(chǔ)更少；文獻(xiàn)[11]提出一種全新卷積模塊注意力機(jī)制模塊(Convolutional Block Attention Module,CBAM)，從空間維度和特征維度進(jìn)行雙重特征權(quán)重標(biāo)定來(lái)提升網(wǎng)絡(luò)準(zhǔn)確率。本文采用基于大數(shù)據(jù)的深度學(xué)習(xí)方法來(lái)研究航班延誤波及預(yù)測(cè)問(wèn)題，結(jié)合CondenseNet和CBAM的設(shè)計(jì)思想提出一種CBAMCondenseNet算法，針對(duì)航班延誤波及預(yù)測(cè)問(wèn)題，構(gòu)建基于CBAM-CondenseNet的航班延誤波及預(yù)測(cè)模型，實(shí)現(xiàn)預(yù)測(cè)同一航空器執(zhí)行多任務(wù)時(shí)，首班航班延誤引起的其他航班離港延誤等級(jí)。

2 航班延誤波及鏈?zhǔn)侥Ｐ?/h2>

航線安排以樞紐機(jī)場(chǎng)為中心，以干線形式滿足空中運(yùn)輸需要，以支線形式由樞紐機(jī)場(chǎng)輻射至其他中小機(jī)場(chǎng)，干支線間有嚴(yán)密的航班時(shí)刻銜接計(jì)劃的航線網(wǎng)絡(luò)稱為樞紐航線網(wǎng)絡(luò)。樞紐航線網(wǎng)絡(luò)由多條航班鏈組成。在實(shí)際運(yùn)行過(guò)程中，同一航空器在同一天中往往會(huì)被指派執(zhí)行多個(gè)連續(xù)的航班任務(wù)，如圖1所示。某一航空器產(chǎn)生的航班延誤，會(huì)通過(guò)航班鏈將上游航班的延誤影響至下游航班，使航班延誤的波及范圍在整條航班鏈中擴(kuò)大。通常，樞紐機(jī)場(chǎng)的航班延誤更容易直接傳播至其他中小型機(jī)場(chǎng)，故將航空網(wǎng)絡(luò)中的樞紐機(jī)場(chǎng)定義為1級(jí)機(jī)場(chǎng)，與1級(jí)機(jī)場(chǎng)航班往來(lái)的機(jī)場(chǎng)定義為2級(jí)機(jī)場(chǎng)，與2級(jí)機(jī)場(chǎng)航班往來(lái)的機(jī)場(chǎng)定義為3級(jí)機(jī)場(chǎng)，以此類推，多個(gè)機(jī)場(chǎng)由于某一航班的聯(lián)系從而構(gòu)成航班鏈。

首先，本文對(duì)航班延誤波及鏈?zhǔn)侥Ｐ徒?，?gòu)造航班鏈數(shù)據(jù)集；其次，對(duì)航班鏈數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理與數(shù)據(jù)融合；最后，通過(guò)深度CBAMCondenseNet模型分別對(duì)1級(jí)機(jī)場(chǎng)首班航班離港延誤等級(jí)進(jìn)行預(yù)測(cè)，對(duì)由1級(jí)機(jī)場(chǎng)離港航班延誤波及的2級(jí)機(jī)場(chǎng)離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)，對(duì)由1級(jí)機(jī)場(chǎng)和2級(jí)機(jī)場(chǎng)離港航班延誤波及的3級(jí)機(jī)場(chǎng)的離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)。提前預(yù)測(cè)能夠?yàn)橄嚓P(guān)部門提供精準(zhǔn)有效的干預(yù)方案，從而降低延誤波及程度、減小延誤損失。

3 CBAM-CondenseNet

3.1 網(wǎng)絡(luò)描述

傳統(tǒng)的CondenseNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2(a)所示，每個(gè)結(jié)構(gòu)塊內(nèi)的每層網(wǎng)絡(luò)均以稠密連接的方式連接到后續(xù)所有層，不同的結(jié)構(gòu)塊之間也采用稠密連接的方式連接。本文提出的CBAM-CondenseNet是在每個(gè)結(jié)構(gòu)塊的3×3卷積層后增加CBAM模塊，如圖2(b)所示。CondenseNet和CBAM模塊經(jīng)過(guò)融合，網(wǎng)絡(luò)可以根據(jù)通道、空間的不同重要程度去增強(qiáng)有用特征并抑制無(wú)用特征，從而增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力。

3.2 CBAM卷積模塊

圖1 航班鏈?zhǔn)筋A(yù)測(cè)模型

CBAM主要包含2個(gè)步驟：在空間維度上使用全局最大池化和全局平均池化將信息壓縮為一個(gè)信道描述符，并標(biāo)定壓縮操作中聚合的權(quán)重矩陣；在上述操作的基礎(chǔ)上建模像素點(diǎn)之間的重要程度，在通道維度上使用全局最大池化和全局平均池化得到2個(gè)不同的信道描述符，并按其通道維度將2個(gè)信道描述符合并，之后使用一個(gè)包含單個(gè)卷積核的隱藏層對(duì)特征映射進(jìn)行卷積操作，生成最終的權(quán)重標(biāo)定。其結(jié)構(gòu)如圖3所示。對(duì)于一個(gè)中間層的輸入特征矩陣 F ∈ RC×H×W, CBAM經(jīng)過(guò)1維通道壓縮操作并與輸入的特征矩陣相乘得到 F′，隨后經(jīng)過(guò)2維空間壓縮操作計(jì)算 F′∈ RC×H×W的空間權(quán)值矩陣得到 F′′。 其中⊙ 表示矩陣元素依次相乘。

3.3 CBAM-CondenseNet單個(gè)結(jié)構(gòu)塊

圖2 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖3 CBAM結(jié)構(gòu)圖

3.4 網(wǎng)絡(luò)反向傳播

CBAM-CondenseNet模型的訓(xùn)練主要通過(guò)反向傳播(Back Propagation, BP)算法[13]將訓(xùn)練樣本的誤差消息傳回到隱藏層，實(shí)現(xiàn)隱藏層之間權(quán)重矩陣的不斷迭代更新，直至網(wǎng)絡(luò)收斂。根據(jù)BP算法，以CBAM-CondenseNet的前兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)塊為例對(duì)各隱藏層間的梯度值進(jìn)行推導(dǎo)。假設(shè)每個(gè)結(jié)構(gòu)塊包含2組非線性變換，第1個(gè)結(jié)構(gòu)塊每組變換有1個(gè)卷積層，1個(gè)CBAM；第2個(gè)結(jié)構(gòu)塊每組變換有2個(gè)卷積層，1個(gè)CBAM。如圖5所示。則該結(jié)構(gòu)塊內(nèi)各隱藏層的誤差項(xiàng)計(jì)算如式(4)-式(13)所示。

圖4 CBAM-CondenseNet單個(gè)結(jié)構(gòu)塊

圖5 CBAM-CondenseNet反向傳播

4 基于CBAM-CondenseNet的航班延誤波及預(yù)測(cè)

基于CBAM-CondenseNet的航班延誤波及預(yù)測(cè)主要包括以下3個(gè)部分：數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造、特征提取和分類預(yù)測(cè)。如圖6所示。特征提取部分詳見(jiàn)第2節(jié)，下面主要對(duì)數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造、分類預(yù)測(cè)展開(kāi)介紹。

4.1 數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造

考慮航班延誤波及的復(fù)雜性與不確定性，即隨著時(shí)間推移，延誤波及的過(guò)程中除去航班首次發(fā)生延誤根源的影響，延誤向外擴(kuò)散可能受人為因素、機(jī)械故障等行為作用程度更高，影響更深。故本文主要研究在航班鏈中受1級(jí)機(jī)場(chǎng)航班延誤發(fā)生影響最大的2級(jí)、3級(jí)機(jī)場(chǎng)延誤波及狀況。

4.1.1 數(shù)據(jù)預(yù)處理

本文所使用的國(guó)外數(shù)據(jù)為美國(guó)交通運(yùn)輸統(tǒng)計(jì)局(Bureau of Transportation Statistics, BTS)提供的2014-2018年航班數(shù)據(jù)(Airline On-Time Performance data, AOTP)。其中，模型所需特征屬性定義如下。

定義1 航班數(shù)據(jù) Ff，包括起飛日期、起飛/降落機(jī)場(chǎng)ID、起飛/降落城市ID、航班號(hào)、計(jì)劃起飛/降落時(shí)間、輪擋/掄起時(shí)間、航程等24個(gè)特征屬性。

定義2 機(jī)場(chǎng)數(shù)據(jù) Fa, 包括日期、時(shí)間、機(jī)場(chǎng)ID等5個(gè)特征屬性。

定義3 航班鏈數(shù)據(jù)Fc，同一起飛日期的時(shí)間范圍內(nèi)某一航空器分別從1級(jí)機(jī)場(chǎng)到2級(jí)機(jī)場(chǎng)再到3級(jí)機(jī)場(chǎng)執(zhí)行不同的飛行任務(wù)，時(shí)間上順序相關(guān)，此為一條航班鏈。多條航班鏈數(shù)據(jù)構(gòu)成航班鏈數(shù)據(jù)集，同時(shí)包括航班數(shù)據(jù)特征屬性和機(jī)場(chǎng)數(shù)據(jù)特征屬性。

為解決實(shí)際中航班不延誤比例較大、數(shù)據(jù)不均衡的問(wèn)題，首先在構(gòu)造數(shù)據(jù)集時(shí)采用重采樣的方法，通過(guò)增加稀有類訓(xùn)練樣本的上采樣和減少大類樣本數(shù)的下采樣使不均衡的樣本分布變得比較均衡。重采樣前數(shù)據(jù)集中延誤航班與不延誤航班之比約為3:7，重采樣之后數(shù)據(jù)集中延誤航班與不延誤航班之比約為4:6；其次在訓(xùn)練階段采用數(shù)據(jù)平衡策略進(jìn)行小批量抽樣，通過(guò)這兩種方法盡可能消除類別分布不均勻。

4.1.2 數(shù)據(jù)集構(gòu)造

圖6 航班延誤波及預(yù)測(cè)模型

綜合上述特征屬性，根據(jù)定義3構(gòu)造航班鏈數(shù)據(jù)集。首先，選定某一個(gè)樞紐機(jī)場(chǎng)為1級(jí)機(jī)場(chǎng)；按與該1級(jí)機(jī)場(chǎng)往來(lái)航班量的機(jī)場(chǎng)從高到低依次排序，選取排名前20的機(jī)場(chǎng)為2級(jí)機(jī)場(chǎng)；直接選取與每個(gè)2級(jí)機(jī)場(chǎng)有往來(lái)航班的機(jī)場(chǎng)為3級(jí)機(jī)場(chǎng)。由此確定以該1級(jí)機(jī)場(chǎng)為中心，呈輻射狀向外擴(kuò)散的航空運(yùn)輸網(wǎng)絡(luò)；其次，以時(shí)間、航班尾號(hào)為鍵值，從航空網(wǎng)絡(luò)中抽取每條航班鏈，構(gòu)成航班鏈數(shù)據(jù)集。再次，對(duì)原始數(shù)據(jù)中的離散數(shù)據(jù)和連續(xù)數(shù)據(jù)采用不同的方法進(jìn)行編碼，避免對(duì)網(wǎng)絡(luò)內(nèi)部訓(xùn)練機(jī)制產(chǎn)生誤導(dǎo)；最后，處理完的數(shù)據(jù)轉(zhuǎn)換成適宜輸入到CNN中的特征矩陣。數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造步驟如下：

步驟 1 對(duì)原始航班數(shù)據(jù)、機(jī)場(chǎng)數(shù)據(jù)進(jìn)行清洗，選取有用特征。

步驟 2 根據(jù)定義3進(jìn)行信息篩選，依次選定1級(jí)機(jī)場(chǎng)ID、2級(jí)機(jī)場(chǎng)ID、3級(jí)機(jī)場(chǎng)ID，將 Ff，F(xiàn)a中的時(shí)間屬性按照其所在州進(jìn)行州時(shí)轉(zhuǎn)換，確保全部時(shí)間的時(shí)區(qū)一致。

步驟 3 選定日期、航班尾號(hào)、1級(jí)機(jī)場(chǎng)ID這3個(gè)特征屬性為關(guān)聯(lián)主鍵key1，對(duì)航班數(shù)據(jù) Ff，機(jī)場(chǎng)數(shù)據(jù)Fa進(jìn)行第1次融合，構(gòu)建融合數(shù)據(jù)F′。

步驟 4 選定日期、航班尾號(hào)、2級(jí)機(jī)場(chǎng)ID、3級(jí)機(jī)場(chǎng)ID這4個(gè)特征屬性為關(guān)聯(lián)主鍵key2，對(duì)航班數(shù)據(jù) Ff，機(jī)場(chǎng)數(shù)據(jù)Fa，融合數(shù)據(jù) F′進(jìn)行第2次融合，構(gòu)建航班鏈數(shù)據(jù)集F1。

步驟 5 選定航班鏈數(shù)據(jù)集 F11級(jí)機(jī)場(chǎng)中航班延誤時(shí)間特征屬性，去除1級(jí)機(jī)場(chǎng)所有未延誤航班數(shù)據(jù)，僅保留含有1級(jí)機(jī)場(chǎng)航班發(fā)生延誤的數(shù)據(jù)，構(gòu)建鏈數(shù)據(jù)集F2。

步驟 6 首先選定航班鏈數(shù)據(jù)集F11級(jí)機(jī)場(chǎng)中航班延誤時(shí)間特征屬性；其次選定航班鏈數(shù)據(jù)集2級(jí)機(jī)場(chǎng)航班延誤時(shí)間特征屬性，隨后去除1級(jí)機(jī)場(chǎng)、2級(jí)機(jī)場(chǎng)所有未延誤航班數(shù)據(jù)，僅保留含有1級(jí)機(jī)場(chǎng)、2級(jí)機(jī)場(chǎng)航班發(fā)生延誤的數(shù)據(jù)，構(gòu)建鏈數(shù)據(jù)集F3。

步驟 7 將原始數(shù)據(jù)特征屬性分為離散性和連續(xù)性兩種，對(duì)連續(xù)性特征進(jìn)行min-max歸一化編碼，將其特征值映射到[0,1]；將離散型特征進(jìn)行mean-encoder編碼[14]。

對(duì)1級(jí)機(jī)場(chǎng)首班航班離港延誤等級(jí)進(jìn)行預(yù)測(cè)時(shí)，使用航班鏈數(shù)據(jù)集 F1；對(duì)由1級(jí)機(jī)場(chǎng)航班起飛延誤波及的2級(jí)機(jī)場(chǎng)離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)時(shí)，使用航班鏈數(shù)據(jù)集F2；對(duì)由1級(jí)機(jī)場(chǎng)和2級(jí)機(jī)場(chǎng)航班起飛延誤波及的3級(jí)機(jī)場(chǎng)的離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)時(shí)，使用航班鏈數(shù)據(jù)集F3。

4.2 分類預(yù)測(cè)

分類預(yù)測(cè)模塊由全連接層、Softmax分類器兩層網(wǎng)絡(luò)組成，將 n×n×q維度的矩陣轉(zhuǎn)換為5個(gè)類別出現(xiàn)的概率。根據(jù)航延誤的定義，將延誤時(shí)間劃分為5個(gè)時(shí)間段，如表1所示。分別對(duì)航班鏈模型中的各級(jí)機(jī)場(chǎng)航班進(jìn)行延誤波及預(yù)測(cè)。

表1 航班延誤等級(jí)劃分

5 實(shí)驗(yàn)結(jié)果分析

本文使用深度CBAM-CondenseNet模型分別對(duì)1級(jí)機(jī)場(chǎng)離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)；對(duì)由1級(jí)機(jī)場(chǎng)離港航班延誤波及的2級(jí)機(jī)場(chǎng)離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)；對(duì)由1級(jí)機(jī)場(chǎng)和2級(jí)機(jī)場(chǎng)離港航班延誤波及的3級(jí)機(jī)場(chǎng)離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)。在此本文提供對(duì)由1級(jí)機(jī)場(chǎng)和2級(jí)機(jī)場(chǎng)航班起飛延誤波及的3級(jí)機(jī)場(chǎng)的離港航班延誤等級(jí)進(jìn)行預(yù)測(cè)的實(shí)驗(yàn)結(jié)果，使用數(shù)據(jù)集 F3，故使用3級(jí)機(jī)場(chǎng)的延誤時(shí)長(zhǎng)作為標(biāo)簽。同理，進(jìn)行其余兩次預(yù)測(cè)時(shí)分別使用1級(jí)機(jī)場(chǎng)的延誤時(shí)長(zhǎng)和2級(jí)機(jī)場(chǎng)的延誤時(shí)長(zhǎng)作為標(biāo)簽。首先介紹實(shí)驗(yàn)環(huán)境、參數(shù)配置，然后通過(guò)各項(xiàng)指標(biāo)對(duì)比驗(yàn)證算法改進(jìn)前后所提升的模型性能。

5.1 實(shí)驗(yàn)環(huán)境和參數(shù)配置

實(shí)驗(yàn)所使用計(jì)算機(jī)硬件配置為：處理器Intel?Xeon? E5-2630, CPU頻率為1.80 GHz,GPU加速顯卡為Matrox MGA-G200eR2，操作系統(tǒng)為Ubuntu16.04.3操作系統(tǒng)，深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)為Pytorch0.4框架。本文實(shí)驗(yàn)最終使用數(shù)據(jù)集總計(jì)633336條，特征維度為81，最終輸入網(wǎng)絡(luò)中的數(shù)據(jù)維度為9×9×633336。這里給出本文實(shí)驗(yàn)中所設(shè)置的參數(shù)名稱與對(duì)應(yīng)的參數(shù)值以供參考：采用權(quán)值正交初始化；優(yōu)化器引入Momentum的隨機(jī)梯度下降方法，其中動(dòng)量因子設(shè)為0.9；分組卷積中凝聚因子設(shè)為4；學(xué)習(xí)率設(shè)為0.1，且采用余弦退火調(diào)整學(xué)習(xí)率；訓(xùn)練時(shí)批處理數(shù)量為128，最大迭代次數(shù)為6.9×104次。

5.2 算法復(fù)雜度

算法復(fù)雜度體現(xiàn)在算法可執(zhí)行程序運(yùn)行時(shí)資源損耗程度，體現(xiàn)在以下兩方面：(1)空間復(fù)雜度。算法越復(fù)雜，計(jì)算資源損耗越多，模型參數(shù)越多?？捎脜?shù)數(shù)量Params衡量。(2)時(shí)間復(fù)雜度。算法越復(fù)雜，模型訓(xùn)練和預(yù)測(cè)時(shí)間越多，無(wú)法快速驗(yàn)證和改善模型。可用浮點(diǎn)運(yùn)算次數(shù)FLOPs衡量。一次浮點(diǎn)運(yùn)算可以定義為1次乘法和1次加法。假設(shè)采用滑動(dòng)窗實(shí)現(xiàn)卷積且忽略非線性計(jì)算開(kāi)銷，卷積核的FLOPs為式(15)所示特征圖的高度，寬度和通道數(shù)； K為核寬度；Cout為輸出通道數(shù)。全連接層網(wǎng)絡(luò)的FLOPs為式(16)所示，其中， I為輸入維數(shù)；O為輸出維數(shù)。

表2、表3分別列出不同層數(shù)的CondenseNet和CBAM-CondenseNet模型參數(shù)及其對(duì)比情況。通過(guò)對(duì)比可知，相同數(shù)據(jù)輸入量情況下，不同網(wǎng)絡(luò)層數(shù)的相同算法模型復(fù)雜度不同，隨著網(wǎng)絡(luò)層數(shù)增加，復(fù)雜度增加；相同網(wǎng)絡(luò)層數(shù)的不同算法模型計(jì)算量增長(zhǎng)較小，改進(jìn)后的網(wǎng)絡(luò)模型參數(shù)相比增長(zhǎng)不明顯。因此CBAM的嵌入導(dǎo)致模型整體的參數(shù)和計(jì)算量增長(zhǎng)基本可以忽略不計(jì)，其算法復(fù)雜度與改進(jìn)前基本持平。

5.3 損失值

通過(guò)對(duì)訓(xùn)練集損失值大小來(lái)衡量模型預(yù)測(cè)的好壞，損失值越小，模型收斂，說(shuō)明預(yù)測(cè)結(jié)果與真實(shí)值越為接近，模型的魯棒性越好。圖7(a)和圖7(b)分別表示18, 28, 44層的CBAM-CondenseNet和CondenseNet隨迭代次數(shù)變化的損失值大小?？梢钥闯?，隨著迭代次數(shù)的增加，模型逐漸趨于收斂，在每個(gè)損失下降周期內(nèi)，層數(shù)越多，損失減少越多。當(dāng)達(dá)到44層時(shí)，在第3個(gè)周期內(nèi)改進(jìn)后的CBAM-CondenseNet損失降至0.1, CondenseNet降至0.13；在第4個(gè)周期內(nèi)，損失最終減少至一定范圍，改進(jìn)后的CBAM-CondenseNet損失值比CondenseNet更低且更趨于平緩，且下降速度更快。說(shuō)明CBAM-CondenseNet較CondenseNet能更好地對(duì)深層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

5.4 分類準(zhǔn)確率

在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，數(shù)據(jù)集分為兩類：訓(xùn)練集和測(cè)試集。使用訓(xùn)練集訓(xùn)練模型，使用測(cè)試集考查訓(xùn)練模型的泛化能力。表4分別列出不同層數(shù)的CBAM-CondenseNet和CondenseNet算法在數(shù)據(jù)集F3上的準(zhǔn)確率。從實(shí)驗(yàn)結(jié)果可以看出改進(jìn)后的CBAM-CondenseNet算法在相同層數(shù)下，模型準(zhǔn)確率均高于CondenseNet算法。當(dāng)網(wǎng)絡(luò)達(dá)到44層時(shí)，準(zhǔn)確率為97.55%。為進(jìn)一步驗(yàn)證改進(jìn)后算法模型的穩(wěn)定性以及可訓(xùn)練深度，對(duì)網(wǎng)絡(luò)進(jìn)行更深層訓(xùn)練測(cè)試，當(dāng)網(wǎng)絡(luò)層數(shù)分別為70層、102層、126層時(shí)，試驗(yàn)結(jié)果表明CBAM-CondenseNet網(wǎng)絡(luò)可以保持良好的穩(wěn)定性，隨著網(wǎng)絡(luò)加深，準(zhǔn)確率在97%左右維持穩(wěn)定。

表2 算法改進(jìn)前后FLOPs(M)

表3 算法改進(jìn)前后Params(M)

為驗(yàn)證CBAM-CondenseNet算法在數(shù)據(jù)處理和預(yù)測(cè)精度方面更具優(yōu)勢(shì)，將不同層數(shù)的CBAMCondenseNet和CondenseNet算法與文獻(xiàn)[15]所提算法模型在數(shù)據(jù)集F3上的準(zhǔn)確率進(jìn)行分析比較，如表5所示。當(dāng)網(wǎng)絡(luò)分別為18層、36層、44層時(shí)，CondenseNet算法模型準(zhǔn)確率均高于DenseNet和SEDenseNet算法模型，CBAM-CondenseNet算法模型準(zhǔn)確率均高于CondenseNet算法模型。當(dāng)網(wǎng)絡(luò)達(dá)到44層時(shí)，CBAM-CondenseNet算法模型比SEDenseNet算法模型準(zhǔn)確率高4.41%。說(shuō)明CBAMCondenseNet算法網(wǎng)絡(luò)性能更好，分類準(zhǔn)確率更高。

6 結(jié)束語(yǔ)

圖7 改進(jìn)前后損失值對(duì)比

表4 分類準(zhǔn)確率對(duì)比(%)

表5 不同算法模型分類準(zhǔn)確率對(duì)比(%)

本文通過(guò)分析航班延誤波及的鏈?zhǔn)絺鞑ヌ攸c(diǎn)，提出了一種基于CBAM-CondenseNet的航班延誤波及預(yù)測(cè)模型，經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證了該模型的有效性，結(jié)論如下：

(1) 通過(guò)對(duì)航班延誤傳播特性的研究，構(gòu)建航班延誤波及鏈?zhǔn)侥Ｐ?，?shí)現(xiàn)對(duì)首班離港航班延誤波及的后續(xù)離港航班延誤等級(jí)預(yù)測(cè)。

(2) 改進(jìn)后的CBAM-CondenseNet既能解決深層網(wǎng)絡(luò)梯度消失的問(wèn)題，又能結(jié)合空間和通道的注意力機(jī)制實(shí)現(xiàn)自適應(yīng)權(quán)重標(biāo)定，經(jīng)過(guò)多次實(shí)驗(yàn)，改進(jìn)后的網(wǎng)絡(luò)預(yù)測(cè)精度有所提升。

綜上，本文提出的基于CBAM-CondenseNet的航班延誤波及預(yù)測(cè)模型，實(shí)現(xiàn)了對(duì)航班延誤波及預(yù)測(cè)，可以為民航、空管等部門提供有力決策。后續(xù)研究工作重點(diǎn)將針對(duì)國(guó)內(nèi)數(shù)據(jù)進(jìn)行延誤波及分析研究以及對(duì)航班延誤波及程度的評(píng)估。