基于改進圖卷積神經網絡的航空行李特征感知

邢志偉，朱書杰，李彪

(中國民航大學 電子信息與自動化學院，天津 300300)

國際航空電信協(xié)會(Society International De Telecommunication Aeronautiques,SITA)發(fā)布有關報告指出，隨著機場行李處理量的不斷增長，現有的航空行李人工搬運及碼放模式已無法滿足現實需求，須開發(fā)包括自動化快速搬運及碼放在內的自動處理系統(tǒng)，以適應機場高效運行的節(jié)奏[1].航空行李特征感知作為自主搬運及碼放的關鍵輸入之一，高效、準確的感知結果能夠進一步提升航空行李自動處理系統(tǒng)的安全性能及作業(yè)效率.

目前，多數研究者采用深度學習結合圖像處理的方法，提取行李特征.Gao 等[2]提出順序分層采樣方法，結合卷積神經網絡學習行李圖像特征，檢測行李類別.Peng 等[3]設計基于雙目立體主動激光編碼投影的行李表面紋理增強方法，提高了行李表面的特征學習能力.Tang 等[4]融合RDeepForest 算法和種子區(qū)域優(yōu)化算法，將基于可信度的分類方法應用于航空行李分類.Mazzeo 等[5]構建孿生網絡模型，引入方形非參數層，用于比較孿生網絡輸出的行李特征的相似性.Chen 等[6]提出局部顯著的深度神經網絡，在關注行李顏色和形狀特征的同時，將紋理和圖案信息納入考慮.Zhao 等[7]設計結合多視圖注意和域不變學習的網絡架構，有效解決了行李特征識別中廣泛存在的視角差異和背景姿態(tài)差異這2 類問題.Wu 等[8]提出融合注意力機制的行李多粒度特征學習方法，提高了檢索特征的可辨別性.Yang 等[9]提出QuadNet 模型，利用四元組損失函數，有效減小了相同行李種類的類內距離，增加了不同行李種類的類間距離.

上述方法基本都是從航空行李二維圖像數據中提取顏色、形狀、紋理、邊緣特征等信息作為模型輸入，而機場復雜的部署環(huán)境、強干擾的信息采集背景極易導致特征感知的難度升高，可辨別性較差.以往的航空行李特征提取方法未能利用其三維空間的幾何信息，準確度有待提高.

本文面向航空行李特征感知分類的現實技術需求，設計并搭建航空行李特征信息采集系統(tǒng).采集了航空行李點云數據并制作數據集，通過改進PointNet++模型感知航空行李特征信息，對構型繁雜的航空行李進行分類.在模型的特征抽象層中，添加局部空間注意力(local spatial attention,LSA)模塊，提高對行李局部空間結構信息的提取能力.引入全局特征聚合(global feature aggregation,GFA)模塊，學習局部結構之間的相關性.使用循環(huán)最大池化層(recycling maxpooling,RMP)進行特征降維，在保留全局特征信息的基礎上，進一步減少局部信息損失.

1 實驗系統(tǒng)與數據分類

根據航空行李處理系統(tǒng)有關行業(yè)的技術標準[10]，搭建航空行李特征采集實驗系統(tǒng)，基本架構如圖1 所示.行李在傳送帶上以一定速度(0.2～2.0 m/s)運輸，上方深度相機采集行李點云數據，實時模擬行李輸送的情況，運行狀態(tài)如圖2 所示.

圖1 航空行李特征采集的實驗系統(tǒng)Fig.1 Experiment system of airline baggage feature collection

圖2 航空行李特征信息采集實驗系統(tǒng)的運行狀態(tài)Fig.2 Operation status of airline baggage feature collection system

通過航空行李特征采集實驗系統(tǒng)，采集得到219 個不同構型的航空行李的點云數據，共計4625個.根據同方威視人工智能研發(fā)中心和香港大學的相關研究，將航空行李劃分為以下6 類：方箱、硬箱、軟箱、硬包、軟包、異形[11-12].一些基本示例如圖3 所示.分類依據即各類行李的構型特點和材質差異，構型上分為箱類、包類和異形，外表材質有軟硬區(qū)分，具體的分類依據如表1 所示.

表1 航空行李的分類依據Tab.1 Basis for classification of airline baggage

圖3 航空行李分類Fig.3 Classification of airline baggage

2 航空行李特征感知網絡模型

采用PointNet++[13]網絡作為基礎框架，引入圖卷積神經網絡和自注意力機制，增強模型對航空行李點云特征的感知能力.改進后的PointNet++(graph attention convolutional PointNet++,GACP)的總體網絡結構如圖4 所示，包括LSA 局部空間注意力模塊、GFA 全局特征聚合模塊和RMP 循環(huán)最大池化層3 個改進組件.行李點云數據輸入網絡后被采樣分組形成局部點集，輸入LSA 結構進行相鄰點特征學習，然后輸入MLP 結構中進行特征升維.將得到的行李局部特征輸入GFA 結構進行全局特征聚合，經RMP 特征降維后得到最終的全局特征，利用全連接層輸出行李類別概率.

圖4 GACP 網絡的結構Fig.4 Structure of GACP network

2.1 基于LSA 的局部特征提取網絡

PointNet++的點云特征提取只考慮采樣中心點與相鄰點的關系，忽略了相鄰點之間的鏈接關系，導致局部結構的內在相關性特征提取不足，采樣中心點與相鄰點的特征關系不能保證有效地表征局部區(qū)域信息.在經過若干次分層特征提取后，網絡會丟失較多的局部輪廓結構信息.LSA[14]模塊的結構設計是基于圖卷積神經網絡，將點云的局部結構構造為三維空間中的圖，學習點云數據中節(jié)點特征和邊的特征信息，結合自注意力機制[15]計算航空行李局部結構的內部相關性.LSA 結構如圖5 所示，經過采樣分組的行李局部點云數據輸入LSA 模塊進行相鄰點特征關系計算，得到節(jié)點特征鄰接矩陣.由鄰接矩陣更新每個節(jié)點的特征關系，聚合形成帶有權重關系的行李局部空間結構特征.

圖5 局部空間注意力模塊的結構Fig.5 Structure of local spatial attention module

從行李點云的局部點集 Pi={pi,pi1,pi2,···,piK}中構造 N個局部圖其中 pi∈R3為局部點集 Pi的中心點，pij∈R3(j=1,2,···,K)為中心點 pi的K個鄰近點，Ai={1,2,···,K} 和Bi?Ai×Ai分別為點集的頂點和邊的集合.定義 Fi={fi,fi1,fi2,···,fiK}為與點集 Pi相對應的一組特征，其中fi、fij∈RD，其中 D為每個點的特征維度.為了構造局部圖的鄰接矩陣并更新每個節(jié)點的特征，通過自注意力機制計算鄰接點之間的相關性，利用softmax 函數消除冗余的部分.

1）通過局部圖 Gi上節(jié)點的相似性矩陣 Ri，計算圖中不同節(jié)點之間的關系：

式中：‖ 和 ?分別為級聯(lián)運算和矩陣乘法，λ 和 μ用于將局部特征變換為2 個同階矩陣形式的獨立線性變換.為了利用softmax 函數減少不同類別節(jié)點之間的冗余連接，須生成鄰接矩陣 Si∈RK×K：

式中：Si(·,·)和Ri(·,·)分 別為 Si和 Ri中的元素，α、β=1,2,···,K分別為圖中第 α個節(jié)點和第 β個節(jié)點.

2）通過鄰接矩陣來更新每個節(jié)點的特征：

綜合上述步驟，LSA 模塊提取得到的局部空間結構特征為

2.2 基于GFA 的全局特征聚合模塊

經過LSA 模塊提取得到航空行李點云的局部空間結構特征，但網絡內缺乏點云局部區(qū)域外的上下文信息，模型的全局輪廓形狀感知能力較弱.利用GFA[16]模塊建立不同局部結構區(qū)域的長期依賴關系，自適應地聚集局部特征形成完整的行李全局特征，在構建上下文信息的同時，增強點云區(qū)分對象的能力.網絡結構如圖6 所示，局部特征經過鄰接矩陣形成全局關聯(lián)關系，通過門控循環(huán)單元自適應聚合關聯(lián)前、后的特征，形成行李全局特征.

圖6 全局特征聚合模塊的結構Fig.6 Structure of global feature aggregation module

每個局部點集輸出的特征表示被LSA 模塊視為超級點，這些超級點被用于構造全局圖.由全局超級點和相應的特征來構造全局圖 G=(A,B),其中 A={1,2,···,N} 和 B ?A×A分別為頂點和邊的集合.采用類似LSA 的方法生成鄰接矩陣 S∈RN×N.GFA 的具體步驟如下.

1）在全局圖上計算每個節(jié)點之間的相似度，形成相似度矩陣：

2）更新后的全局特征可以表示為

3）采用門控循環(huán)單元(gated recurrent unit,GRU)[17]策略，實現更新前、后特征的自適應聚合.最終的特征表示為

2.3 RMP 池化層

面對構型相似、表面形態(tài)差異較小的行李，沿用最大池化操作對行李點云數據進行下采樣，不能保證保留下的最大特征可為構性差異小的行李提供最準確的分類依據.引入RMP 循環(huán)最大池化層[18]替換最大池化層，在特征降維過程中丟棄的點之間重復執(zhí)行最大池化操作，回收利用一些丟棄點的特征，在多個層次上收集特征信息，對第一次最大池化操作得到的原始特征集進行細化，提高網絡的分類性能.RMP 示意圖如圖7 所示，在經歷第一次最大池化操作后，對丟棄的點特征進行第二次最大池化操作，重復 n次以后，將得到的 n段特征向量經分層損失函數細化得到最終的全局特征.

圖7 循環(huán)最大池化層的示意圖Fig.7 Schematic diagram of recycling maxpooling

航空行李點云數據在經過多個特征提取和聚合層后，得到第一個特征矩陣 T1∈RK1×D,其中 K1為第一個最大池化操作之前的點數，D為特征維度.在第一次最大池化操作后，得到丟棄點的特征矩陣 T2∈RK2×D和特征向量 F1∈RD，K2為在第一次最大池化操作后丟棄點的數量.在 T2上應用最大池化來獲得 F2∈RD，回收過程可以重復 n次，得到第 n級具有置換不變性的特征向量Fn∈RD.

對于經過 n次重復最大池化操作得到的 n個特征向量 F1,F2,···,Fn，僅僅通過串聯(lián)或是相加的方式對它們進行結合不是最優(yōu)的方法，對模型性能的提升效果有限.RMP 模塊通過設計分層損失函數來改進 F1，該損失函數包括分類損失和細化損失.

Li 等[19]使用增強網絡來轉換輸入點云，利用由增強數據輸入目標推廣網絡而獲得的增強損失來細化原始損失.RMP 模塊受文獻[19]的啟發(fā)設計了細化損失函數，通過 F2,F3,···,Fn來細化 F1.

RMP 不使用其他網絡來改善目標網絡，只是執(zhí)行幾層MaxPool，使用在每個回收層獲得的特征 Fi來細化 F1.回收等級 i的細化損失函數為

式中：ρi為細化損失函數計算過程中分類損失的權重，γi為大于1 的變量，k為分類任務中類別的數量，yq和分別為真實值和基于特征 F1的預測值.

整體細化損失函數的計算公式為

結合分類損失 Lc和細化損失 Lr，最終的損失函數定義為

式中：η為細化損失的權重.

3 實驗結果與分析

實驗中使用的軟硬件環(huán)境配置及模型的相關參數設置如表2 所示.表中，Input point 為訓練時一次輸入網絡中的點數，Gamma 為學習率衰減系數.

表2 航空行李特征感知的實驗配置Tab.2 Experimental configuration of airline baggage feature perception

3.1 數據集和評價指標

實驗使用的航空行李點云數據集由深度相機采集獲得，包括6 類219 個不同構型的航空行李.由于行李點云數據的采集表面不同，包裹掛飾、行李箱貼紙各種各樣，表面臟污、凹陷存在突出差異，共采集得到4625 個航空行李點云數據.為了減少網絡過擬合并提高網絡感知分類的魯棒性和泛化能力，對采集到的稠密行李點云數據進行隨機下采樣，對一個行李點云重新采樣，擴展成3 個不完全重疊的點云，如圖8 所示.通過上述點云數據增強操作，得到包含13494 個航空行李點云的擴展數據集，劃分為11022 個點云的訓練集、2472 個點云的測試集.

圖8 擴展數據集的制作方法Fig.8 Production method of extended dataset

在評價指標方面，實驗使用分類性能評價中最常用的性能標準：整體精度(overall accuracy,OA)和平均精度(mean accuracy,mAcc).整體精度為所有測試集點云分類結果的精度，平均精度為所有類別感知分類結果的平均值.

3.2 對比實驗及分析

為了驗證GACP 模型在航空行李點云特征感知任務上的性能，選取4 個先進的點云分類算法，在航空行李點云數據集上進行實驗.對比算法包括PointNet[20]、PointNet++[13]、DGCNN[21]和PointVGG[22]，其中DGCNN、PointVGG 與GACP 一樣，融合了圖卷積神經網絡思想改進的點云分類算法.4 種對比算法均使用初始模型架構和參數設置.測試結果如表3 所示.表中，t 為測試集的耗時.

表3 不同模型的分類精度對比Tab.3 Comparision of classification accuracy for different models

如表3 所示為5 種方法在航空行李點云數據集上的精度指標.PointNet 和PointNet++主要考慮點云的全局信息，對點云局部幾何特征的關注較少，實驗效果較差，最高的整體精度為91.25%.

DGCNN 和PointVGG 將圖卷積神經網絡應用到點云處理中，逐層提取豐富的點云特征，與PointNet++相比，在航空行李特征感知分類實驗中OA 分別提高了1.81%和2.93%，mAcc 分別提高了2.57%和3.74%.

GACP 整體精度為96.32%，平均精度為94.68%，在對比實驗中取得了最優(yōu)結果，與Point-Net++相比，OA 和mAcc 分別提高了5.07% 和6.53%，6 種行李的分類精度提高了4%～8%.可見，GACP 在行李點云局部空間特征提取和全局信息聚合感知能力上有了顯著提升.

GACP 相較于DGCNN 和PointVGG 而言，在點云特征學習中融入圖卷積神經網絡和自注意力機制，挖掘點與點之間的相關性和區(qū)域之間的依賴關系，在丟棄冗余特征信息的同時保留鮮明有效的特征激活.G A C P 在實驗中表現優(yōu)于DGCNN 和PointVGG，OA 分別提高了3.26% 和2.14%，mAcc 分別提高了3.96%和2.79%.如圖9所示為利用5 種算法訓練了200 個輪次的OA 曲線，GACP 優(yōu)于其他4 種算法.圖中，E 為深度學習模型訓練的回合次數.從圖9 可見，GACP 算法在航空行李特征感知中較其他主流深度學習點云處理算法有一定的優(yōu)勢.

圖9 不同模型的分類精度曲線Fig.9 Classification accuracy curves of different models

單獨從6 種行李的分類精度來看，5 種算法在箱類和異形的分類精度上普遍高于包類，異形的分類精度最高，硬包分類精度最低.原因是異形行李多為不規(guī)則物體，與外形相對規(guī)整的箱類和包類相比，特征明顯，易于區(qū)分；包類行李中存在某些形態(tài)較特殊的背包，加上肩帶、裝飾的影響，容易導致包類行李被錯誤識別成異形，很多表面為硬質外殼的背包，在背包拉鏈裝飾的影響下被錯誤識別成軟包.在硬包識別精度上，GACP 較PointNet++提高了8.41%，在6 種行李中增幅最高，硬包行李分類識別的能力強化明顯.整體上，GACP 算法在航空行李特征感知分類任務上相較于PointNet++都有很大的提升.

5 個模型學習點云特征的能力不斷增強，算法性能逐漸加強，在6 類行李上的最高分類精度逐步升高，但DGCNN 的軟包分類精度低于PointNet++.算法特征提取能力的提升使得他們在各類行李的分類精度上不斷提高，但面對構型各異的行李，即使是同類行李也可能因其構型差異較大，使得模型感知性能降低.

GACP 在測試集上耗時283.2 s，雖然在5 種算法中耗時最長，但平均每件行李的感知耗時不超過115 ms，平均每秒可以識別8、9 件行李，能夠滿足機場對于行李自動化搬運、碼放的實時性需求.可見，GACP 算法不僅精度高，而且計算耗時短，綜合性能較優(yōu).

3.3 消融實驗

為了驗證GACP 算法中各改進模塊的功能和有效性，在航空行李點云數據集上對網絡進行分組消融實驗.4 組消融實驗結果如表4 所示.表中，“√”表示加入該改進模塊，“×”表示未加入該改進模塊.

表4 不同模塊的消融實驗Tab.4 Ablation experiments of different modules

1）LSA 模塊.從表4 可見，B 組與A 組相比，在PointNet++特征提取層中加入了LSA，mAcc 和OA 分別提高了1.92、1.36%.這是由于PointNet++的特征提取層只是在特征升維過程中的逐層采樣特征區(qū)域進行特征學習，將區(qū)域特征濃縮成一個點，用以表征區(qū)域特征，不能充分提取行李點云數據中點與點之間的關系特征，易丟失關鍵的空間結構特征.通過加入LSA 模塊，獲取行李點云數據中點與點之間的空間結構關系，得到更鮮明準確的行李局部結構特征，使得行李感知分類效果變好.

2）GFA 模塊.C 組與B 組相比，在提取局部空間結構特征后引入GFA 模塊，學習點云局部結構特征之間的依賴關系，建立上下文信息，得到完整的全局特征，對行李全局特征有了準確的把握，模型特征感知分類能力得到大幅提升，mAcc和OA 分別提高了3.38%和3.12%.

3）RMP 模塊.D 組與C 組相比，在提取得到全局特征后，為了減小信息冗余，降低計算成本，但不丟失重要特征信息，使用RMP 模塊代替原始PointNet++中的最大池化層.在多次循環(huán)最大池化的過程中，回收一些較鮮明的特征來不斷細化全局特征，減少相關信息缺失導致感知分類出錯的風險，使得mAcc 和OA 分別提高了1.29%、0.59%，表明RMP 提升了模型性能.

3.4 感知結果對比及分析

如圖10、11 所示分別為PointNet++和GACP的航空行李感知分類結果.為了提升感知結果的可視化效果，在點云數據上疊加了原始RGB 信息.

圖10 PointNet++感知結果Fig.10 Perceptual results of PointNet++

圖11 GACP 感知結果Fig.11 Perceptual results of GACP

PointNet++在硬箱、硬包、軟包、異形4 類行李中均出現了感知錯誤，18 件行李感知樣例中有5 件行李分類出錯，其中硬包2 件.如圖10(a)所示，箱體材料為織物的軟箱，表面較平滑，被PointNet++錯誤感知為硬箱.如圖10(b)、(c)所示為軟包，材料分別為織物和滌綸，表面平滑起伏小，被錯誤感知為硬包.圖10(d)是硬包，受懸掛裝飾的影響，被錯誤感知為軟包.圖10(e)為方箱包裹，由于PP 編織袋包裝不完全貼合包裹，被錯誤感知為異形.GACP 對這5 件行李的感知結果均正確.總體而言，在航空行李特征感知任務上，GACP 的感知效果明顯優(yōu)于PointNet++.

3.5 魯棒性實驗

在實際機場航站樓復雜的部署環(huán)境下，行李點云采集設備易受電磁干擾、光線較暗的負面影響，導致行李點云數據出現密度不均勻、空缺的異常現象，如圖12 所示.為了驗證GACP 模型對噪聲干擾的抵抗力，在航空行李點云數據集上開展隨機噪聲魯棒性實驗.

圖12 行李點云數據的異?，F象Fig.12 Anomalies in luggage point cloud data

將隨機噪聲添加到輸入點云中，替換掉一定數量的原始點集，模擬噪聲干擾和數據丟失的情況.如圖13 所示為5 種模型在航空行李點云數據集上的隨機噪聲魯棒性實驗結果.圖中，Nn為噪聲數量.

圖13 魯棒性實驗結果的對比Fig.13 Comparison of robustness experiment results

隨機噪聲的加入使得5 種模型的分類精度都明顯下降，GACP 相較于其他模型下降趨勢更緩.這是由于GACP 在局部精細特征提取和全局特征聚合過程中，對圖結構的鄰點分配不同的權重來降低干擾點的影響，RMP 模塊也能回收保留一些層次鮮明的特征激活以提供分類依據.當噪聲數量達到100 時，GACP 的分類精度大于80%，表現出較強的魯棒性.

4 結 語

本文提出融合圖卷積神經網絡和自注意力機制的PointNet++網絡模型GACP，應用于航空行李特征感知分類任務.該網絡通過局部空間注意力模塊來提取行李的局部空間結構特征，結合全局特征聚合模塊學習行李局部特征之間的依賴關系，形成全局上下文信息.利用循環(huán)最大池化模塊保留鮮明的特征激活，去除冗余信息，在提升模型分類性能的同時降低計算量.實驗表明，本文提出的方法在航空行李點云數據集上的整體分類準確率達到96.32%，比PointNet++高5.07%.對比實驗和消融實驗的結果證明，GACP 在構型繁雜的航空行李特征感知分類問題上表現優(yōu)越.魯棒性實驗證明，GACP 具有較強的抗噪聲干擾能力，能夠為航空行李自動化碼放處理的安全高效運行提供決策依據.

目前，航空行李特征感知任務存在許多不足，如行李類型可以從表面材質、形狀特點上進一步細分.未來將關注研究行李中心點坐標和行李外輪廓包絡線形狀的法線方向位置傾角對航空行李特征感知的貢獻，考慮低分辨率行李點云數據對模型性能的影響.