航空行李外形識別綜述

徐琪 魏明燦 喬木 郭崇雨 孫旭澤

摘?要：行李外形識別是實現(xiàn)民用機(jī)場行李自動處理需要解決的關(guān)鍵問題之一。本文梳理了近些年行李外形識別技術(shù)相關(guān)研究，對現(xiàn)有研究中常用的方法加以歸類，并對各方案進(jìn)行了分析評價。最后對全文進(jìn)行了總結(jié)，并給出了對未來航空行李外形識別研究的展望。

關(guān)鍵詞：航空運(yùn)輸；行李系統(tǒng)；外形識別

1?概述

航空旅客托運(yùn)的行李由行李系統(tǒng)進(jìn)行集中快速收集、傳送、跟蹤處理及自動分揀，并通過行李牽引車在行李系統(tǒng)終端與機(jī)坪之間運(yùn)輸行李，以及通過傳送帶車在飛機(jī)貨倉裝卸行李。隨著旅客吞吐量的上升，大型樞紐機(jī)場每日托運(yùn)的行李數(shù)量接近十萬件，這對處理行李的效率提出了較高的要求。目前仍有一些行李處理環(huán)節(jié)需要人工作業(yè)，如行李托運(yùn)、不正常行李的識別與分揀、行李運(yùn)輸和行李碼垛等。人工作業(yè)速度有限，錯誤率受人員狀態(tài)影響，且人力成本高。為了提高行李處理整體效率，一些機(jī)場、科研機(jī)構(gòu)或企業(yè)對上述環(huán)節(jié)進(jìn)行了無人化探索，行李外形識別是無人化行李處理的關(guān)鍵問題之一。

本文主要對近些年行李外形識別技術(shù)的發(fā)展以及在航空行李運(yùn)輸中的應(yīng)用進(jìn)行梳理，介紹不同解決方案及各方案特點。

2?行李二維圖像輪廓識別

在只獲取行李單二維圖像時可對行李的輪廓進(jìn)行識別以判斷行李類別，通常的方法為：首先對單行李圖像去除通道背景獲得單獨行李圖像，經(jīng)過灰度處理以減小運(yùn)算量，再通過中值濾波得到平滑圖像；接著還需對圖像進(jìn)行二值化，經(jīng)邊緣檢測及膨脹、腐蝕的形態(tài)學(xué)處理后得到行李的輪廓圖；經(jīng)形態(tài)學(xué)處理后可快速識別出行李的大致形狀，但輪廓識別結(jié)果往往不太準(zhǔn)確［1］。

針對二維行李圖像輪廓精準(zhǔn)識別問題，李菊霞［2］提出了一種基于深度學(xué)習(xí)的二值圖像目標(biāo)輪廓識別算法。在對行李圖像進(jìn)行灰度化、降噪、二值化處理之后得到二值圖像，不進(jìn)行形態(tài)學(xué)處理，而是利用深度卷積網(wǎng)絡(luò)算法對此圖像劃分為不重疊的、大小相同的子塊圖像，并對其進(jìn)行兩次卷積濾波輸出每個子塊的輪廓識別結(jié)果，再對輸出的結(jié)果通過全連接方法將其聚類，得到最終的輪廓識別結(jié)果。經(jīng)實驗該方法識別的準(zhǔn)確性可達(dá)98%，大大提高了二維行李圖像的識別精度。但二維圖像只包含行李一面的視圖，能表達(dá)的信息有限，想要準(zhǔn)確識別出行李類型還是需要對行李的三維形狀進(jìn)行識別。

3?行李三維形狀識別

文獻(xiàn)記載的行李三維形狀識別方法有單目視覺法、雙目視覺法、體積法、點云法、多視圖法和綜合方法。

3.1?單雙目立體視覺法

最初的三維形狀識別是通過單目攝像機(jī)來進(jìn)行的，有兩個主流方法：結(jié)構(gòu)法和視圖法。由于前者的魯棒性較差，所以后者更為流行。視圖法的實質(zhì)是將3D對象識別轉(zhuǎn)化為2D形狀識別問題，Gonzáleza等［3］對此方法的性能進(jìn)行了定性定量分析，在對硬識別率、弱識別率和模糊識別率測量比較的基礎(chǔ)上提出了用形狀表示模型的一般性原則。

單目攝像機(jī)較為簡單，識別也較快速，但識別出的三維形狀特征會丟失過多，不能重建出三維模型，針對這些缺點便出現(xiàn)了雙目立體視覺方法。雙目識別通過帶有標(biāo)定板的左右相機(jī)采集行李圖像獲得雙目橫向匯聚模型，接著通過標(biāo)定得到表征像素的基礎(chǔ)矩陣，使用改進(jìn)立體算法獲得最佳匹配點進(jìn)而解出三維坐標(biāo)，獲得三維重建模型。為了使重建的行李模型更清晰，還需使用約束隨機(jī)編碼激光來增強(qiáng)行李表面紋理［4］。

楊璐［5］使用兩個相機(jī)從不同角度獲取行李圖像，通過背景相減法及形態(tài)學(xué)處理提取單獨行李，然后提取行李的邊緣特征，經(jīng)立體匹配得到行李輪廓深度圖，最后通過中點法、三角法等恢復(fù)行李輪廓三維信息，并用行李輪廓點云圖進(jìn)行顯示。

3.2?體積法

體積法是采用3D卷積層的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional?Neural?Network，CNN）來處理體素數(shù)據(jù)。如Wu等［6］提出了一種卷積深度信任網(wǎng)絡(luò)將幾何三維形狀轉(zhuǎn)化為3D體素網(wǎng)格上二元變量的概率，可以識別單視圖2.5D深度圖像中的對象，并使深度圖中缺失部分半透明化，可以利用深度圖識別3D形狀。

由于高計算成本和體數(shù)據(jù)的稀疏結(jié)構(gòu)，導(dǎo)致了體積法的低效和有效性低，所以Riegler等［7］提出利用體素網(wǎng)格的稀疏性來加速處理高分辨率體素網(wǎng)格。Kumawat等［8］提出了標(biāo)準(zhǔn)3D卷積層的有效替代方案。高慶吉等［9］采用Kinect深度傳感器獲取行李上表面的深度信息，通過背景相消法提取單獨行李，又通過橫縱濾波去除噪點，得到行李上表面的深度圖像，識別出行李形狀。

3.3?點云法

點云在最初由于形式不規(guī)則通常會被轉(zhuǎn)換為規(guī)則的體素網(wǎng)格或圖像集合，然而這極大地增加了運(yùn)算量和信息丟失。參考文獻(xiàn)［10］提出了一種直接使用原始點云數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)PointNet，通過使用一個對稱函數(shù)來編碼選擇點云中信息豐富的點，并將最優(yōu)值聚合到整個形狀的全局描述。該方法可以學(xué)習(xí)全局和局部點特征，為通過點云進(jìn)行3D形狀識別提供了一般方法。

翁博文［11］采用了兩個結(jié)構(gòu)光深度相機(jī)采集行李的點云，然后用二維網(wǎng)格結(jié)構(gòu)對數(shù)據(jù)進(jìn)行儲存、索引和簡化，通過點云矩陣之間的旋轉(zhuǎn)與平移將兩個相機(jī)數(shù)據(jù)拼接在一起獲得了行李的形狀點云信息，使用PointNet對其進(jìn)行了3D形狀識別。朱嘉宸［12］使用兩個深度相機(jī)采集行李的點云信息，并進(jìn)行半徑濾波以消除噪聲影響，在此基礎(chǔ)上采用了先初始匹配后精確配準(zhǔn)的點云融合方法，再通過中心投影法將點云圖轉(zhuǎn)化為深度圖，進(jìn)而識別行李形狀。

首都機(jī)場的不正常行李探測系統(tǒng)（如下圖）在行李通過時打開線性結(jié)構(gòu)激光照射行李表面，通過3臺工業(yè)相機(jī)實時采集行李圖像。根據(jù)點云數(shù)據(jù)提取行李長、寬、高，并根據(jù)尺寸模型判斷行李是否正常；然后，使用PointNet算法對行李的點云數(shù)據(jù)進(jìn)行是否正常的分類；最后，利用Adaboost算法整合以上兩種分類結(jié)果，達(dá)到精準(zhǔn)判別行李是否正常的效果。該系統(tǒng)的判別準(zhǔn)確度達(dá)到90%以上。

（a）不正常行李探測系統(tǒng)??????????（b）行李探測過程

首都機(jī)場不正常行李探測系統(tǒng)圖

3.4?多視圖法

多視圖法類似于人眼的感知機(jī)制，是目前應(yīng)用最廣泛的方法。Su等［13］提出的MVCNN（Multiview?Convolutional?Neural?Network，多視角卷積神經(jīng)網(wǎng)絡(luò)）是多視圖法中最早的研究之一。它是提取視圖特征的一種新型架構(gòu)，并可以將3D形狀的多個視圖組合到單個緊湊形狀描述符中，使識別更高效準(zhǔn)確。MVCNN結(jié)構(gòu)雖簡單，但提供了一個通用方法，后來的研究者多在此基礎(chǔ)上進(jìn)行改良。

Wang等［14］對MVCNN進(jìn)行了改進(jìn)，通過引入通道注意機(jī)制有效減少了干擾，通過引入殘差結(jié)構(gòu)解決了深度神經(jīng)網(wǎng)絡(luò)退化問題；通過引入mish函數(shù)提高了適應(yīng)性和準(zhǔn)確性，使算法在數(shù)據(jù)集上的處理結(jié)果更有競爭力。

Xu等［15］基于深度神經(jīng)網(wǎng)絡(luò)開發(fā)出了3D形狀識別的對應(yīng)感知模塊CAR，可將視圖特征轉(zhuǎn)化為語言空間中的點集并搜索空間中的潛在對應(yīng)點，通過利用這些潛在對應(yīng)點在視圖中的位置和空間關(guān)系來輸出對應(yīng)感知表示。將CAR模塊與ResNet18相結(jié)合開發(fā)了CARNet模型，可用更少視圖獲得更顯著的性能增益。

Liu等［16］提出了一種高精度三維形狀多視圖識別框架，先是通過基于投票的過濾算法選擇最有代表性的視圖，然后通過聚合卷積模塊將各視圖特征融合到3D形狀描述符中，此方法的檢索性能和魯棒性都有了顯著提升。

Nie等［17］針對多視角三維形狀識別中細(xì)節(jié)信息易丟失問題，提出了一種基于局部信息的多注意網(wǎng)絡(luò)。此方法可在獲得特征圖后通過引入空間感知和通道感知來量化空間區(qū)域和通道的貢獻(xiàn)，從而使特征圖的有效信息更集中，有效提高了視圖描述符的區(qū)分度。為了給全局特征保存更多有效信息，還引入了多頭注意力模塊來生成全局描述。顯著提高了視覺效果，保留了更多的有效信息。

3.5?綜合方法

有學(xué)者考慮將不同的方法綜合，取長補(bǔ)短。Sun等［18］提出了一個同時使用點云和多視圖的視點互補(bǔ)學(xué)習(xí)網(wǎng)絡(luò)，從多視圖中提取視覺特征，從點云中提取結(jié)構(gòu)特征，然后將兩者投影到同一個特征空間，通過相似性建模獲得了兩種數(shù)據(jù)的特征信息和互補(bǔ)信息以進(jìn)行3D形狀的統(tǒng)一表示。該方法的各項性能均優(yōu)于現(xiàn)有的點云或者視圖方法。

馮元力等［19］提出了一種基于多視角全景圖的3D模型識別方法，將三維模型投影到球面，再將球面從多個不同角度展開得到多個全景圖，用多分支的卷積神經(jīng)網(wǎng)絡(luò)整合分析并得到識別出的三維形狀。此方法保留了更多的特征數(shù)據(jù)且具有更好的識別精度。

4?結(jié)論與展望

行李外形識別作為行李無人化處理的關(guān)鍵技術(shù)之一，諸多學(xué)者給出了自己的解決方案。本文以外形識別技術(shù)發(fā)展情況為脈絡(luò)，闡述了行李外形識別技術(shù)的研究現(xiàn)狀及應(yīng)用情況。未來的行李形狀識別技術(shù)將向著更快速、更精確、更具環(huán)境適應(yīng)性的方向發(fā)展，同時隨著行李數(shù)據(jù)庫的完善和對數(shù)據(jù)庫的深入學(xué)習(xí)，未來的行李識別技術(shù)可望更加精細(xì)化。

參考文獻(xiàn)：

［1］董景峰，楊若怡，周康康，等.機(jī)場行李提取中行李箱圖像識別與旋轉(zhuǎn)仿真［J］.物流技術(shù)，2020，39（02）：122129.

［2］李菊霞.基于深度學(xué)習(xí)的二值圖像目標(biāo)輪廓識別算法［J］.吉林大學(xué)學(xué)報（理學(xué)版），2020，58（05）：11891194.

［3］Elizabeth?González，Antonio?Adán，Vicente?Feliú.2D?shape?representation?and?similarity?measurement?for?3D?recognition?problems：An?experimental?analysis［J］.Pattern?Recognition?Letters，2011，33（2）.

［4］彭傳波.基于激光編碼的航空行李視覺檢測方法研究［D］.中國民航大學(xué)，2019.

［5］楊璐.基于雙目立體視覺的行李規(guī)格檢測研究［D］.中國民航大學(xué)，2013.

［6］Wu?Z，Song?S，Khosla?A，et?al.3D?ShapeNets：A?Deep?Representation?for?Volumetric?Shapes：2015?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR），10.1109/CVPR.2015.7298801［P］.2015.

［7］Riegler?G，Ulusoy?A?O，Geiger?A.OctNet：Learning?Deep?3D?Representations?at?High?Resolutions［C］//?2017?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR）.IEEE，2017.

［8］S.Kumawat?and?S.Raman.LP3DCNN：Unveiling?Local?Phase?in?3D?Convolutional?Neural?Networks［C］.2019?IEEE/CVF?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR），IEEE，2019：48984907.

［9］高慶吉，位園園.基于表面深度值均方差的航空行李分類研究［J］.計算機(jī)工程與科學(xué)，2017，39（1）：125130.

［10］Qi?C?R，Su?H，Mo?K，et?al.PointNet：Deep?Learning?on?Point?Sets?for?3D?Classification?and?Segmentation［C］//?2017?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR）.IEEE，2017.

［11］翁博文.基于三維點云的航空行李適運(yùn)性計算方法研究［D］.中國民航大學(xué)，2020.

［12］朱嘉宸.基于深度相機(jī)的機(jī)場自助行李托運(yùn)關(guān)鍵技術(shù)的研究［D］.電子科技大學(xué)，2020.

［13］Su?H，Maji?S，Kalogerakis?E，et?al.Multiview?Convolutional?Neural?Networks?for?3D?Shape?Recognition：IEEE，10.1109/ICCV.2015.114［P］.2015.

［14］Y.Wang，et?al.An?Improved?MVCNN?for?3D?Shape?Recognition［C］.2021?IEEE?International?Conference?on?Emergency?Science?and?Information?Technology（ICESIT），2021：469472.

［15］Xu?Y，Zheng?C，Xu?R，et?al.MultiView?3D?Shape?Recognition?via?CorrespondenceAware?Deep?Learning［J］.IEEE?Transactions?on?Image?Processing，2021，30.

［16］Liu?Zehua，Zhang?Yuhe，Gao?Jian，Wang?Shurui.VFMVAC：Viewfilteringbased?multiview?aggregating?convolution?for?3D?shape?recognition?and?retrieval［J］.Pattern?Recognition，2022，129.

［17］W.Nie，Y.Ke，Y.Zhao，Q.Liang?and?Y.Su.LIMAN：Local?InformationBased?Multiattention?Network?for?3D?Shape?Recognition［J］.IEEE?MultiMedia，2022，29（1）：6573.

［18］Sun?S，Li?Y，Ren?M，et?al.PVCLN：PointView?Complementary?Learning?Network?for?3D?Shape?Recognition［J］.IEEE?Access，2020，99：1.

［19］馮元力，夏夢，季鵬磊，等.球面深度全景圖表示下的三維形狀識別［J］.計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2017，29（09）：16891695.

作者簡介：徐琪（1986—?），女，漢族，山東人，碩士研究生，工程師，研究方向：行李系統(tǒng)。