基于深度學(xué)習(xí)的無人機(jī)自主降落標(biāo)識檢測方法

摘 要：為提高無人機(jī)自主降落的實(shí)時性和準(zhǔn)確性，提出了一種基于深度學(xué)習(xí)的降落標(biāo)識檢測方法。首先，采用輕量級網(wǎng)絡(luò)MobileNetv2作為主干網(wǎng)絡(luò)，完成特征提取任務(wù)。其次，借鑒YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)，引入深度可分離卷積代替部分標(biāo)準(zhǔn)卷積，在基本不影響模型性能的情況下降低計(jì)算量。然后，提出了一種基于跳躍連接結(jié)構(gòu)的特征金字塔模塊，將主干輸出的特征圖進(jìn)行拼接，融合目標(biāo)細(xì)節(jié)信息和語義信息，得到表征能力更強(qiáng)的特征。最后，基于深度可分離卷積對YOLOv4的檢測頭進(jìn)行優(yōu)化，完成目標(biāo)檢測任務(wù)。在Pascal VOC數(shù)據(jù)集和降落標(biāo)識數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，結(jié)果表明，改進(jìn)的檢測算法有效降低了模型的計(jì)算量和參數(shù)量，提高了檢測速度，且能夠滿足無人機(jī)自主降落的精度需求。

關(guān)鍵詞：無人機(jī)； 視覺引導(dǎo)； 自主降落； 標(biāo)識檢測； 深度學(xué)習(xí)

中圖分類號：TJ760； V279

文獻(xiàn)標(biāo)識碼： A

文章編號：1673-5048（2023）05-0115-06

DOI： 10.12132/ISSN.1673-5048.2023.0063

0 引" 言

人工智能技術(shù)的井噴式發(fā)展正在加速推動新一輪軍事變革，未來戰(zhàn)爭正由信息化向智能化、體系化轉(zhuǎn)變，異構(gòu)裝備一體化協(xié)同作戰(zhàn)將是新常態(tài)。無人機(jī)成本低、體積小、靈活性高，在與無人車/無人艦艇等協(xié)同完成突擊上陸、集結(jié)裝載、反潛、航渡等任務(wù)時，能夠前出岸灘/登陸場上空隱蔽火力點(diǎn)或淺近縱深隱蔽火力點(diǎn)實(shí)施廣域偵察和精準(zhǔn)探測，引導(dǎo)后方火力支援實(shí)施火力壓制、精確破障或打擊［1］。無人機(jī)的有限重復(fù)利用被認(rèn)為是提高效費(fèi)比的最佳手段，尤其是對于需要重復(fù)飛行作業(yè)而無法進(jìn)行人工干預(yù)的任務(wù)，自主降落是無人機(jī)必不可少的關(guān)鍵能力。

視覺導(dǎo)航能夠提供豐富的環(huán)境信息，善于捕捉運(yùn)動信息，且具有設(shè)備體積小、成本低、能耗低、精度高、自主性強(qiáng)等優(yōu)點(diǎn)。此外，視覺信號由于其無源特性具有較強(qiáng)的抗干擾能力，這在軍事隱蔽偵察中尤為重要。視覺引導(dǎo)無人機(jī)自主降落一般分為兩種，一種是基于人工設(shè)計(jì)的降落標(biāo)識實(shí)現(xiàn)自主降落，另一種是基于場景信息實(shí)現(xiàn)自主降落。當(dāng)下，前者是最主要的研究方向，這使得對降落標(biāo)識的準(zhǔn)確識別成為無人機(jī)在動、靜平臺自主降落的決定性因素。

圍繞無人機(jī)自主降落問題，國內(nèi)外大量專家學(xué)者開展了廣泛研究，取得豐碩的研究成果［2-4］。文獻(xiàn)［5-7］對該方面的研究做了系統(tǒng)性梳理和總結(jié)； 文獻(xiàn)［8-13］針對這一課題開展研究，并取得了一系列成果。但這些研究大多針對特定標(biāo)識，采用傳統(tǒng)目標(biāo)檢測方法或根據(jù)傳統(tǒng)檢測方法進(jìn)行優(yōu)化完成標(biāo)識檢測。

自Hinton等［14］掀起人工神經(jīng)網(wǎng)絡(luò)的研究熱潮后，深度學(xué)習(xí)蓬勃發(fā)展，應(yīng)用領(lǐng)域迅速擴(kuò)張。近年來，有研究人員將深度學(xué)習(xí)思想用于標(biāo)識檢測任務(wù)，利用其優(yōu)秀的特征提取能力提高環(huán)境適應(yīng)性。如Nguyen等［15］于2017年提出的LightDenseYOLO算法，能夠?qū)崿F(xiàn)50 m高空下的標(biāo)識檢測。文獻(xiàn)［16］將去模糊算法 SlimDeblurGAN與YOLOv2結(jié)合，用于完成快速運(yùn)動過程中的標(biāo)識檢測任務(wù)。文獻(xiàn)［17］將SSD［18］（Single Shot MultiBox Detector）檢

測算法與核相關(guān)濾波（Kernel Correlation Filter，KCF）跟蹤算法進(jìn)行融合，檢測成功率達(dá)到91.1%。此外，文獻(xiàn)［19-21］均采用基于深度學(xué)習(xí)的檢測算法完成了標(biāo)識檢測任務(wù)。

在無人機(jī)自主降落過程中，不可避免地遭遇高度變化、位置變化、角度變化、姿態(tài)變化、抖動等情況，導(dǎo)致傳感器采集的圖像中標(biāo)識尺寸不同、位置不同、模糊、變形等。傳統(tǒng)的檢測算法基于圖像分割或人工提取的淺層特征，魯棒性缺乏、可移植性較差、環(huán)境適應(yīng)性不足。基于深度學(xué)習(xí)的檢測算法通過不同工況下采集的大量數(shù)據(jù)學(xué)習(xí)得到圖像特征，魯棒性好、精度高、環(huán)境適應(yīng)性強(qiáng)，具有一定的優(yōu)勢。然而，基于深度學(xué)習(xí)的檢測算法存在模型復(fù)雜度高、檢測精度與檢測速度不平衡等問題，適用于無人機(jī)平臺的兼顧檢測精度與檢測速度的輕量化檢測算法仍有很大研究空間。

針對上述問題，本文借鑒YOLOv4［22］目標(biāo)檢測算法的原理及結(jié)構(gòu)，以無人機(jī)自主降落標(biāo)識檢測的實(shí)際需求為牽引，提出一種基于深度可分離卷積和跳躍連接結(jié)構(gòu)的輕量化標(biāo)識檢測算法，在滿足檢測精度要求的情況下，有效提高了檢測速度。通過課題組自制的降落標(biāo)識數(shù)據(jù)集驗(yàn)證了檢測算法基本能夠滿足無人機(jī)自主降落的實(shí)時性和精度要求。

1 YOLOv4目標(biāo)檢測算法

YOLOv4算法的核心思想是將目標(biāo)檢測問題統(tǒng)一為回歸問題，采用卷積神經(jīng)網(wǎng)絡(luò)直接從輸入圖像預(yù)測目標(biāo)的類別概率和位置信息，從而實(shí)現(xiàn)端到端的目標(biāo)檢測。具體來說，首先將輸入圖像隱式地劃分為S×S個網(wǎng)格單元，每個網(wǎng)格負(fù)責(zé)檢測中心點(diǎn)落在該網(wǎng)格內(nèi)的物體，然后預(yù)測邊界框的位置坐標(biāo)和置信度，采用非極大值抑制算法選出最優(yōu)邊界框。

YOLOv4的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由主干網(wǎng)絡(luò)CSPDarknet53、空間金字塔池化模塊SPP（Spatial Pyramid Pooling）、路徑聚合網(wǎng)絡(luò)PANet（Path Aggregation Network）和檢測頭四部分組成。CSPDarknet53由YOLOv3［23］的主干網(wǎng)絡(luò)Darknet53和CSP（Cross Stage Partial）結(jié)構(gòu)組成，Darknet53由5個大殘差塊構(gòu)成，每個大殘差塊分別包含1，2，8，8，4個小殘差塊。CSP結(jié)構(gòu)將卷積層輸出的特征分為兩部分，分別執(zhí)行不同運(yùn)算后進(jìn)行融合，能夠?qū)⑻卣鲌D快速降維，在提高檢測速度的同時保證優(yōu)秀的特征提取效果。

2 輕量化標(biāo)識檢測算法

為適應(yīng)無人機(jī)平臺標(biāo)識檢測的高精度和實(shí)時性要求，提出一種基于深度可分離卷積和跳躍連接結(jié)構(gòu)的檢測算法，其整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。所提算法主要借鑒YOLOv4的結(jié)構(gòu)，采用輕量級網(wǎng)絡(luò)MobileNetv2［24］作為主干網(wǎng)絡(luò)，完成圖像特征提取任務(wù)。該網(wǎng)絡(luò)采用深度可分離卷積進(jìn)行特征提取，使得模型的參數(shù)量和計(jì)算量大幅減少。保留了YOLOv4的SPP模塊完成不同尺寸的池化操作，獲取不同的語義信息，然后將池化層的輸出與輸入特征進(jìn)行拼接融合。將SPP模塊前后的部分卷積替換為深度可分離卷積，在基本不影響特征質(zhì)量的前提下，降低模型的參數(shù)量。此外，提出一種基于跳躍連接結(jié)構(gòu)的特征金字塔模塊。該模塊由卷積層、上采樣層、下采樣層和特征融合層組成，將主干網(wǎng)絡(luò)輸出的三種尺寸的特征圖拼接，完成多尺度特征融合。最后在融合輸出的兩幅特征圖上進(jìn)行目標(biāo)檢測，采用深度可分離卷積對檢測頭進(jìn)行優(yōu)化，完成目標(biāo)類別和位置信息的預(yù)測任務(wù)。

2.1 深度可分離卷積

文獻(xiàn)［25］指出，增加卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)能夠提高模型分類的準(zhǔn)確性。標(biāo)準(zhǔn)卷積的計(jì)算過程如圖3所示，采用與輸入數(shù)據(jù)通道數(shù)相同的卷積核在整個特征圖通道上進(jìn)行乘法累加運(yùn)算，得到單通道輸出特征圖。若采用N個卷積核參與運(yùn)算，則得到N通道的輸出特征圖。然而，標(biāo)準(zhǔn)卷積的計(jì)算量和參數(shù)量隨著網(wǎng)絡(luò)深度的增加而成倍增長［26］，這使得深層網(wǎng)絡(luò)在嵌入式平臺的應(yīng)用面臨很大挑戰(zhàn)。

深度可分離卷積通過因式分解的方式， 將標(biāo)準(zhǔn)卷積拆分為深度卷積（Depthwise Convolution）和點(diǎn)卷積（Pointwise Convolution），極大地降低了模型的計(jì)算量和參數(shù)量，其運(yùn)算過程如圖4所示。深度卷積采用深度為1的卷積核與輸入圖像的每個通道進(jìn)行獨(dú)立卷積運(yùn)算，卷積核的數(shù)量與輸入特征圖的通道數(shù)相同。為充分利用空間特征信息，采用數(shù)量與深度卷積的輸入特征圖通道數(shù)相同、尺寸為1×1的卷積核進(jìn)行點(diǎn)卷積，從而得到與標(biāo)準(zhǔn)卷積輸出特征維度相同的特征圖。

2.3 基于跳躍連接結(jié)構(gòu)的特征金字塔

YOLOv4的特征融合網(wǎng)絡(luò)PANet由上采樣、下采樣、多維卷積和Concat特征融合操作組成，多維卷積和Concat操作導(dǎo)致網(wǎng)絡(luò)前向傳播過程中產(chǎn)生較大的計(jì)算量和參數(shù)量。為實(shí)現(xiàn)模型輕量化，提高模型檢測速度，提出一種基于跳躍連接的特征金字塔，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。該模塊采用標(biāo)準(zhǔn)卷積和上采樣完成特征圖的尺度變換，為減少運(yùn)算過程中的計(jì)算量，采用Add拼接操作完成特征融合，使用深度可分離卷積完成下采樣。同時，為盡可能保留圖像的細(xì)節(jié)信息，將經(jīng)過卷積、上采樣、Add拼接、下采樣得到的特征圖與原特征圖進(jìn)行跳躍連接，減少信息丟失。

主干網(wǎng)絡(luò)輸出13×13，26×26和52×52三種尺寸的特征圖，經(jīng)過該特征金字塔結(jié)構(gòu)，得到兩種尺寸的輸出特征圖，傳遞給輕量化的檢測頭，完成目標(biāo)信息的預(yù)測。主要過程為： 首先在三種尺寸的特征圖中進(jìn)行卷積和上采樣運(yùn)算，并進(jìn)行逐像素相加，實(shí)現(xiàn)三種尺度的特征圖融合。為充分保留特征圖的細(xì)節(jié)信息，將特征融合的結(jié)果與主干輸出的原特征圖進(jìn)行跳躍連接，作為該特征金字塔模塊的一個輸出Out1。然后，將Out1進(jìn)行下采樣，并與主干輸出的26×26的原特征圖進(jìn)行跳躍連接，得到特征金字塔的另一個輸出Out2。Out1和Out2均為上一級特征融合結(jié)果與原特征圖跳躍連接得到的結(jié)果，能夠充分保留圖像的細(xì)節(jié)信息。最后，將Out1和Out2傳遞給檢測頭，用于完成目標(biāo)類別和位置信息的預(yù)測。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 數(shù) 據(jù) 集

分別在公開數(shù)據(jù)集Pascal VOC和實(shí)驗(yàn)室自制的降落標(biāo)識數(shù)據(jù)集上進(jìn)行了驗(yàn)證實(shí)驗(yàn)。采用VOC2007和VOC2012的訓(xùn)練集和驗(yàn)證集共同作為模型的數(shù)據(jù)集，按比例劃分為訓(xùn)練集和驗(yàn)證集，使用VOC2007的測試集進(jìn)行模型性能測試。此外，選擇由六邊形和同心圓環(huán)組成的合作目標(biāo)作為降落標(biāo)識，考慮無人機(jī)降落過程中存在抖動、姿態(tài)、角度、位置、高度、亮度等因素影響，采用實(shí)際拍攝加數(shù)據(jù)增強(qiáng)的方式構(gòu)建了包含2 400張圖像的標(biāo)識數(shù)據(jù)集。

3.2 算法模塊可行性分析

為了驗(yàn)證算法模塊的有效性，在相同的實(shí)驗(yàn)條件下，采用Pascal VOC07+12數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)，用于評估不同改進(jìn)方法對模型性能的影響。其中模型Ⅰ采用YOLOv4網(wǎng)絡(luò)； 模型Ⅱ?qū)OLOv4的主干網(wǎng)絡(luò)改為MobileNetv2，特征融合模塊和檢測頭仍采用YOLOv4的結(jié)構(gòu)； 模型Ⅲ將模型Ⅱ的Neck部分的部分標(biāo)準(zhǔn)卷積替換為深度可分離卷積； 模型Ⅳ為本文所提算法，由主干網(wǎng)絡(luò)MobileNetv2、SPP模塊、基于跳躍連接結(jié)構(gòu)的特征金字塔模塊和輕量化的檢測頭構(gòu)成，即在模型Ⅲ的基礎(chǔ)上將特征增強(qiáng)模塊改進(jìn)為本文提出的基于跳躍連接結(jié)構(gòu)的特征金字塔模塊，同時，將檢測頭的個數(shù)減少為2個，每個檢測頭的1個標(biāo)準(zhǔn)卷積替換為深度可分離卷積。實(shí)驗(yàn)結(jié)果如表2所示。

由表2可以看出，采用輕量級主干網(wǎng)絡(luò)后，模型Ⅱ的檢測速度相比于YOLOv4得到有效提高，模型復(fù)雜度顯著降低； 采用深度可分離卷積代替部分標(biāo)準(zhǔn)卷積后，對于Pascal VOC數(shù)據(jù)集，模型Ⅲ基本能保持與模型Ⅱ同等的檢測精度和速度，且計(jì)算量和參數(shù)量大幅下降； 模型Ⅳ相比于模型Ⅲ，在Pascal VOC數(shù)據(jù)集上的檢測精度略微下降，但檢測速度得到明顯提升，說明本文提出的特征金字塔模塊能夠在基本保證模型性能的前提下，有效提高推理速度。相比于YOLOv4，模型Ⅳ在犧牲了少許檢測精度的同時，檢測速度提高了87.5%，模型復(fù)雜度降低了約90%，顯存占用量降低為原來的50%。

模型的輕量化和檢測速度的大幅提高，使得該模型能夠較好地應(yīng)用于計(jì)算能力和存儲能力有限的嵌入式平臺。由于本文所提模型使用了輕量化的主干網(wǎng)絡(luò)和檢測頭，且采用了大量的深度可分離卷積操作，因此不可避免地造成精度略微降低。另外，該實(shí)驗(yàn)結(jié)果針對Pascal VOC數(shù)據(jù)集中的20類目標(biāo)，目標(biāo)之間差異較大，單幅圖像內(nèi)容多變，目標(biāo)數(shù)量和種類豐富，因此目標(biāo)檢測難度較大，對于算法模型提出更高的要求。對于實(shí)際應(yīng)用中特定的目標(biāo)檢測任務(wù)，目標(biāo)種類和數(shù)量有限的場景下，本文所提算法基本能夠滿足需求。

3.3 不同算法對比實(shí)驗(yàn)

為了驗(yàn)證所提算法的綜合性能，將本文算法與當(dāng)前主流目標(biāo)檢測算法進(jìn)行對比實(shí)驗(yàn)。在同一平臺下，采用Pascal VOC07+12數(shù)據(jù)集進(jìn)行模型訓(xùn)練與評估。進(jìn)行對比的主流目標(biāo)檢測算法包括Faster R-CNN［27］，SSD，YOLOv3，YOLOv4。實(shí)驗(yàn)中，采用平均檢測精度、檢測速度、計(jì)算量、參數(shù)量等指標(biāo)評估算法性能。

不同算法的性能指標(biāo)如表3所示。針對無人機(jī)平臺的實(shí)際需求，從模型復(fù)雜度和檢測實(shí)時性的角度綜合來看，本文所提檢測算法性能優(yōu)秀。在Pascal VOC數(shù)據(jù)集上的平均檢測精度略低于YOLOv4，接近于YOLOv3，檢測速度遠(yuǎn)高于Faster R-CNN，實(shí)時性達(dá)到最優(yōu)。在所有的對比實(shí)驗(yàn)中，本文算法的參數(shù)量和計(jì)算量均為最少，且相比于其他算法，實(shí)現(xiàn)了大幅降低。本文所提的檢測算法主要完成降落標(biāo)識檢測任務(wù)，旨在輔助無人機(jī)完成自主降落，因此，在保證檢測精度的前提下，復(fù)雜度低、檢測速度快的算法更具優(yōu)勢。

本文所提算法在降落標(biāo)識數(shù)據(jù)集上的測試結(jié)果如表4所示。可以看出，其檢測精度達(dá)到了96.96%，檢測速度達(dá)到75幀/秒，基本能夠滿足標(biāo)識檢測的精度和實(shí)時性要求。

部分可視化檢測結(jié)果如圖6所示。該算法能夠很好地檢測出不同尺寸、不同角度拍攝的標(biāo)識目標(biāo)，對應(yīng)于實(shí)際應(yīng)用中機(jī)載相機(jī)在不同高度、不同角度采集的場景信息，能夠滿足實(shí)際應(yīng)用需求。

4 結(jié)" 論

針對視覺引導(dǎo)無人機(jī)自主降落對標(biāo)識檢測的高實(shí)時性和高精度要求，考慮嵌入式平臺對模型復(fù)雜度的限制，提出了一種基于深度可分離卷積和跳躍連接結(jié)構(gòu)的輕量級檢測算法。本文算法在公開數(shù)據(jù)集和標(biāo)識數(shù)據(jù)集上表現(xiàn)出優(yōu)秀的檢測效果，檢測速度、檢測精度及模型復(fù)雜度得到有效平衡，基本滿足無人機(jī)自主降落的實(shí)際需求。未來，將檢測算法與圖像去霧、去雨、去模糊等算法相結(jié)合，開發(fā)適用于霧霾和雨雪天氣、快速運(yùn)動等復(fù)雜場景的一體化檢測算法，滿足無人機(jī)在惡劣天氣及復(fù)雜環(huán)境的自主降落需求。

參考文獻(xiàn)：

［1］ 孟祥輝， 劉青峰， 李晨陽， 等. 兩棲作戰(zhàn)無人裝備跨域協(xié)同運(yùn)用研究［J］. 中國電子科學(xué)研究院學(xué)報， 2022， 17（10）： 1032-1036.

Meng Xianghui， Liu Qingfeng， Li Chenyang， et al. Amphibious Operation Unmanned Equipment Cross-Domain Collaboration Application Research［J］. Journal of China Academy of Electronics and Information Technology， 2022， 17（10）： 1032-1036. （in Chinese）

［2］ 張咪， 趙勇， 布樹輝， 等. 基于階層標(biāo)識的無人機(jī)自主精準(zhǔn)降落系統(tǒng)［J］. 航空學(xué)報， 2018， 39（10）： 322150.

Zhang Mi， Zhao Yong， Bu Shuhui， et al. Multi-Level Marker Based Autonomous Landing System for UAVs［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（10）： 322150.（in Chinese）

［3］ 潘思， 谷豐， 狄春雷， 等. 基于多站測距定位的無人直升機(jī)自主降落引導(dǎo)方法研究［J］. 航空兵器， 2020， 27（6）： 36-42.

Pan Si， Gu Feng， Di Chunlei， et al. Research on Autonomous Landing Navigation of Unmanned Rotorcrafts on Moving Ships Based on Multi-Station Ranging and Positioning［J］. Aero Weaponry， 2020， 27（6）： 36-42.（in Chinese）

［4］ 劉飛， 單佳瑤， 熊彬宇， 等. 基于多傳感器融合的無人機(jī)可降落區(qū)域識別方法研究［J］. 航空科學(xué)技術(shù)， 2022， 33（4）： 19-27.

Liu Fei， Shan Jiayao， Xiong Binyu， et al. Research on the Identification Method of UAV Landing Area Based on Multi-Sensor Fusion［J］. Aeronautical Science amp; Technology， 2022， 33（4）： 19-27.（in Chinese）

［5］ 沈林成， 孔維瑋， 牛軼峰. 無人機(jī)自主降落地基/艦基引導(dǎo)方法綜述［J］. 北京航空航天大學(xué)學(xué)報， 2021， 47（2）： 187-196.

Shen Lincheng， Kong Weiwei， Niu Yifeng. Ground and Ship-Based Guidance Approaches for Autonomous Landing of UAV［J］. Journal of Beijing University of Aeronautics and Astronautics， 2021， 47（2）： 187-196.（in Chinese）

［6］ Kong W W， Zhou D L， Zhang D B， et al. Vision-Based Autonomous Landing System for Unmanned Aerial Vehicle： A Survey［C］∥International Conference on Multisensor Fusion and Information Integration for Intelligent Systems （MFI）， 2014： 1-8.

［7］ 趙良玉， 李丹， 趙辰悅， 等. 無人機(jī)自主降落標(biāo)識檢測方法若干研究進(jìn)展［J］. 航空學(xué)報， 2022， 43（9）： 025882.

Zhao Liangyu， Li Dan， Zhao Chenyue， et al. Some Achievements on Detection Methods of UAV Autonomous Landing Markers［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（9）： 025882.（in Chinese）

［8］ Saripalli S， Sukhatme G S. Landing on a Moving Target Using an Autonomous Helicopter［M］∥Springer Tracts in Advanced Robo-tics." Heidelberg： Springer， 2006： 277-286.

［9］ Lange S， Sunderhauf N， Protzel P. A Vision Based Onboard Approach for Landing and Position Control of an Autonomous Multirotor UAV in GPS-Denied Environments［C］∥International Conference on Advanced Robotics， 2009： 117-122.

［10］ Chen X D， Phang S K， Shan M， et al. System Integration of a Vision-Guided UAV for Autonomous Landing on Moving Platform［C］∥12th IEEE International Conference on Control and Automation （ICCA）， 2016： 761-766.

［11］ Xu C， Qiu L K， Liu M， et al. Stereo Vision Based Relative Pose and Motion Estimation for Unmanned Helicopter Landing［C］∥IEEE International Conference on Information Acquisition， 2006： 31-36.

［12］ Bagen W L， Hu J Z， Xu Y M. A Vision-Based Unmanned Helicopter Ship Board Landing System［C］∥2nd International Congress on Image and Signal Processing， 2009： 1-5.

［13］ Yuan H W， Xiao C S， Xiu S P， et al. A Hierarchical Vision-Based UAV Localization for an Open Landing［J］. Electronics， 2018， 7（5）： 68.

［14］ Hinton G E， Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks［J］. Science， 2006， 313（5786）： 504-507.

［15］ Nguyen P H， Arsalan M， Koo J H， et al. LightDenseYOLO： A Fast and Accurate Marker Tracker for Autonomous UAV Landing by Visible Light Camera Sensor on Drone［J］. Sensors， 2018， 18（6）： 1703.

［16］ Truong N Q， Lee Y W， Owais M， et al. SlimDeblurGAN-Based Motion Deblurring and Marker Detection for Autonomous Drone Landing［J］. Sensors， 2020， 20（14）： 3918.

［17］ Li J H， Wang X H， Cui H R， et al. Research on Detection Technology of Autonomous Landing Based on Airborne Vision［J］." Earth and Environmental Science， 2020， 440（4）： 042093.

［18］ Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector［C］∥European Conference on Computer Vision， 2016： 21-37.

［19］ Chen J J， Miao X R， Jiang H， et al. Identification of Autonomous Landing Sign for Unmanned Aerial Vehicle Based on Faster Regions with Convolutional Neural Network［C］∥Chinese Automation Congress （CAC）， 2017： 2109-2114.

［20］ Yu L J， Luo C， Yu X R， et al. Deep Learning for Vision-Based Micro Aerial Vehicle Autonomous Landing［J］. International Journal of Micro Air Vehicles， 2018， 10（2）： 171-185.

［21］ Yang T， Ren Q， Zhang F B， et al. Hybrid Camera Array-Based UAV Auto-Landing on Moving UGV in GPS-Denied Environment［J］. Remote Sensing， 2018， 10（11）： 1829.

［22］ Bochkovskiy A， Wang C Y， Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection［EB/OL］.（2020-04-23）［2023-04-09］. https：∥ arxiv.org/abs/2004.10934.

［23］ Redmon J， Farhadi A. YOLOv3： An Incremental Improvement［EB/OL］. （2018-04-08）［2023-04-09］. https：∥arxiv.org/abs/1804.02767.

［24］ Sandler M， Howard A， Zhu M L， et al. MobileNetV2： Inverted Residuals and Linear Bottlenecks［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 4510-4520.

［25］ Szegedy C， Liu W， Jia Y Q， et al. Going Deeper with Convolutions［C］∥IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015： 1-9.

［26］ Howard A G， Zhu M L， Chen B， et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications［EB/OL］.（2017-04-17）［2023-04-09］. https：∥arxiv.org/abs/1704.04861.

［27］ Ren S Q， He K M， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

Detection Method of Autonomous Landing Marker for UAV

Based on Deep Learning

Li Dan1， Deng Fei2， Zhao Liangyu3， Liu Fuxiang3*

（1. Chinese Aeronautical Establishment， Beijing 100029， China;

2. North China Institute of Science and Technology， Langfang， 065201， China;

3. Beijing Institute of Technology， Beijing 100081， China）

Abstract： Aiming at improving the real-time performance and accuracy of UAV autonomous landing， a landing marker detection method based on deep learning is proposed. Firstly， the lightweight network MobileNetv2 is used as the backbone network for feature extraction. Secondly， drawing on the network structure of YOLOv4， depthwise separable convolution is introduced to reduce the number of parameters without affecting model performance. Then， a feature pyramid module based on skip connection structures is proposed. With this module， the feature maps output from the backbone can be stitched and the detail information and semantic information can be fused to obtain features with stronger characterization capability. Finally， the detection head is optimized by depthwise separable convolution to complete the target detection task. Experiments are conducted on the Pascal VOC dataset and the landing marker dataset. The results show that the improved detection algorithm effectively reduces the computational and parameter complexity of the model， improves the detection speed， and can meet the accuracy requirements of autonomous UAV landing.

Key words： UAV; visual guidance; autonomous landing; marker detection; deep learning