基于深度學(xué)習(xí)的無人機(jī)視覺測量系統(tǒng)的設(shè)計與應(yīng)用

關(guān)鍵詞：深度學(xué)習(xí)；無人機(jī)；視覺測量；定位

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）25-0021-03

0 引言

隨著科技的飛速發(fā)展，無人機(jī)技術(shù)和深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域的應(yīng)用日益廣泛。無人機(jī)作為一種高效、靈活的空中平臺，其搭載的攝像頭和傳感器能夠?qū)崟r獲取大量圖像和視頻數(shù)據(jù)[1]。而以神經(jīng)網(wǎng)絡(luò)算法為典型代表的深度學(xué)習(xí)技術(shù)，能夠?qū)崿F(xiàn)對這些數(shù)據(jù)進(jìn)行高級處理和精確分析，從而在多個領(lǐng)域展現(xiàn)出巨大潛力。在當(dāng)前的無人機(jī)視覺測量領(lǐng)域，傳統(tǒng)的方法主要依賴于人工操作或簡單的圖像處理技術(shù)，這些方法在精度、效率和自動化程度等方面存在較大局限性。而基于深度學(xué)習(xí)的無人機(jī)視覺測量系統(tǒng)，通過結(jié)合無人機(jī)的高機(jī)動性和深度學(xué)習(xí)的強(qiáng)大處理能力，能夠?qū)崿F(xiàn)對目標(biāo)物體的快速、精確測量，并且能夠自動化完成復(fù)雜任務(wù)，具有廣闊的應(yīng)用前景[2]。

在整個無人機(jī)視覺測量系統(tǒng)中，其主要采用深度學(xué)習(xí)的技術(shù)，以此自動提取圖像中的特征和目標(biāo)，實(shí)現(xiàn)對目標(biāo)物體的精確識別和測量。與傳統(tǒng)的測量方法相比，該系統(tǒng)具有更高的精度和穩(wěn)定性，能夠滿足更高精度的測量需求。該系統(tǒng)能夠?qū)崟r獲取圖像和視頻數(shù)據(jù)，并通過深度學(xué)習(xí)算法進(jìn)行快速處理和分析。與傳統(tǒng)的人工操作相比，該系統(tǒng)能夠大大提高測量效率，減少人力成本和時間成本。

1 關(guān)鍵技術(shù)

1.1 深度學(xué)習(xí)

視覺測量中的深度學(xué)習(xí)技術(shù)是一種重要的應(yīng)用，采用計算機(jī)視覺的處理思路，以此來實(shí)現(xiàn)高精度的測量和識別任務(wù)。對于被測物體，通過圖像聚焦處理、圖像確定、照明與輸出處理等步驟能夠?qū)D像的內(nèi)在特征進(jìn)行計算機(jī)語言的處理。整個圖像的分類主要采用深度學(xué)習(xí)的算法進(jìn)行處理，比如將圖像識別為動物、車輛、食物等類別[3]。

深度學(xué)習(xí)算法的原理與步驟是：卷積神經(jīng)網(wǎng)絡(luò)是視覺測量中廣泛應(yīng)用的一種深度學(xué)習(xí)模型。CNN通過模擬人類視覺系統(tǒng)的處理方式，能夠自動并有效地從圖像中提取空間層級特征，在處理圖像數(shù)據(jù)時，CNN通過多個卷積層逐漸從像素級的特征（如邊緣和角點(diǎn)）學(xué)習(xí)到更高級的語義特征（如形狀和紋理），這一過程不僅減少了手動特征設(shè)計的需求，而且提高了特征的泛化能力?；诤蜻x區(qū)域的目標(biāo)檢測算法主要分為兩個步驟：候選區(qū)域的生成和目標(biāo)的分類及定位。這類算法首先在圖像中生成可能包含目標(biāo)的候選框，隨后利用卷積網(wǎng)絡(luò)對這些候選區(qū)域進(jìn)行特征提取和分類。這種方法雖然在精度上有較好的表現(xiàn)，但計算量較大，速度相對較慢。而基于回歸的單步算法則通過直接預(yù)測目標(biāo)的類別和邊界框，實(shí)現(xiàn)了更快的檢測速度。這類算法通過簡化檢測流程，減少了計算復(fù)雜度，適用于需要快速檢測的應(yīng)用場景。

深度學(xué)習(xí)模型可以估計圖像中物體或人體的姿態(tài)和動作。在視覺測量中，姿態(tài)估計可以用于識別物體的姿態(tài)和位置關(guān)系，從而實(shí)現(xiàn)對物體姿態(tài)的精確測量。系統(tǒng)標(biāo)定主要任務(wù)有兩個方面：第一方面是需要對攝像機(jī)的外部參數(shù)與內(nèi)部參數(shù)進(jìn)行整合處理，第二部分是將圖像二維坐標(biāo)與空間三維坐標(biāo)系進(jìn)行轉(zhuǎn)化。視覺測量中的深度學(xué)習(xí)技術(shù)通過結(jié)合計算機(jī)視覺和深度學(xué)習(xí)的原理，實(shí)現(xiàn)了高精度的測量和識別任務(wù)。這些技術(shù)不僅可以提高測量的準(zhǔn)確性和效率，還可以應(yīng)用于各種領(lǐng)域，如自動駕駛、醫(yī)學(xué)圖像處理、工業(yè)檢測等[4]。

1.2 SORT算法

人機(jī)視覺測量系統(tǒng)的目標(biāo)檢測與跟蹤算法在無人機(jī)應(yīng)用中起著至關(guān)重要的作用。目標(biāo)跟蹤與檢測主要采用了深度學(xué)習(xí)方面的技術(shù)進(jìn)行實(shí)現(xiàn)，使得無人機(jī)能夠準(zhǔn)確、快速地檢測和跟蹤目標(biāo)。

SORT（Simple Online and Realtime Tracking） 目標(biāo)跟蹤算法是一種簡單、在線和實(shí)時的多目標(biāo)跟蹤方法[5]。SORT 算法是基于“tracking-by-detection”框架的在線多目標(biāo)跟蹤算法，它通過目標(biāo)檢測算法獲取每幀圖像中的目標(biāo)位置信息，然后利用這些信息實(shí)現(xiàn)目標(biāo)的跟蹤。SORT算法的核心思想是將多目標(biāo)跟蹤問題轉(zhuǎn)化為一個簡單的數(shù)據(jù)關(guān)聯(lián)問題。整個算法的組成具體如圖1所示。

從圖1可以看出，SORT算法包括：目標(biāo)檢測，使用目標(biāo)檢測算法（如Faster RCNN、YOLO等）來獲取當(dāng)前幀中的目標(biāo)位置信息，這些信息通常用一個矩形框來表示。卡爾曼濾波，利用卡爾曼濾波器來預(yù)測目標(biāo)在下一幀中的位置，這有助于在目標(biāo)被遮擋或暫時消失后重新找回目標(biāo)；匈牙利算法，用于解決目標(biāo)之間的匹配問題，即在當(dāng)前幀中找到與之前幀中目標(biāo)相對應(yīng)的目標(biāo)。

SORT算法的原理相對簡單，易于理解和實(shí)現(xiàn)。該算法只能利用當(dāng)前和之前幀的檢測結(jié)果進(jìn)行目標(biāo)跟蹤，不能利用未來幀的信息，這符合在線跟蹤的要求。由于算法的高效性，SORT能夠?qū)崿F(xiàn)實(shí)時目標(biāo)跟蹤，適用于需要快速響應(yīng)的應(yīng)用場景。

SORT算法的工作流程可以分為四個主要階段，依次為：檢測階段，此階段的主要任務(wù)是通過目標(biāo)檢測器獲取目標(biāo)框。這些目標(biāo)框是由目標(biāo)檢測算法生成的，可能采用Faster RCNN、YOLO等不同的檢測算法；運(yùn)動估計階段，在這一階段，卡爾曼濾波器被用來預(yù)測當(dāng)前幀的Tracks，這一過程是根據(jù)每個被跟蹤物體的狀態(tài)來預(yù)測它們在下一幀中的位置與速度等信息；數(shù)據(jù)關(guān)聯(lián)階段，此階段核心任務(wù)是將檢測模塊輸出的Detections和預(yù)測的Tracks進(jìn)行匹配；目標(biāo)管理階段，管理階段包括被跟蹤物體的創(chuàng)建與銷毀，當(dāng)新的檢測產(chǎn)生時，會為其創(chuàng)建新的軌道，而在連續(xù)多次未能匹配已存在軌道時，會銷毀相應(yīng)目標(biāo)。這個機(jī)制保證了算法能夠靈活處理新目標(biāo)的出現(xiàn)和舊目標(biāo)的消失，使跟蹤過程適應(yīng)場景的變化。

2 系統(tǒng)分析與設(shè)計

2.1 系統(tǒng)業(yè)務(wù)分析

無人機(jī)視覺測量系統(tǒng)的業(yè)務(wù)流程分為前期準(zhǔn)備、飛行作業(yè)、數(shù)據(jù)處理與結(jié)果輸出等幾個階段，具體業(yè)務(wù)流程如下：

前期準(zhǔn)備階段中根據(jù)測繪任務(wù)的具體要求，以此來確定整個測量范圍、數(shù)據(jù)類型與精度要求，根據(jù)任務(wù)需求，選擇適合的無人機(jī)型號和視覺測量設(shè)備，如相機(jī)、激光雷達(dá)等。飛行作業(yè)階段中按照飛行計劃進(jìn)行無人機(jī)飛行，同時開啟視覺測量設(shè)備進(jìn)行數(shù)據(jù)采集，地面站能夠?qū)崟r獲取這些采集的數(shù)據(jù)信息，并進(jìn)行實(shí)時監(jiān)控，確保數(shù)據(jù)的完整性和準(zhǔn)確性。數(shù)據(jù)采集之后進(jìn)入數(shù)據(jù)處理階段，整個處理過程分為預(yù)處理、特征提取操作與幾何分析處理過程。預(yù)處理的過程主要有圖像增強(qiáng)操作、畸變校正處理等過程；特征提取主要是對邊界與目標(biāo)進(jìn)行處理，提取的特征有線、點(diǎn)與其他方面的特征；幾何處理過程主要目標(biāo)是確定測試目標(biāo)的姿態(tài)及三維坐標(biāo)。對三維重建得到的數(shù)據(jù)進(jìn)行進(jìn)一步的處理和分析，如濾波、平滑、分類等，以滿足具體的應(yīng)用需求。結(jié)果輸出階段中將處理后的數(shù)據(jù)以適當(dāng)?shù)男问竭M(jìn)行輸出，如點(diǎn)云數(shù)據(jù)、三維模型、圖像等，結(jié)合具體的處理需要，將輸出的結(jié)果應(yīng)用于具體的領(lǐng)域，如城市規(guī)劃、建筑設(shè)計、環(huán)境監(jiān)測等。

2.2 系統(tǒng)總體設(shè)計

對于無人機(jī)視覺測量系統(tǒng)而言，其總體是對深度學(xué)習(xí)、無人機(jī)與視覺技術(shù)等多種技術(shù)集成的綜合系統(tǒng)。該系統(tǒng)通過無人機(jī)搭載的視覺傳感器（如高清相機(jī)、激光雷達(dá)等）獲取目標(biāo)區(qū)域的圖像或點(diǎn)云數(shù)據(jù)，然后利用深度學(xué)習(xí)算法對圖像或點(diǎn)云數(shù)據(jù)進(jìn)行處理和分析，從而實(shí)現(xiàn)對目標(biāo)區(qū)域的精確測量和識別。

整個系統(tǒng)分為無人機(jī)平臺、視覺傳感器、數(shù)據(jù)傳輸系統(tǒng)與深度學(xué)習(xí)處理模塊，詳細(xì)內(nèi)容是：無人機(jī)平臺：選擇適合任務(wù)需求的無人機(jī)平臺，如固定翼、旋翼或混合動力無人機(jī)等。

無人機(jī)平臺應(yīng)具備良好的飛行穩(wěn)定性、續(xù)航能力和載荷能力。視覺傳感器：在整個測量系統(tǒng)之中，根據(jù)具體業(yè)務(wù)的不同來確定對應(yīng)的激光雷達(dá)、紅外相機(jī)等視覺傳感器，視覺傳感器應(yīng)具備高分辨率、高幀率、低噪聲等特性，以確保獲取高質(zhì)量的圖像或點(diǎn)云數(shù)據(jù)。數(shù)據(jù)傳輸系統(tǒng)：負(fù)責(zé)將無人機(jī)采集的圖像或點(diǎn)云數(shù)據(jù)實(shí)時傳輸?shù)降孛嬲净蛟贫朔?wù)器進(jìn)行處理。數(shù)據(jù)傳輸系統(tǒng)應(yīng)具備高速、穩(wěn)定、可靠的特性，以確保數(shù)據(jù)的實(shí)時性和準(zhǔn)確性。深度學(xué)習(xí)處理模塊：利用深度學(xué)習(xí)算法對圖像或點(diǎn)云數(shù)據(jù)進(jìn)行處理和分析，實(shí)現(xiàn)對目標(biāo)區(qū)域的精確測量和識別。深度學(xué)習(xí)處理模塊應(yīng)具備高效、準(zhǔn)確、可擴(kuò)展的特性，以適應(yīng)不同任務(wù)需求。

2.3 系統(tǒng)業(yè)務(wù)功能設(shè)計

在無人機(jī)視覺測量系統(tǒng)中，深度學(xué)習(xí)算法的功能設(shè)計是關(guān)鍵，它負(fù)責(zé)處理無人機(jī)捕獲的視覺數(shù)據(jù)，以提供準(zhǔn)確測量和分析結(jié)果。整個功能設(shè)計處理過程如下：

1） 目標(biāo)檢測與跟蹤。此業(yè)務(wù)功能主要采用YOLO 模型算法來完成目標(biāo)的檢測與分析，以此來自動識別和定位圖像中的目標(biāo)物體。通過對大量標(biāo)注過的圖像數(shù)據(jù)進(jìn)行訓(xùn)練，完成目標(biāo)物體特征的學(xué)習(xí)與確定，并在新的圖像中準(zhǔn)確檢測出目標(biāo)。對這個檢測目標(biāo)進(jìn)行檢測確認(rèn)之后采用SORT算法進(jìn)行確定，以在連續(xù)的圖像幀中跟蹤目標(biāo)物體的位置和運(yùn)動軌跡。

2） 三維重建。利用無人機(jī)捕獲的多視角圖像或點(diǎn)云數(shù)據(jù)，整個三維重建算法的實(shí)現(xiàn)主要通過基于深度學(xué)習(xí)的方式來進(jìn)行，如使用體素網(wǎng)格（Voxel Grid） 或點(diǎn)云網(wǎng)絡(luò)（PointNet） 等模型，來構(gòu)建目標(biāo)物體或場景的三維模型。通過訓(xùn)練模型學(xué)習(xí)如何從二維圖像或點(diǎn)云數(shù)據(jù)中恢復(fù)三維結(jié)構(gòu)，實(shí)現(xiàn)對目標(biāo)物體或場景的精確測量。

3） 特征提取與異常檢測。設(shè)計特征提取算法，用于從無人機(jī)捕獲的圖像或點(diǎn)云數(shù)據(jù)中提取關(guān)鍵特征，如邊緣、角點(diǎn)、紋理等，這些特征可以用于后續(xù)的測量、分類和識別任務(wù)。整個異常檢測的過程采用深度學(xué)習(xí)算法進(jìn)行，用于檢測無人機(jī)捕獲的圖像或點(diǎn)云數(shù)據(jù)中的異?；虍惓Ｗ兓?，有助于及時發(fā)現(xiàn)并處理潛在的安全問題或故障。點(diǎn)云數(shù)據(jù)中提取關(guān)鍵特征的主要步驟如圖2所示。

圖2主要分為：1） 數(shù)據(jù)預(yù)處理。無人機(jī)通過搭載的激光雷達(dá)設(shè)備捕獲目標(biāo)區(qū)域的點(diǎn)云數(shù)據(jù)；預(yù)處理，去除噪聲和離群點(diǎn)，例如使用統(tǒng)計濾波或體素濾波等方法，如果點(diǎn)云數(shù)據(jù)來源多個幀或掃描，可能需要進(jìn)行配準(zhǔn)（對齊）以形成統(tǒng)一的點(diǎn)云模型。2） 特征提取。主要使用深度學(xué)習(xí)模型從點(diǎn)云中提取高級特征，這些特征通常對復(fù)雜的形狀和結(jié)構(gòu)具有更好的描述能力。3） 特征分析與優(yōu)化。使用可視化工具將提取的特征進(jìn)行可視化，以便于分析和理解；根據(jù)應(yīng)用場景的需求，選擇最相關(guān)的特征子集。4） 結(jié)果輸出與應(yīng)用。將提取的關(guān)鍵特征以文件或數(shù)據(jù)庫的形式保存，以便后續(xù)使用。

3 系統(tǒng)應(yīng)用效果分析

基于深度學(xué)習(xí)的無人機(jī)測量系統(tǒng)應(yīng)用效果分析可以從多個方面展開，具體內(nèi)容包括：

1） 提升準(zhǔn)確性。深度學(xué)習(xí)算法能夠自動從大量數(shù)據(jù)中學(xué)習(xí)并提取出關(guān)鍵特征，這對于無人機(jī)測量系統(tǒng)來說至關(guān)重要。通過深度學(xué)習(xí)，無人機(jī)可以更準(zhǔn)確地識別地面目標(biāo)、測量距離和高度等參數(shù)。相比傳統(tǒng)的基于規(guī)則或手動設(shè)計特征的方法，深度學(xué)習(xí)能夠處理更復(fù)雜、更多樣的場景，提高測量的準(zhǔn)確性和魯棒性。

2） 增強(qiáng)實(shí)時性。深度學(xué)習(xí)算法通常具有高效的計算性能，能夠?qū)崟r處理無人機(jī)采集的數(shù)據(jù)，這使得無人機(jī)測量系統(tǒng)能夠?qū)崟r反饋測量結(jié)果，為決策提供及時的支持。

3） 增強(qiáng)適應(yīng)性。深度學(xué)習(xí)算法具有很強(qiáng)的適應(yīng)性，能夠處理不同類型和規(guī)模的數(shù)據(jù)集，如城市、山區(qū)、水域等。在復(fù)雜多變的環(huán)境中，基于深度學(xué)習(xí)的無人機(jī)測量系統(tǒng)能夠自動調(diào)整參數(shù)和策略，以應(yīng)對各種挑戰(zhàn)。

4） 提升智能化。通過深度學(xué)習(xí)，無人機(jī)測量系統(tǒng)可以實(shí)現(xiàn)更高級別的智能化。智能化不僅提高了測量的效率和準(zhǔn)確性，還降低了操作人員的工作負(fù)擔(dān)和技能要求。

基于深度學(xué)習(xí)的無人機(jī)測量系統(tǒng)應(yīng)用效果顯著，可以提高測量的準(zhǔn)確性、實(shí)時性、適應(yīng)性和智能化水平，為相關(guān)行業(yè)帶來更高的價值和效益。然而，需要注意的是，深度學(xué)習(xí)算法的訓(xùn)練和優(yōu)化需要大量的數(shù)據(jù)和計算資源，因此在實(shí)際應(yīng)用中需要綜合考慮成本和效益等因素。

4 結(jié)束語

本研究深入探討了深度學(xué)習(xí)在無人機(jī)測量系統(tǒng)中的應(yīng)用，通過構(gòu)建和優(yōu)化深度學(xué)習(xí)模型，成功提升了無人機(jī)測量的準(zhǔn)確性、實(shí)時性和智能化水平。這些成果不僅體現(xiàn)了深度學(xué)習(xí)技術(shù)的強(qiáng)大潛力，同時給無人機(jī)在測量領(lǐng)域的發(fā)展與應(yīng)用奠定了新的基礎(chǔ)。