基于擺掃成像的無人機視覺偵察航跡規(guī)劃方法

李文廣，李建增，胡永江，李永科，褚麗娜

（陸軍工程大學 無人機工程系，石家莊 050003）

視頻偵察是指通過無人機平臺搭載的可見光攝像機、紅外前視儀等視頻載荷，進而獲取任務區(qū)域內(nèi)情報數(shù)據(jù)的一種偵察方式[1]。通過后端對視頻數(shù)據(jù)進行拼接[2]、目標識別[3]、目標定位[4]等處理，可為戰(zhàn)場態(tài)勢分析提供有力的情報支持。但現(xiàn)階段針對視頻偵察任務的航跡規(guī)劃算法沒有考慮視頻載荷的擺掃規(guī)律及成像特點，導致偵察時存在覆蓋盲區(qū)和效率低的問題。因此研究基于擺掃成像的無人機視覺偵察航跡規(guī)劃方法具有重要的現(xiàn)實意義。

XU 等[5]先利用單元分解法對已知區(qū)域進行分割，然后將區(qū)域覆蓋問題轉(zhuǎn)化為旅行商問題，以遍歷所有分解單元。該方法能夠解決任務區(qū)域內(nèi)含障礙物的覆蓋航跡規(guī)劃問題，但單元分解法對于區(qū)域的分割處理會使得算法的未覆蓋率實際值偏高，降低偵察效率。SCOTT 等[6]提出遮擋感知航程點生成算法，找到區(qū)域內(nèi)最佳成像點，然后將成像點分配問題轉(zhuǎn)化為車輛路徑規(guī)劃問題，實現(xiàn)區(qū)域覆蓋航跡規(guī)劃。但該方法只考慮了載荷成像的分辨率要求，沒有考慮整個任務的覆蓋要求。AVELLAR 等[7]以單機的最小覆蓋時間為依據(jù)對區(qū)域進行劃分，然后利用混合整數(shù)線性規(guī)劃問題解決多機覆蓋問題。該方法能夠使得偵察覆蓋時間最短，但沒有結(jié)合具體任務背景及覆蓋率的要求。徐博等[8]以飛行距離和多余覆蓋率為指標，研究了不同飛行方向下，如何規(guī)劃無人機的最優(yōu)作業(yè)航線，但沒有考慮具體任務方式下的成像模型及成像規(guī)律，忽略了載荷成像規(guī)律對于覆蓋策略的影響。

上述算法針對區(qū)域視頻覆蓋偵察問題進行了創(chuàng)新與改進，但仍存在以下問題：1）未結(jié)合具體的任務要求及載荷工作模式；2）忽略了載荷擺掃規(guī)律對覆蓋策略的影響；3）算法的未覆蓋率有待優(yōu)化。針對以上問題，本文提出了基于擺掃成像的無人機視覺偵察航跡規(guī)劃方法，并進行了理論證明和實驗驗證。

1 視頻擺掃成像模型

對于無人機執(zhí)行視頻偵察任務，應結(jié)合視頻載荷的擺掃成像模式，來制定相應的航跡覆蓋策略。建立視頻載荷的擺掃成像模型，研究視頻載荷的擺掃周期性成像規(guī)律，可為制定航跡覆蓋策略提供有效依據(jù)。

視頻擺掃成像是指視頻載荷在垂直于飛行方向上以一定角速度做周期性擺動，完成地面?zhèn)刹斐上竦倪^程[9]。視頻擺掃成像過程如圖1所示。

圖1 視頻擺掃成像過程 Fig.1 Video sweep imaging process

1.1 成像面積計算

由于視頻載荷的復合運動比較復雜，為簡化計算，所以可做出如下合理假設：

1）定義載荷垂直對地的方向為0，向機身左側(cè)擺動的角度為正，右側(cè)為負，擺動的起始位置為θ= 0；

2）機身左右側(cè)擺動的最大角度相同，且擺動角度的取值滿足 -9 0° ＜θ＜ 90°。

計算單位周期擺掃面積方法如下：

步驟1以(0,0,0)點為坐標原點，無人機航向為x軸，機翼右側(cè)為y軸建立輔助坐標系，并求得θ=0時視頻幀的5 個點坐標值。當θ= 0時，視頻載荷垂直對地，其視頻幀成像如圖2所示。

圖2 視頻幀成像 (θ = 0) Fig.2 Video frame imaging (θ = 0)

由光學成像知識可得，視頻幀5 點坐標分別為：

其中，h為無人機飛行高度，α為航向視場角的一半，β為縱向視場角的一半。

將這5 個點經(jīng)坐標變換，轉(zhuǎn)到載荷坐標系下（載荷坐標系的原點是無人機平臺上載荷安裝位置，坐標軸方向同輔助坐標系）。坐標變換式為：

其中，(a,b,c)為載荷安裝位置坐標；a是以坐標(a,b,c)第一分量a所構(gòu)成的1 × 5矩陣；同理，b、c也是以對應坐標值所構(gòu)成的1 × 5矩陣。

步驟2載荷擺動任意角度，對應視頻幀的5 個點坐標是以B中5 個點坐標進行坐標變換得到的(繞x軸旋轉(zhuǎn))。假設載荷擺動角度為θ（θ的正負遵循右手定則），則對應的5 個點坐標為：

步驟3將載荷坐標系下的點經(jīng)坐標變換，轉(zhuǎn)到飛機坐標系下（飛機坐標系原點是無人機位置，坐標軸方向同載荷坐標系）。坐標變換式為：

其中，d、e、f的值取決于無人機位置和載荷安裝位置之間的位移差；d是以d所構(gòu)成的1 × 5矩陣，同理e、f是以對應坐標值構(gòu)成的1 × 5矩陣。

步驟4已知航向角σ，將飛機坐標系進行旋轉(zhuǎn)操作，使得飛機坐標系轉(zhuǎn)到真實航向位置。

設無人機位于On，北極點位于N，地心為Oe，那么

聯(lián)立式(4)～(6)，可解得τ。那么將飛機坐標系繞z軸旋轉(zhuǎn)τ-σ(° ) ，可轉(zhuǎn)至真實航向位置。對應視頻幀點坐標變換如式(7)所示：

若考慮無人機的橫滾角η、俯仰角φ、偏航角δ對于成像的影響，則視頻幀的點坐標變換如式(8)所示。

步驟5求視頻幀在地面上的真實點坐標。

由無人機位置坐標及F中的5 個點坐標，可求得5 條直線方程l1、l2、l3、l4、l5。然后求解5 條直線和橢球面的交點，即為視頻幀在地面上的真實坐標（地球近似為橢球面）。橢球面方程如式(9)所示：

其中，Re為地球長半軸長，Rp為地球短半軸長（2008年7月1日起，我國啟用2000 國家大地坐標系，則Re的長度為6 378 137 m，Rp的長度為6 356 752.314 14 m）。

步驟6周期擺動下成像面積的計算。

設擺掃角度范圍為 -ω1～ω1，擺掃角速度為ω，幀率為n，一個擺掃周期時間為T，無人機的飛行速度為v。

1）第一個0.25T

載荷擺掃時間：t1=ω1ω；視頻總幀數(shù)：n1=ω1nω；相鄰幀時間間隔：T1= 1n；相鄰幀的航向位移：

設F1為第一幀的點集，F(xiàn)N′如式(11)所示：

其中，F(xiàn)N為每幀點集，F(xiàn)N′為考慮航向位移后的點集。

2）第二個0.25T

第二個0.25T與第一個0.25T對應角度下的多邊形是相等的，兩者之間存在位移關(guān)系。假設第一個0.25T的最后一幀是第二個0.25T的第一幀，則Fk如式(12)所示：

3）最后，可利用幾何Merge 算法求得周期內(nèi)所有視頻幀圍成的不規(guī)則多邊形面積。

步驟7對不規(guī)則多邊形進行近似處理。根據(jù)視頻幀的位置關(guān)系，求得內(nèi)接矩形的長、寬。

1.2 命題及證明

隨著視頻載荷的擺掃運動，若視頻幀之間不存在重疊，則會導致最后圍成的不規(guī)則多邊形成像范圍內(nèi)存在非連通區(qū)域，導致偵察盲區(qū)及未覆蓋率高的問題。所以要對擺掃成像范圍內(nèi)是否存在非連通區(qū)域的條件進行討論。

命題：設無人機的飛行速度為v，一個擺掃周期時間為T，幀率為n。只有當vT＞ 4htanα時，視頻擺掃覆蓋區(qū)域不連通，存在成像盲區(qū)。

證明：一般情況下，視頻載荷幀率在25～30 幀/s，或者更高可達60 幀/s。所以相鄰視頻幀之間的時間間隔很小，相鄰幀之間的成像范圍不存在盲區(qū)。故只需考慮第一幀和第0.5Tn幀之間是否存在盲區(qū)即可（第一幀是θ=0 時的視頻幀）。

當兩幀重疊率為0 且無盲區(qū)時，有式(13)所示關(guān)系：

所以，當vT＞ 4htanα時，兩幀之間存在盲區(qū)，即視頻擺掃覆蓋區(qū)域不連通。證畢。

注：1）由于相鄰幀之間的時間間隔很小，近似認為相鄰兩幀在航向上存在水平位移。2）步驟4 進行坐標旋轉(zhuǎn)是為了確定無人機的初始姿態(tài)，以便下一步考慮無人機橫滾、俯仰、偏航姿態(tài)對于成像的影響，且要嚴格按照式(8)的坐標旋轉(zhuǎn)變換的順序計算。3）命題成立的前提條件是第一幀和第0.5Tn幀重疊率為0且不存在盲區(qū)。實際從視頻拼接的角度，兩幀之間應該要滿足一定的重疊率，才能滿足后端視頻拼接的要求。4）只要第一幀和第0.5Tn幀不存在盲區(qū)，那么任意擺掃周期成像范圍內(nèi)都不會有盲區(qū)。

2 基于視覺成像的區(qū)域分割

覆蓋航跡規(guī)劃（Coverage Path Planning,CPP）是指在滿足某種性能指標最優(yōu)的前提下，規(guī)劃出一條能夠遍歷覆蓋區(qū)域的最優(yōu)飛行航跡[10]。常見的覆蓋航跡規(guī)劃方法有柵格法[11-13]和掃描線法[14-16]。而基于視覺偵察的區(qū)域分割首先利用掃描線法規(guī)劃得到航帶參數(shù)，然后用各航帶實際成像范圍對覆蓋區(qū)域進行分割。但是由于視頻擺掃的成像特點，有以下三種情況：

Case 1:當2htanα＜vT＜ 4htanα時，航帶實際成像范圍長度要小于航帶長度，且航帶長度和成像范圍長度的差值為： ΔL= 2(0.5vT-htanα)。

證明：由命題可知，為了保證視頻擺掃覆蓋區(qū)域不存在成像盲區(qū)，必須要滿足vT＜ 4htanα，即證不等式右邊。

根據(jù)各視頻幀的位置關(guān)系，對不規(guī)則多邊形成像范圍取內(nèi)接矩形時，矩形的長與左右擺動最大角度時的視頻幀位置有關(guān)。矩形的寬所對應的兩條邊分別由第一幀和第0.5nT幀的位置關(guān)系及第n(t- 0.5T)幀和第nt幀的位置關(guān)系確定。

圖3 成像范圍小于路徑代價 Fig.3 Imaging range is less than path cost

當vT＞ 2htanα，矩形的寬對應視頻幀的位置關(guān)系如圖3所示。航帶長度和成像范圍長度的差值L如式(14)所示：

由圖3可知，實際成像范圍在O1O n之間。證畢。

Case 2:當vT= 2htanα時，航帶實際成像范圍長度要等于航帶長度，且航帶長度和成像范圍長度的差值為： ΔL=0。由Case 1 同理可證。此時，矩形的寬對應的視頻幀位置關(guān)系如圖4所示。

Case 3:當vT＜ 2htanα時，航帶實際成像范圍長度要大于航帶長度，且航帶長度和成像范圍長度的差值為： ΔL=-2 (htanα- 0.5vT)。

由Case 1 同理可證。此時，矩形的寬對應的視頻幀位置關(guān)系如圖5所示。

圖4 成像范圍等于路徑代價 Fig.4 Imaging range equals path cost

圖5 成像范圍大于路徑代價 Fig.5 Imaging range is greater than path cost

注：1）考慮整數(shù)周期的視頻擺掃范圍，且近似取內(nèi)接矩形，可以簡化區(qū)域分割的分類情況；2）航帶成像范圍的寬就是內(nèi)接矩形的寬，但不等于航帶間距。

3 航跡規(guī)劃步驟

在給定偵察區(qū)域的前提下，無人機以視頻偵察的任務模式，完成區(qū)域的全覆蓋偵察。但在執(zhí)行任務前，需預先規(guī)劃相應的偵察航跡，使得無人機能沿著設定航跡自主完成偵察任務。

針對無人機視頻偵察任務模式，首先考慮視頻載荷的運動特點，根據(jù)其運動特性分析成像規(guī)律，確定周期性成像范圍，可為后續(xù)制定覆蓋策略提供依據(jù)。然后結(jié)合掃描線法確定航帶數(shù)量，最后用每條航帶的實際成像范圍對任務區(qū)域進行分割，降低算法的未覆蓋率，以保證所有航帶的偵察范圍能覆蓋任務區(qū)域。

航跡規(guī)劃具體步驟如下所示：

步驟1輸入算法參數(shù)。輸入飛機平臺參數(shù)、載荷 參數(shù)及任務參數(shù)，作為后續(xù)計算的輸入。

步驟2視頻擺掃成像。利用視頻擺掃成像法得到 周期成像范圍內(nèi)接矩形的長、寬等參數(shù)。

步驟3偵察區(qū)域分割。依據(jù)Case 1～3 三種情況， 判斷航帶實際成像范圍長度與航帶路徑代價的關(guān)系。然后用每條航帶的實際成像范圍分割偵察區(qū)域。

步驟4最優(yōu)偵察航向。結(jié)合算法指標約束，給出 區(qū)域覆蓋的最優(yōu)偵察航向，保證未覆蓋率及路徑代價等指標最優(yōu)或次優(yōu)。

步驟5輸出偵察航跡。求解得到航向及航帶參數(shù) 后，可輸出一系列的航程點作為視頻偵察的任務航跡。

4 實 驗

4.1 實驗平臺

1）工作站型號：Thinkstation D30；CPU：Intel Xeon E5-2620（雙處理器），64G 內(nèi)存，64 位Win7 系統(tǒng)；編程工具：Matlab 2017b（64 位）。

2）偵察載荷綜合測試及仿真平臺（實驗室自研）。

平臺界面如圖6所示。

圖6 偵察載荷綜合測試及仿真平臺 Fig.6 Comprehensive test and simulation platform for reconnaissance load

4.2 實驗內(nèi)容及相關(guān)參數(shù)設置

在目標區(qū)域內(nèi)規(guī)劃視頻覆蓋偵察航跡，實現(xiàn)對區(qū)域的全覆蓋偵察，同時滿足未覆蓋率及路徑代價等指標要求。待偵察覆蓋多邊形區(qū)域如圖7所示。

算法仿真參數(shù)如表1所示。

圖7 待偵察覆蓋區(qū)域 Fig.7 Reconnaissance coverage area

表1 仿真參數(shù)設置 Tab.1 Simulation parameter settings

4.3 評價準則

為評估算法的運行效率，以未覆蓋率、路徑代價和多余覆蓋率作為偵察航跡的評價指標。

指標1：未覆蓋率。未覆蓋率是指任務區(qū)域中未覆蓋區(qū)域的面積和占整個任務區(qū)域面積的百分比。定義式如下：

其中，Se為未覆蓋區(qū)域的面積和，S為任務區(qū)域面積。

指標2：路徑代價。路徑代價是指由算法規(guī)劃得到航跡的路程大小。定義式如下：

其中，L1為航帶部分的路徑代價和，L2為航帶間邊界部分的路徑代價和。

指標3：多余覆蓋率。多余覆蓋率是指在任務區(qū)域外成像范圍面積占任務區(qū)域面積的百分比。定義式如下：

其中，Sa為成像范圍總面積。

4.4 仿真結(jié)果分析

實驗一：擺掃成像規(guī)律實驗

利用表1參數(shù)及實驗平臺，對一個周期視頻擺掃的成像面積進行了實驗，結(jié)果如圖8所示。

將實驗結(jié)果分析如下：

1）圖8(a)是在偵察載荷綜合測試及仿真平臺上得到的實驗結(jié)果，能夠得到所有視頻幀的點坐標及最終不規(guī)則多邊形區(qū)域的點集和面積。

2）圖8(b)紅色部分是一個周期內(nèi)所有視頻幀的集合，藍色是視頻幀圍成不規(guī)則多邊形的邊界范圍。由此可知，一個周期的視頻擺掃范圍內(nèi)不存在不連通區(qū)域，即無覆蓋盲區(qū)，且相鄰視頻幀之間重疊率很高。

3）圖8(c)紅色部分是在不規(guī)則成像范圍取的內(nèi)接矩形。顯然，內(nèi)接矩形的長與左右擺掃的最大角度有關(guān)。

4）只要一個周期成像范圍不存在盲區(qū)，那么整數(shù)周期的成像范圍也是不存在盲區(qū)的。同樣，相鄰周期的成像范圍間重疊率也很高。

5）內(nèi)接矩形的長、寬參數(shù)，如表2所示?？捎糜谙乱徊接嬎阆嚓P(guān)航帶參數(shù)。

圖8 視頻擺掃實驗 Fig.8 Video sweep experiment

表2 內(nèi)接矩形參數(shù) Tab.2 Inscribed rectangle parameter

實驗二：視頻偵察航跡規(guī)劃實驗將航向角σ從0 開始，每隔1°取值并進行實驗。同時記錄每次實驗對應的算法指標數(shù)據(jù)，實驗結(jié)果如圖9所示。

將實驗結(jié)果分析如下：

1）定義航向角σ為飛行方向與y軸的夾角，取值范圍為0 ≤σ≤ π（在π ＜σ≤ 2π時航跡方向，與σ- π時的航跡方向相反）。

2）圖9(a)～(d)中，紅色實線表示偵察航跡；紅色虛線框圍成的矩形表示每條航帶的實際成像范圍。由 于視頻擺掃成像的規(guī)律，導致航帶的實際成像長度與航帶的路徑代價不一定是相等的。

圖9 視頻擺掃航跡規(guī)劃實驗 Fig.9 Video sweeping path planning experiment

3）用每條航帶的實際成像范圍分割偵察區(qū)域，會在航帶兩側(cè)產(chǎn)生一定的未覆蓋區(qū)域或多余覆蓋區(qū)域。

4）將算法指標分別進行了歸一化處理，如圖10所示，橫坐標表示航向角大小，縱坐標表示算法指標的歸一化值。

綜合考慮三個算法指標，認為σ=55°是最優(yōu)偵察航向。此時規(guī)劃得到的偵察航跡也是最優(yōu)的，對應指標數(shù)據(jù)如表3所示。

表3 指標數(shù)據(jù) Tab.3 Indicator data

圖10 算法指標百分比 Fig.10 Algorithm indicator percentage

實驗三：非擺掃成像實驗無人機執(zhí)行視頻偵察任務時，視頻載荷的工作模式有多種。非擺掃成像模式要求視頻載荷靜止不動（相對于無人機），且始終保持垂直對地成像。依據(jù)表1仿真參數(shù)（擺動范圍、擺動速度設為0），結(jié)合非擺掃成像模式及掃描線法，可得到如圖11 所示的視頻偵察航跡（航向角σ=55°）。

圖11 視頻非擺掃航跡規(guī)劃實驗 Fig.11 Video non-sweeping path planning experiment

在非擺掃模式下，航帶成像范圍寬度d1由飛行高度和旁向視場角決定。航帶間距d2由航帶成像范圍寬度和旁向重疊率決定。

注：由于航帶間距比較小，航帶數(shù)量較多。為了不影響仿真結(jié)果的可視性，沒有將各航帶的成像范圍表示出來。

將實驗結(jié)果對比分析如下：

1）在擺掃模式下的航帶成像范圍寬度為3.428 km（由表2可知）。在非擺掃模式下的航帶成像范圍寬度為0.750 km。即在相同航帶條件下，擺掃模式下的成像范圍更大，效率更高（擺掃范圍角度越大，航帶成像范圍寬度也就越大）。

2）由于擺掃模式下航帶成像范圍寬度遠大于非擺掃模式，因此擺掃模式下視頻偵察航帶間距遠大于非擺掃模式下的視頻偵察航帶間距（同旁向重疊率），航帶數(shù)量更少，路徑代價更小。

3）在無人機航程、航時有限的條件下，算法路徑代價大小限制了算法的可行性。擺掃模式下的視頻偵察航跡路徑代價要遠小于非擺掃模式下的視頻偵察航跡。所以擺掃模式下的視頻偵察航跡更符合無人機性能限制，可行性更強。

實驗四：視頻偵察成像實驗基于擺掃成像的無人機視覺偵察航跡規(guī)劃方法，可在給定任務參數(shù)、飛機參數(shù)和載荷參數(shù)的前提下，依據(jù)任務要求為無人機規(guī)劃出最優(yōu)的偵察覆蓋航跡，以降低未覆蓋率。

為驗證算法的有效性，結(jié)合實驗室條件，設計了如下的飛行試驗：采用某型六旋翼無人機及配套的雙光載荷，對某任務區(qū)域進行視頻偵察（該任務區(qū)域的地理高程數(shù)據(jù)已知），無人機的偵察航跡由本文算法規(guī)劃得到，并通過無人機上行數(shù)據(jù)鏈將航程點數(shù)據(jù)裝訂至無人機飛控計算機。

通過對無人機采集到的視頻數(shù)據(jù)進行拼接處理，得到偵察區(qū)域的態(tài)勢圖，以分析視頻偵察是否存在盲區(qū)來驗證算法的有效性。偵察區(qū)域拼接態(tài)勢圖如圖12 所示。

圖12 偵察區(qū)域拼接圖 Fig.12 Reconnaissance area mosaic

將實驗結(jié)果分析如下：

1）通過對視頻數(shù)據(jù)進行拼接處理，得到整個區(qū)域的態(tài)勢圖，不存在偵察盲區(qū)，滿足偵察要求。

2）算法規(guī)劃得到的偵察航跡，有效降低了偵察未覆蓋率，提高了偵察效率，驗證了算法的可行性。

5 結(jié) 論

通過理論推導與實驗驗證，對算法的合理性與優(yōu)越性進行了說明，主要得到以下結(jié)論：

1）針對視頻載荷的擺掃運動規(guī)律，推導給出成像范圍的計算方法，為制定視頻覆蓋策略提供了依據(jù)。

2）基于視覺成像的區(qū)域分割法是利用航帶實際成像范圍分割區(qū)域，降低了算法的未覆蓋率。

3）以路徑代價、未覆蓋率和多余覆蓋率為指標，給出最優(yōu)偵察航向及航跡，使得無人機能以最經(jīng)濟、效率最高的航跡完成偵察任務。

4）局限性：對周期擺掃范圍近似取內(nèi)接矩形，會一定程度上提高算法的多余覆蓋率。

5）推薦應用范圍：適用于以視頻偵察為任務背景的航跡規(guī)劃。