基于Onboard SDK的無人機自主飛行控制及精準拍照技術研究

邊慧琴，杜立江，武曉楠，王喜中

（國家電網濮陽供電公司，河南 濮陽 457000）

現(xiàn)階段對于無人機研究多是集中在無人機智能化方面，從而實現(xiàn)無人機飛行智能控制、自主決策以及自主降落等。將無人機應用到饒塔巡檢時，由于工作環(huán)境內存在有高壓供電線路、異性電力桿塔等，對無人機控制精度要求更高。同時無人機巡檢時需要對塔桿各位置（包括桿塔標識牌、基面及塔腿、絕緣子串掛點等）進行拍照，后進行智能分析，對獲取到相片質量有較高的要求。文中基于Onboard SDK對無人機自主飛行控制及精準拍照技術研究，以期能在一定程度上提升無人機巡檢效果。

1 DJI Onboard SDK概述

DJI Onboard SDK是一個開源軟件庫，使計算機通過串行接口與DJI飛機、飛行控制器通信。DJI Onboard SDK包含一個核心庫（OSDK-Core），可通過該庫獲取飛機數(shù)據和控制信息。該庫的體系結構被設計為可擴展的。所有命令均與產品無關，并且在運行時提供產品功能信息。這意味著，當為一種產品（如M210）編寫應用程序時，它也可能會與另一種具有類似功能的產品（如A3）一起使用。

2 OSDK線程模型

在支持線程的系統(tǒng)（除STM32之外的所有平臺）上，OSDK運行四個線程：主線程，程序執(zhí)行的主要流程在這里發(fā)生。通常，所有發(fā)送到飛機/FC的命令都在此線程上執(zhí)行。串行讀取線程，來自飛機/FC的遙測數(shù)據在串行讀取線程上處理，并在此處填充確認/返回類型。阻塞調用將阻塞主線程，直到讀取線程完成處理其確認為止。一些回調在此線程上處理-來自飛機的為異步“推送數(shù)據”注冊的回調（可通過DJI Asistant2的SDK頁面啟用）。USB讀取線程，如果啟用了M210的高級感應功能，則會創(chuàng)建一個單獨的線程。此功能適用于訂閱機制。訂閱圖像后，推送數(shù)據將繼續(xù)通過USB傳輸。該線程僅提供讀取功能。如果開發(fā)人員希望對圖像數(shù)據進行大量計算，建議創(chuàng)建一個單獨的線程?；卣{線程，處理發(fā)送到飛機/FC的命令的確認的所有回調均在回調線程上執(zhí)行。

3 無人機定位和視覺跟蹤技術

3.1 無人機定位技術

基于網絡RTK高精度定位的無人機實時高精度定位技術主要包括在網絡RTK的無人機高精度定位基礎上，融合視覺導航跟蹤技術，實現(xiàn)絕緣子串、防振錘、間隔棒、均壓環(huán)、桿塔關鍵部位的捕捉和精準拍攝，視覺追蹤是需要解決主要問題之一。對于特定目標的追蹤的基礎是將追蹤目標識別出來，因此需要實現(xiàn)對巡檢影像的特定目標識別。基于巡檢影像的實時識別與基于視覺導航的目標跟蹤，實現(xiàn)對云臺和飛機的控制，使其達到完全自動化特定目標拍照，是本項目主要解決的問題之三。挑選合適的前端識別模塊，實現(xiàn)云臺相機與前端智能識別模塊的聯(lián)動，達到數(shù)據實時分析，云臺及時調整。

3.2 視覺跟蹤技術

一般情況下，用于線路設備信息采集的相機分辨率高、焦距大、視場角較窄，相機較攝像機的視場范圍較小，在基于機載視頻跟蹤系統(tǒng)完成粗定位后，目標不一定落在相機的視場范圍內，因此，首先基于設備識別技術判斷設備是否出現(xiàn)在相機圖像空間中，如果在，則需要根據相機圖像空間與吊艙控制系統(tǒng)間建立雅克比關系，進行伺服過程：基于圖像平面空間坐標系與三維空間中點之間投影變換模型，定義圖像空間像素偏移量與三維世界坐標系下的圖像雅克比矩陣為：

式中，z為目標到相機坐標系的距離；x、y為圖像空間像素坐標位置信息。

通過上述關系根據圖像空間像素偏差調整吊艙控制量，重復上述操作，直至目標設備在圖像中心區(qū)域；如果不在，則需要基于目標設備在攝像機圖像空間中的位置及相機光心及視場范圍與攝像機光心及視場范圍的位置關系，確定相機視場中心與當前目標在攝像機視場空間的位置偏差，進而根據無人機相對線路的距離信息，計算無人機吊艙的姿態(tài)調整控制量，直至相機圖像范圍內檢測到目標設備，且接近于圖像中心位置，從而保證目標信息采集的完整性，有效性。

4 無人機自主飛行控制及精準拍照

基于機載視頻的輸電線路目標跟蹤技術主要研究基于特征的實時目標跟蹤技術。通過如顏色等的分布來對描述目標，然后通過侯選目標、目標模板的相似性度量來尋找目標，并迭代搜索目標位置，實現(xiàn)目標跟蹤、模式匹配。

基于機載視頻的典型設備識別定位技術主要研究基于特征的絕緣子串、防振錘、間隔棒、均壓環(huán)、桿塔關鍵部位等識別定位技術。通過視頻中要拍攝設備的輪廓及對應的特征實現(xiàn)對視頻中主要設備的識別定位，在對輸電線路部件的定位與識別中，可以通過在圖像上提取低級別的特征，再根據感知聚類的思想將低級別的特征組合成中級別的結構。然后，分別將大部件的特征抽象成語義，根據各個大部件的語義在已提取的中級特征中識別大部件。通過感知聚類的方法將需要識別的對象與低級別特征進行關聯(lián)，解決在架空輸電線路部件識別中低級別特征與部件之間如何關聯(lián)的問題。

具體拍攝步驟為：Step1:設置巡檢拍攝視點，即確定無人機懸停位置；Step2:基于RTK，飛手通過手飛確定航點；Step3:基于航點規(guī)劃巡檢航線；Step4:執(zhí)行自動飛行；Step5:無人機飛到航點進行懸停，前端智能識別模塊進行桿塔關鍵部位識別，確定部位的位置；Step6:規(guī)劃關鍵部位識別次序，依次對焦拍照；Step7:進入下一拍攝點，直到拍照完成。

結合AI目標識別定位技術實現(xiàn)精準拍照，瞄準拍攝目標時間可進一步縮短，平均每基塔5min內完成全自主飛行，超過一般的飛手水平，單點對準、變焦、對焦、拍照的時間可優(yōu)化到3～4s內完成，目前是7～8s。自動對準對焦的精細化拍照效果見圖2。

圖1 抓拍設計流程圖

圖2 現(xiàn)場拍照效果圖

5 結語

（1）文中依據DJI Onboard SDK數(shù)據庫以及OSDK線程模型對無人機定位和視覺跟蹤技術進行探討，提出采用無人機定位技術、視覺跟蹤技術實現(xiàn)無人機的自主飛行控制，并為后續(xù)的精準拍照奠定基礎。

（2）將AI技術應用到精準拍照中，并對無人性抓拍流程進行闡述?，F(xiàn)場應用后，無人機瞄準拍攝目標時間可進一步縮短，平均每基塔5min內完成全自主飛行，超過一般的飛手水平，單點對準、變焦、對焦、拍照的時間可優(yōu)化到3～4s內完成。