基于AI芯片和機器視覺的協(xié)同控制實現(xiàn)

王鋮 張真睿 方超 王琳娜 張寶昌

摘 要：目前，對于如何實現(xiàn)無人集群在無網(wǎng)絡、無GPS環(huán)境中的自主導航研究較少。因此，針對這種特殊的應用場景，基于機器視覺相關算法，本文創(chuàng)新性地提出了一套采用集中式編隊方式的地空協(xié)同控制系統(tǒng)。該系統(tǒng)由空中偵察機、空中跟隨機、地面?zhèn)刹燔嚭偷孛娓S車組成?？罩袀刹鞕C采用VINS-MONO技術進行導航，提供位置基準;同時利用CVM-Net技術將空中偵察機與地面?zhèn)刹燔嚨呐臄z圖像匹配，得到二者相對位置，用于引導地面跟隨車和空中跟隨機。該系統(tǒng)采用YOLO-LITE檢測算法，可實現(xiàn)實時目標檢測;采用華為“麒麟970”智能芯片作為核心硬件，實現(xiàn)信息的實時無回傳處理。利用該系統(tǒng)，地面與空中無人集群可在無網(wǎng)絡、無GPS的環(huán)境進行自主導航定位與協(xié)同控制，在緊急搜救和軍事偵察等領域具有廣闊的應用前景。

關鍵詞：無人集群系統(tǒng);協(xié)同控制;AI芯片;GPS拒止環(huán)境;跨視角圖像匹配;導航

中圖分類號：TJ765; V249.32+9

文獻標識碼：A

文章編號：1673-5048（2020）06-0067-07

0 引? 言

近年來，無人協(xié)同系統(tǒng)作為未來戰(zhàn)爭模式和智慧城市的發(fā)展方向，在軍事、物流、緊急救援等領域得到了飛速發(fā)展。面對城市巷戰(zhàn)、復雜區(qū)域反恐、偏遠災區(qū)救援等特殊任務場景，傳統(tǒng)的地面設備由于視線限制難以直接搜尋到目標，而無人機航拍圖像尺度大、視角廣，可快速搜尋目標，并為地面設備提供位置信息，進行空中輔助導航。由此可見，多無人機與多無人車組成的地空無人集群系統(tǒng)具有重要的應用價值[1]。

協(xié)同系統(tǒng)的基礎和關鍵是協(xié)同導航技術[2]。目前，協(xié)同導航大多采用捷聯(lián)慣導系統(tǒng)，全球衛(wèi)星導航系統(tǒng)（GPS）以及雷達、視覺/圖像等技術，利用多傳感器信息實現(xiàn)導航定位[2]。其中，GPS為室外無人機最常用的定位方式[3]。然而在城市建筑群、偏遠山區(qū)和戰(zhàn)場復雜電磁環(huán)境下，GPS信號受到障礙物遮擋或者電磁干擾，無法提供持續(xù)準確的定位信息。因此，如何在GPS拒止環(huán)境下實現(xiàn)無人集群的自主定位導航具有重要的研究價值[4]。

基于機器視覺的多傳感器融合算法不受GPS信號限制，抗干擾能力強，在GPS拒止環(huán)境下具有獨特優(yōu)勢。

另一方面，在通訊信號不良、實時性要求高的條件下，無人集群系統(tǒng)需要自主無回傳地處理信息。其中包含大量的序列圖像，這對于基于嵌入式系統(tǒng)的無人機、無人車而言，挑戰(zhàn)巨大。

為了解決這一難題，國內(nèi)中星微、寒武紀、華為等企業(yè)發(fā)展了搭載嵌入式神經(jīng)網(wǎng)絡處理器（NPU）的人工智能芯片。2016年6月，中星微電子公司發(fā)布了中國首款嵌入式神經(jīng)網(wǎng)絡處理器芯片——“星光智能一號”。2017年，華為海思發(fā)布了全球首款內(nèi)置獨立NPU的智能手機芯片——“麒麟970”。NPU芯片具有小型化、低功耗、低成本的優(yōu)勢，極大促進了人工智能技術在嵌入式平臺的應用。將人工智能芯片應用于無人集群系統(tǒng)，使其無需將數(shù)據(jù)實時回傳至服務器，而僅依靠芯片自身便可進行相應算法，大大提高了系統(tǒng)的自主性和智能化水平。

根據(jù)上述討論，針對無網(wǎng)絡、無GPS的復雜惡劣環(huán)境，本文創(chuàng)新性地提出了一套利用機器視覺相關算法和智能芯片，采用集中式編隊方式的地空協(xié)同控制系統(tǒng)。該

系統(tǒng)可極大減少對于GPS和終端服務器的依賴，可充分體現(xiàn)智能硬件系統(tǒng)的自主性。

1 視覺導航技術

1.1 VINS-MONO算法

在無GPS信號的環(huán)境中，無人機需要進行自主導航。而常用的自主導航技術如慣性導航、視覺導航等都有著明顯的缺陷。慣性導航存在積累誤差，而視覺導航常由于照明變化、區(qū)域紋理缺失或運動模糊導致視覺軌跡缺失[4]。

2018年，Qin [4] 等人提出了一種多功能單目視覺慣性狀態(tài)估計算法——VINS-MONO。該算法使用一個單目攝像頭和一個低成本慣性測量單元（IMU）構成一個單目視覺慣性系統(tǒng)。采用低成本的單目攝像頭和IMU單元，適合于無人機平臺的自主導航定位。本系統(tǒng)將利用該技術進行無人機的自主導航。

VINS-MONO算法的核心是一個魯棒的基于緊耦合滑動窗非線性優(yōu)化的單目視覺慣性里程計（VIO）。單目VIO模塊不僅提供精確的局部姿態(tài)、速度和方位估計，而且還以在線方式執(zhí)行攝像機IMU外部校準和IMU偏置校正，再使用DBoW進行回環(huán)檢測。重定位是在對單目VIO進行特征級別融合的緊耦合設置中完成。這使得重定位具有魯棒性和精確性，且有最小的計算開銷。最后幾何驗證回路被添加到姿態(tài)圖中，可觀察滾轉和俯仰角，生成四自由度（DOF）姿態(tài)圖以確保全局一致性。

1.2 CVM-Net算法

無人機航拍圖像和地面圖像視角跨度大，匹配難度高，基于SIFT[5]和SURF[6]特征的傳統(tǒng)方法在這種情況下效果不佳。2018年，Hu[7]等人基于卷積神經(jīng)網(wǎng)絡提出了CVM-Net算法，在跨視角地空圖像匹配上表現(xiàn)出了優(yōu)越的性能。本系統(tǒng)將采用CVM-Net技術，用于地面設備的定位。

基于跨視圖圖像的地空地理定位的CVM-Net算法是將NetVLAD層與孿生網(wǎng)路相結合，進行匹配任務的度量學習。首先使用全卷積層提取局部圖像特征，然后使用強大的NetVLAD將這些特征編碼到全局圖像描述符中[7]。作為訓練過程的一部分，引入一個簡單而有效的加權軟邊緣排序損失函數(shù)，不僅加快了訓練的收斂速度，而且提高了最終的匹配精度。文獻[7]表明，網(wǎng)絡在現(xiàn)有的基準數(shù)據(jù)集上顯著優(yōu)于最先進的方法。

用全卷積網(wǎng)絡（FCN）分別提取圖像的局部特征向量。對于航拍圖像Is，局部特征向量由

us=f L（Is; θLs）給出，其中θLs是航拍圖像分支的FCN參數(shù)。對于地面圖像Ig，局部特征向量由ug=f L（Ig; θLg）給出，其中θLg是航拍圖像分支的FCN參數(shù)。

將FCN中得到的局部特征向量放入NetVLAD 層以獲取全局描述符。結合孿生網(wǎng)絡框架，使用兩個獨立的NetVLAD層分別從地面圖像和航拍圖像的局部特征中得到全局描述符。每一個NetVLAD層都會產(chǎn)生一個VLAD向量，又因為這兩個向量是在同一空間，所以可以直接用來進行相似性比較。兩個NetVLAD層有著相同的結構但參數(shù)不同。最后，來自兩個視圖的全局描述符的維度通過一個全連接層降低。

同時，采用CVM-Net-1和CVM-Net-2兩種策略。CVM-Net-1通過兩個對齊（沒有權值共享）的NetVLAD層組成的深層網(wǎng)絡，將來自不同視圖的本地特征匯集到一個公共空間。CVM-Net-2具有兩個權值共享的NetVLAD深度網(wǎng)絡，將本地特征轉換為公共空間，然后聚合來獲得全局描述符。

訓練完成后，每個航拍圖像的形心都被唯一的一個地面圖像的形心聯(lián)系起來。由于每個視角圖片的殘差都只是關聯(lián)到形心，每個殘差對自己視角都是獨立的，可與另一個視角相比較。

1.3 YOLO-LITE算法

2015年，Redmon J提出了YOLO檢測算法[8-10]。作為一種輕量級目標檢測算法，相比于傳統(tǒng)方法，YOLO在保持較高準確度的前提下，實現(xiàn)了檢測速度成倍的提高，可用于嵌入式系統(tǒng)的實時檢測[11]。

為進一步提高YOLO算法的實時性，本文采用一種實時性的YOLO改進版本——YOLO-LITE[12]。相較于YOLO之前的版本，該算法的檢測速度更快，且在無GPU的設備上也能很好運行，滿足系統(tǒng)對于實時檢測的要求。

在YOLO-LITE結構中，將原本的輸入尺寸416×416替換為224×224，同時簡化YOLO結構，使用更少的層數(shù)以及更淺的網(wǎng)絡，極大減少weight數(shù)量[13]。此外，在模型網(wǎng)絡層數(shù)很淺的情況下，BN層不能大幅度提升算法性能，卻會增加計算開銷。因此，為了保證算法的實時性，YOLO-LITE完全去除了BN層，并用剪枝算法進一步壓縮模型[14]。

2 基于機器視覺的地空協(xié)同控制系統(tǒng)

標準的人工蜂群算法（ABC算法）[15]通過模擬實際蜜蜂的采蜜機制，將人工蜂群分為采蜜蜂、觀察蜂和偵察蜂[16]。依據(jù)蜂群理論，本文應用計算機視覺相關算法具體模擬實現(xiàn)蜂群算法中各個蜜蜂的協(xié)調(diào)功能與通信功能。對于觀察蜂，用地面主機模擬控制;對于偵察蜂，設計空中偵察機和地面?zhèn)刹燔噥韺崿F(xiàn);對于采蜜蜂，采用空中跟隨機和地面跟隨車，其整體框架如圖1所示。空中偵察機和地面?zhèn)刹燔嚪謩e隨機尋找目標，互相配合實現(xiàn)無GPS定位和路徑構建，記錄具體目標的位置，以指令形式發(fā)送至若干空中和地面跟隨機/車，地面跟隨車通過目標識別和偵察機的指令相繼發(fā)現(xiàn)目標，并將目標信息反饋回地面主機。地面主機分析數(shù)據(jù)后，規(guī)劃調(diào)度信息。

2.1 VINS-MONO算法與蜂群算法

為使空中偵察機能夠在無網(wǎng)絡的情況下實時記錄周邊環(huán)境和所經(jīng)路線，本系統(tǒng)使用了單目視覺慣性VINS-MONO算法?？罩袀刹鞕C通過AI芯片強大的端測計算能力，將攝像頭獲得的數(shù)據(jù)進行處理并規(guī)劃路徑，通過控制芯片與跟隨機通信，發(fā)送指令信息，使其向目標方向移動。

將VINS-MONO算法封裝成庫函數(shù)，主要完成路徑記錄和相對位置信息返回。

首先，AI芯片通過連接集成慣性導航的單目攝像頭實時錄制畫面。設定偵察機開始運動的原點位置，并設定偵察路線。此時由于外界原因，偵察機并不能完全按照設定路線運行，因此不能以設定路線作為相對位置的依據(jù)。接著，創(chuàng)建一個進程運行VINS-MONO，將實時相對位置信息保存在json文件中，記錄該時刻與原點位置的相對位置信息和相對運行時間。

另外，相對位置返回功能函數(shù)主要用于返回當前時刻相對位置以及與地面正視圖相匹配的空中俯視圖。

2.2 YOLO-LITE算法與蜂群算法

將YOLO-LITE算法移植到AI芯片中，用于偵察機/車和跟隨機/車的目標識別。偵察機/車在隨機向四處尋找目標的過程中，通過YOLO-LITE算法識別目標;而擁有AI芯片的跟隨機/車，則通過該算法識別偵察機/車和其他跟隨機/車，如圖2所示。

對YOLO-LITE算法進行封裝，主要分為兩部分功能。一是偵察機尋找目標，輸入?yún)?shù)主要是目標物的關鍵值，返回值為有無目標存在。當有目標存在時觸發(fā)中斷進行拍攝。二是跟隨機/車追隨目標，即用于尋找目標的偵察機/車本身也是跟隨機/車的目標，輸入?yún)?shù)主要為目標框面積占視區(qū)比例，以此與偵察機/車保持距離。

跟隨機/車通過攝像頭對尋找的目標進行搜索，獲得采樣信息。若當前幀中存在目標時，會在圖片中標注一個方框，并記錄方框的大小及位置，接著應用PID控制實現(xiàn)跟隨機/車對目標的追蹤。

跟隨機/車的控制主要包括運動方向和跟隨間距的調(diào)節(jié)[17]。調(diào)節(jié)運動方向時，在序列圖像的中心區(qū)域限定一定范圍，如圖3所示。當偵察機/車位于該限定區(qū)域內(nèi)，則認為跟隨機/車處于合理位置，無需調(diào)整位姿;而當其位于限定區(qū)域外時，則判斷跟隨機/車偏離合理區(qū)域，需要進行位姿矯正，并根據(jù)超出限定區(qū)域的方位進行運行方向的判斷。當偵察機/車重新回到限定區(qū)域時，即停止運動。根據(jù)序列圖像中目標檢測框面積占視區(qū)比例判斷跟隨距離。當檢測框尺寸變小，說明跟隨距離變大，則增大跟蹤速度;當檢測框尺寸變大，說明跟隨距離變小，則減小跟蹤速度，使跟隨距離始終在一定范圍內(nèi)[17]。算法控制流程圖如圖4所示。

2.3 CVM-Net算法與蜂群算法

為了在無GPS情況下，空中偵察機與地面?zhèn)刹燔嚹軌騾f(xié)同定位目標的精確位置，本文采用CVM-Net算法。地面?zhèn)刹燔嚭涂罩袀刹鞕C隨機向各個方向?qū)ふ夷繕?，若地面?zhèn)刹燔嚢l(fā)現(xiàn)目標，則發(fā)送其拍攝的正視圖至空中偵察機。偵察機飛行的同時，記錄地面俯視圖，當收到地面?zhèn)刹燔嚢l(fā)送的正視圖后，應用移植了CVM-Net算法的AI芯片進行位置匹配，從而定位目標位置。同時利用VINS-MONO算法規(guī)劃出起始點到目標位置的路徑，并生成指令發(fā)送至其他跟隨機，如圖5（a）所示。

參考文獻：

[1] 謝啟龍，宋龍，魯浩，等.協(xié)同導航技術研究綜述[J].航空兵器，2019，26（4）： 23-30.

Xie Qilong，Song Long，Lu Hao，et al. Review of Collaborative Navigation Technology[J]. Aero Weaponry，2019，26 （4）：23-30. （in Chinese）

[2] 周思全，化永朝，董希旺，等.面向空地協(xié)同作戰(zhàn)的無人機-無人車異構時變編隊跟蹤控制[J].航空兵器，2019，26（4）： 54-59.

Zhou Siquan，Hua Yongzhao，Dong Xiwang，et al.Air-Ground Time Varying Formation Tracking Control for Heterogeneous UAV-UGV Swarm System[J].Aero Weaponry，2019，26 （4）：54-59. （in Chinese）

[3] 唐鄧清.無GPS依賴的無人機定位方法及ROS實現(xiàn)研究[D].長沙：國防科學技術大學，2015.

Tang Dengqing.GPS Free Localization and Implementation in Robot Operating System for Unmanned Aerial Vehicles[D].Changsha：National University of Defense Technology，2015.（in Chinese）

[4] Qin T，Li P L，Shen S J. VINS-Mono：A Robust and Versatile Monocular Visual-Inertial State Estimator[J]. IEEE Transactions on Robotics，2018，34（4）： 1004-1020.

[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[6] Bay H，Tuytelaars T，Van Gool L. SURF：Speeded up Robust Features[C]∥European Conference on Computer Vision，2006：404-417.

[7] Hu S X，Lee G H. Image-Based Geo-Localization Using Satellite Imagery[J]. International Journal of Computer Vision，2020，128（5）： 1205-1219.

[8] Redmon J，Divvala S，Girshick R，et al. You Only Look Once：Unified，Real-Time Object Detection[C]∥ Conference on Computer Vision and Pattern Recognition，2016：779-788.

[9] Redmon J，F(xiàn)arhadi A . YOLO9000：Better，F(xiàn)aster，Stronger[C]∥IEEE Conference on Computer Vision and Pattern Recognition，2017： 6517-6525.

[10] Redmon J，F(xiàn)arhadi A . YOLOv3：An Incremental Improvement[EB/OL].（2018-04-08）[2019-12-17]. https：∥arxiv.org/pdf/1804.02762.pdf.

[11] Wang X D，Zhang B C，Li C，et al. Modulated Convolutional Networks[C]∥ Conference on Computer Vision and Pattern Recog-nition，2018： 840-848.

[12] Pedoeem J，Huang R. YOLO-LITE：A Real-Time Object Detection Algorithm Optimized for Non-GPU Computers[EB/OL]. （2018-11-14）[2019-12-17].https： ∥arxiv.org/pdf/1811.05588.

[13] Gu J X，Li C，Zhang B C，et al. Projection Convolutional Neural Networks for 1-bit CNNs via Discrete Back Propagation[C]∥Conference on Artificial Intelligence，2019：8344-8351.

[14] Zhou L A，Zhang B C，Chen C，et al. Calibration Stochastic Gradient Descent for Convolutional Neural Networks[C]∥Proceedings of the AAAI Conference on Artificial Intelligence，2019： 9348-9355.

[15] Karaboga D. An Idea Based on Honey Bee Swarm for Numerical Optimization[D]. Kayseri： Erciyes University，2005.

[16] Karaboga D，Gorkemli B，Ozturk C，et al. A Comprehensive Survey：Artificial Bee Colony （ABC） Algorithm and Applications[J]. Artificial Intelligence Review，2014，42（1）： 21-57.

[17] 朱晨陽，馮虎田，歐屹. 基于YOLO3的人臉自動跟蹤攝像機器人系統(tǒng)研究[J]. 電視技術，2018，42（9）： 57-62.

Zhu Chenyang，F(xiàn)eng Hutian，Ou Yi.YOLO3 Based Face Tracking Camera Robot System[J]. Video Engineering，2018，42（9）：57-62.（in Chinese）

Implementation of Collaborative Control

Based on AI Chips and Machine Vision

Wang Cheng1，2，Zhang Zhenrui1，F(xiàn)ang Chao1，Wang Linna3，Zhang Baochang1，2*

（1. School of Automation Science and Electrical Engineering，Beihang University，Beijing 100191，China;

2. Shenzhen Academy of Aerospace Technology，Shenzhen 518057，China;

3.China Academy of Launch Vehicle Technology，

Beijing 100191，China）

Abstract： Currently，there are few studies on how to realize autonomous navigation ofunmanned cluster system in a networkless and GPS-free environment. For this special application scenario，this paper innovatively proposes a ground-air cooperative control system using a centralized formation approach based on machine vision.The system consists of air reconnaissance aircrafts，air-following aircrafts，ground reconnaissance vehicles and ground-following vehicles. The air reconnaissance aircrafts use VINS-MONO to navigate and provide a position reference. At the same time，the CVM-Net is used to match captured images of air reconnaissance aircrafts and ground reconnaissance vehicles to obtain the relative position ofthem，which is used to guide the ground-following vehiclesand air reconnaissance vehicles，and YOLO-LITE detection algorithm is used to realize target real-time detection. The system uses Huawei Kirin 970 as the core hardware，which can realize real-time and no-return processing of information. Through this system，the ground and air unmanned cluster can perform autonomous navigation and coordinated control in the networkless and GPS-free environment，which has broad application prospects in the fields of emergency search and rescue and military investigation.

Key words： unmanned cluster system; collaborative control;AI chip; GPS-free; cross-view image matching; navigation

收稿日期：2019-12-17

基金項目：深圳市科技計劃項目（KQTD2016112515134654）

作者簡介：王鋮（1995-），男，浙江杭州人，碩士研究生，研究方向是邊緣計算、嵌入式人工智能。

通訊作者： 張寶昌（1976-），男，吉林洮南人，博士，教授，研究方向是深度學習模型壓縮、深度協(xié)同端計算。

E-mail：bczhang@buaa.edu.cn