視線驅(qū)動的云臺跟蹤技術(shù)

王建中　王洪楓　劉弘揚　張晟

摘 ?要： 人在回路的遙操作是未來相當(dāng)長時期內(nèi)無人武器云臺的主要操控方式。針對無人武器云臺手動遙操作控制方法存在的負(fù)擔(dān)重、效率低等問題，提出一種視線驅(qū)動跟蹤方法，通過檢測眼球運動來追蹤人眼視線，捕獲操控人員對特定目標(biāo)的注視信息，建立操控人員眼動與無人武器云臺目標(biāo)跟蹤的隨動關(guān)系，實現(xiàn)“看哪打哪”。給出了眼動檢測、視線估計、無人武器云臺運動映射模型及隨動跟蹤瞄準(zhǔn)等的實現(xiàn)方法和流程，并進(jìn)行了相關(guān)試驗驗證。結(jié)果表明，該方法可使無人武器云臺的目標(biāo)跟蹤瞄準(zhǔn)操控擺脫對肢體的需求，用視線操作代替?zhèn)鹘y(tǒng)的手動操作，可有效減輕手動操控負(fù)擔(dān)，提高操控及時性、準(zhǔn)確性和人機交互效率，將成為無人武器的重要操控方式。

關(guān)鍵詞： 無人武器; 云臺跟蹤; 視線驅(qū)動; 眼動檢測; 隨動跟蹤; 實驗驗證

中圖分類號： TN820.4?34; TP23 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）24?0166?04

Sight driven pan?tilt tracking technology

WANG Jianzhong， WANG Hongfeng， LIU Hongyang， ZHANG Sheng

（School of Mechatronical Engineering， Beijing Institute of Technology， Beijing 100081， China）

Abstract： The teleoperation of man in the loop is the main operation mode of unmanned weapon platform for a long time in the future. In allusion to the problems of heavy burden and low efficiency existing in the manual remote operation control method of unmanned weapon cradle head， a sight driven pan?tilt tacking method is proposed. In this method， the sight of the human eyes is tracked by detecting the eye movement to capture the information of the operator′s gaze at a specific target， and the follow?up relationship between the operator′s eye movement and the target tracking of the unmanned weapon is established， so as to realize the “hit where you see it”. The realization methods and processes such as eye movement detection， gaze estimation， motion mapping model of unmanned weapon pan?tilt， and follow?up tracking and sighting are given， and the relevant experimental verification are carried out. The results show that the method can make the target tracking and sighting of the unmanned weapon platform get rid of the remand of body， and replace traditional manual operation with sight operation， which can effectively reduce the burden of manual control， improve the timeliness and accuracy of the operation and the efficiency of the human?computer interaction. It will be an important means of control for unmanned weapons.

Keywords： unmanned weapon; pan?tilt tracking; sight driven; eye movement detection; follow?up tracking; experimental verification

0 ?引 ?言

人機分離而形成的無人武器是未來武器裝備發(fā)展的重要方向，目標(biāo)跟蹤瞄準(zhǔn)是其關(guān)鍵技術(shù)之一。由于相關(guān)技術(shù)發(fā)展階段的限制，實現(xiàn)目標(biāo)跟蹤瞄準(zhǔn)的無人武器云臺的操控在未來相當(dāng)長時期內(nèi)仍將是人在回路的遙操作模式。戰(zhàn)場環(huán)境和敵方目標(biāo)復(fù)雜多變且十分危險，無人武器操控人員承受巨大的心理和生理壓力，導(dǎo)致武器云臺手動遙操作控制方法操控負(fù)擔(dān)重、效率低，目標(biāo)跟蹤瞄準(zhǔn)的及時性和準(zhǔn)確性大打折扣[1]。

本文提出一種穿戴式人機融合的視線驅(qū)動跟蹤方法，將頭戴顯示及眼動追蹤裝置、操控人員和無人武器云臺緊密耦合，通過檢測眼球運動來追蹤人眼視線，捕獲無人武器操控人員對頭戴顯示場景中敵方目標(biāo)的注視信息，建立操控人員眼動與無人武器云臺目標(biāo)跟蹤瞄準(zhǔn)的隨動關(guān)系，在此基礎(chǔ)上控制無人武器云臺追隨操控人員的視線進(jìn)行目標(biāo)搜索、跟蹤及瞄準(zhǔn)，實現(xiàn)“看哪打哪”[2?4]。該方法可使無人武器云臺的目標(biāo)跟蹤瞄準(zhǔn)操控擺脫對肢體的需求，用視線操作代替?zhèn)鹘y(tǒng)的手動操作，可有效減輕手動操控負(fù)擔(dān)，提高操控及時性、準(zhǔn)確性和人機交互效率，將成為無人武器的重要操控方式。該技術(shù)在社會安防和監(jiān)控等領(lǐng)域也有重要的應(yīng)用價值。

[βe=γx2-arctanlscreen-2xssin γxlscreen1+cos γx+2xs1-cos γx] ? ? ? ? ? ? ? ? ? ?（12）

同理可得注視點與無人武器云臺俯仰角關(guān)系：

[?e=γy2-arctanwscreen-2yssin γywscreen1+cos γy+2ys1-cos γy] ? ? ? ? ? ? ? ? （13）

式中：[γy]為武器瞄準(zhǔn)攝像機俯仰方向視場角;[ys]為注視點在俯仰方向上的坐標(biāo);[wscreen]為武器瞄準(zhǔn)攝像機圖像在顯示屏俯仰方向?qū)嶋H顯示所占用的像素長度。

3 ?無人武器云臺隨動跟蹤試驗

在頭戴顯示中設(shè)定圖5所示9個黑色十字目標(biāo)點，眼睛攝像機采集依次注視目標(biāo)點時的實時眼部圖像，檢測定位出對應(yīng)的9個瞳孔中心，如表1和圖6所示，由式（3）求解出對應(yīng)的9個注視點，如圖5藍(lán)色十字和表2所示。

無人武器云臺的隨動跟蹤瞄準(zhǔn)由方位和俯仰運動實現(xiàn)，按照式（12）、式（13）獲得無人武器云臺隨注視點的跟蹤瞄準(zhǔn)如圖5中的紅色十字和圖7所示。

視線操控?zé)o人武器云臺跟蹤瞄準(zhǔn)人員目標(biāo)的試驗場景如圖8所示，云臺上的激光筆投射在人員目標(biāo)身上的紅點驗證了良好的跟蹤瞄準(zhǔn)效果。

4 ?結(jié) ?語

本文提出一種視線驅(qū)動的云臺跟蹤操控方法，給出瞳孔中心檢測與定位、視線估計、無人武器云臺方位和俯仰運動與注視點和瞳孔中心的映射模型以及無人武器云臺隨動跟蹤等實現(xiàn)方法和流程，建立操控人員眼動與無人武器云臺目標(biāo)跟蹤的隨動映射控制關(guān)系，并進(jìn)行設(shè)定目標(biāo)點和實際人員目標(biāo)的視線操控跟蹤瞄準(zhǔn)試驗驗證。結(jié)果表明，該方法用視線操作代替?zhèn)鹘y(tǒng)的手動操作，可有效減輕手動操控負(fù)擔(dān)，提高操控及時性、準(zhǔn)確性和人機交互效率，對無人武器裝備的發(fā)展具有重要意義，在安防監(jiān)控等領(lǐng)域也有重要的應(yīng)用價值。

參考文獻(xiàn)

[1] CHASE M S， GUNNESS K A， MORRIS L J， et al. Emerging Trends in China's Development of Unmanned Systems [R]. Santa Monica： RAND Cooperation， 2015： 5?14.

[2] 張達(dá)磊.基于視線跟蹤的人機交互系統(tǒng)設(shè)計[D].杭州：浙江工業(yè)大學(xué)，2016.

[3] 馬衛(wèi)華.人機交互系統(tǒng)的實時人眼跟蹤技術(shù)研究[J].現(xiàn)代電子技術(shù)，2019，42（13）：65?68.

[4] BISWAS Langdon. Multimodal intelligent eye?gaze tracking system [J]. International journal of human?computer interaction， 2015， 31（4）： 277?294.

[5] WANG Jianzhong， ZHANG Guangyue， SHI Jiadong， et al. 2D gaze estimation based on pupil?glint vector using an artificial neural network [J]. Applied sciences， 2016， 6（6）： 174.

[6] 胡艷紅，魏江.紅外圖像中瞳孔定位算法[J].電子設(shè)計工程，2019，27（1）：189?193.

[7] 張慧敏，羅珮允，隋建峰.基于圖像處理的瞳孔大小檢測算法研究[J].半導(dǎo)體光電，2017，38（1）：136?141.

[8] 顧可可，付威威，董月芳，等.基于改進(jìn)輪廓跟蹤的瞳孔快速檢測[J].紅外技術(shù)，2017，39（6）：574?578.

[9] WANG Jianzhong， ZHANG Guangyue， SHI Jiadong. Pupil and glint detection using wearable camera sensor and near?infrared led array [J]. Sensors， 2015， 15（12）： 30126?30141.

[10] 王建中，張廣月，王虹.人眼檢測的混合加權(quán)特征方法[J].北京理工大學(xué)學(xué)報，2019，39（8）：819?824.

[11] CHENG Hong， LIU Yaqi， FU Wenhao， et al. Gazing point dependent eye gaze estimation [J]. Pattern recognition， 2017， 71： 36?44.

作者簡介：王建中（1963—），男，湖北人，博士，教授，研究方向為智能無人技術(shù)。

王洪楓（1994—），男，山東人，博士研究生，研究方向為智能無人技術(shù)。

劉弘揚（1994—），男，黑龍江人，碩士研究生，研究方向為智能無人技術(shù)。

張 ?晟（1995—），男，吉林人，碩士研究生，研究方向為智能無人技術(shù)。