圖像式頭盔瞄準具定位模型研究與仿真

閆 龍

(山東工商學院信息與電子工程學院，山東 煙臺 264005)

0 引言

在現(xiàn)代作戰(zhàn)環(huán)境中，戰(zhàn)斗機駕駛員、武裝直升機駕駛員都會在高速、低空或者全天候條件下飛行，在這種條件下，要求瞄準系統(tǒng)能夠在大機動情況下操縱導彈導引頭和機載雷達迅速截獲目標，簡化和加快大范圍內(nèi)的截獲過程。

頭盔瞄準具(Helmet Mounted Sight，HMS)是裝在飛行員頭盔上的一種瞄準裝置，是一種重要的航空火力控制系統(tǒng)。頭盔瞄準系統(tǒng)的種類較多，名稱亦各不相同，除了保留頭盔的保護和語音通訊功能外，主要功能有兩個方面:一是測量飛行員頭位，提供瞄準線;二是顯示飛行和目標瞄準信息。利用頭盔瞄準具將頭部位姿變化引起的信號變化通過位姿檢測系統(tǒng)轉化為頭部方位角、俯仰角的變化，從而根據(jù)人眼視線與頭部轉動的固定關系將人眼視線轉化為目標瞄準線，將目標瞄準線轉化為控制信號，實現(xiàn)通過頭部轉動改變視線方向來瞄準目標的目的。

頭盔瞄準具常用的定位方法有以下幾種:機電法、光電法、電磁場法、聲學法以及圖像識別法［1］。雖然每種方法都進入了實際應用，但依然存在很多問題和值得改進的地方，如在跟蹤瞄準過程中，只考慮頭部位置，未考慮人眼在跟蹤瞄準過程中的功能;瞄準速度還不夠快捷靈敏，有待進一步改進;頭盔重量偏大(約4.7 kg)，亟需減少重量。圖像式的電磁干擾小、無噪音、運算速度快、結構簡單。隨著圖像傳感器的制造工藝的改進和處理器運算速度的提高，圖像式的頭盔瞄準具的研究越來越受到重視［2－3］。

專利顯示美國早在20世紀60年代已經(jīng)開始進行該方面的研究［4－5］。國內(nèi)該方面的研究也在發(fā)展［6－8］，在此背景下，本文分析了圖像式頭盔瞄準具的工作原理和定位模型，對關鍵問題進行了分析與討論。

1 圖像式頭盔瞄準具工作原理

1.1 系統(tǒng)工作原理

基于圖像識別技術的頭盔瞄準系統(tǒng)中頭盔外表面分布有發(fā)光裝置，一般為結構固定的LED燈組。在頭盔后方安裝有一個或兩個CCD測量攝像機，固定在飛機艙頂上或飛行員座椅上，CCD測量攝像機實時拍攝頭盔上LED燈組的位置圖像。根據(jù)攝像機拍攝的二維圖像，應用視覺測量技術由LED燈在圖像坐標系下的二維坐標計算出世界坐標系下的三維坐標，從而可以解算出LED燈組法線方向，并根據(jù)初始狀態(tài)下分布在頭盔表面LED燈組法線與頭部轉動一定角度后LED燈組法線的向量差值求出瞄準線參數(shù)信息，由瞄準線方向確定目標相對于飛機的方向，同時，計算機能夠將測得的目標位置轉化為瞄準指令，控制武器瞄準目標。工作原理如圖1所示。

圖1 圖像式頭盔瞄準系統(tǒng)工作原理圖Fig.1 Working principle of HMS based on image

系統(tǒng)在頭盔正后方放置兩攝像機，采用單目測量方法。放置兩攝像機的目的是為了擴大測量范圍，提供冗余的定位信息。在頭盔的外表面上安裝3～5組LED燈，攝像機布置在飛行員座椅的后背上方，且飛行員頭盔中心位于攝像機下前方。測量攝像機與頭盔的位置關系如圖2所示。

在頭盔轉動的過程中所有LED燈組只有一組點亮，該組應該是最適合攝像機拍攝并檢測的一組。如何讓合適的LED燈組點亮，本文暫不作討論。每個燈組均由4個LED燈組成，構成三棱錐的形狀。A，B，C 3個燈構成一個等邊三角形，E燈在△ABC面上的投影是△ABC的重心，并且E燈到△ABC的距離已知。

圖2 頭盔瞄準測量系統(tǒng)示意圖Fig.2 Line of Sight(LOS)measurement system of the HMS

隨著飛行員頭部轉動及俯仰，頭盔上的LED燈組的位置和角度也時刻發(fā)生變化。攝像機拍攝獲得燈組的圖像，應用單目視覺測量技術和燈組的結構可得到燈組的三維坐標。根據(jù)燈組與頭盔的關系計算出視線的方向。

1.2 定位模型

定義飛機坐標系為世界坐標系，Zw正方向與飛機正前方相同，Yw正方向為飛機正上方，Xw正方向為飛機左方向;然后以攝像機透視中心O為圓心，Xc，Yc分別平行于Xw，Yw。Zc為攝像機主光軸，按右手法則建立攝像機坐標系O-XcYcZc;再以像平面上像素坐標值O1(0，0)點為坐標原點，水平陣列方向為u方向，垂直陣列方向為v方向建立O1-uv圖像坐標系。同時建立頭盔局部坐標系，頭盔坐標系遵守右手法則，原點Oh建立在模型的中心位置，Xh軸指向頭盔的左方向，Yh軸指向頭盔的正上方，Zh軸指向頭盔的正前方向。世界坐標系、攝像機坐標系、圖像坐標系及頭盔坐標系建立后可得關系示意圖如圖3所示。

圖3 各坐標關系圖Fig.3 Relationship of different coordinate systems

頭盔在某一位置時攝像機探測到頭盔表面點亮的一組LED燈組為ABC-E，經(jīng)過攝像機成像后在成像平面得到的LED燈組的4個像點為abc-e。其成像示意圖如圖4所示。

已知燈組三棱錐的結構，要計算A，B，C燈的坐標［9］。這里 A，B，C 用 Wi來表示，設 vi是燈和對應圖像連線上的單位矢量(從原點指向相應的燈)，則Wi的坐標可通過式(1)獲得。

上面3個點間的距離為

將式(1)代入式(2)得到關于ki的3個二次方程:

圖4 LED燈組在攝像機中成像示意圖Fig.4 Imaging of LED group in camera

解式(4)中3個函數(shù)的ki可得到A，B，C三個燈的坐標:

設初始值在［k1，k2，k3］的附近，但 f(k1，k2，k3)≠0，且有一個增量［Δ1，Δ2，Δ3］，使得 f(k1+ Δ1，k2+ Δ2，k3+Δ3)趨向于 0。將 f(k1+ Δ1，k2+ Δ2，k3+ Δ3)在［k1，k2，k3］的鄰域展開并略去高階項，得到式(6)。讓式(4)左邊等于0，即可得到一個包含［k1k2k3］的偏微分線性方程。同樣也可將式(4)中的函數(shù)g和h轉化為線性方程。聯(lián)合起來得到式(5):

上述偏微分矩陣就是雅可比矩陣J。函數(shù)f(k1，k2，k3)的雅可比矩陣J具有式(7)的形式，其中vmn=vm·vn。

若雅可比矩陣J在點(k1，k2，k3)處可逆，則可通過式(8)計算出參數(shù)增量。

把上述增量與上一步的參數(shù)值相加，用Kl表示參數(shù)的第L步迭代值，就得到式(9)。通過牛頓迭代法可得到 k1，k2，k3。

由式(1)得到兩組A，B，C點的坐標后，根據(jù)三點與E點之間的位置關系可以計算出E點坐標。采用E點坐標進行驗證解的正確性，E點坐標、光心和E像點坐標成一條直線則可以判定該解為真實解。

由上式解得頭部轉動后平面ABC的法線，與初始狀態(tài)下ABC法線比較可得頭部轉動的方位角、俯仰角和橫滾角。

總結計算步驟如下:

2)迭代直到f(Kl)≈0，根據(jù)式(9)計算 Kl+1，如果或達到迭代次數(shù)，則停止計算;

3)計算四點坐標，用式(1)和Kl+1計算Wi，E點作為驗證點;

4)計算位姿，根據(jù)式(10)計算頭盔位姿以及頭部轉動方位角、俯仰角、橫滾角。

2 定位模型分析與仿真實驗

本節(jié)根據(jù)以上的定位原理及計算方法分析圖像式頭盔瞄準模型的誤差來源和實時性，并通過仿真實驗驗證了該模型的可行性。

誤差主要來源于系統(tǒng)標定、圖像拍攝、圖像校正、立體匹配環(huán)節(jié)。圖像拍攝時可能會因為鏡頭結構和安裝問題產(chǎn)生畸變，該問題已可通過在系統(tǒng)標定環(huán)節(jié)引入畸變系數(shù)來解決［11］。與傳統(tǒng)立體匹配不同，系統(tǒng)使用不同顏色的LED燈，在立體匹配時采用不同顏色來定位不同LED燈可以很快完成匹配，既加快了匹配時間，又減小了誤差。系統(tǒng)每幀圖像的處理時間主要包括攝像機的拍攝時間、圖像傳輸時間、圖像處理及坐標計算時間。因為只需檢測不同顏色的點，所以不需要太高的分辨率，以大恒圖像的X-EMA軍用高速攝像機為例，拍攝速率最高可達32000幀/s。PCI傳輸方式可以達到132 MB。圖像處理及坐標計算每幀只需處理3～4個點，計算量均很小，幾乎不占用CPU的處理時間。

利用OpenGL的透視投影渲染方法模擬相機的拍攝過程。經(jīng)證明，OpenGL成像外參數(shù)矩陣和攝像機外參數(shù)是一致的;而OpenGL成像的內(nèi)參數(shù)可通過改變矩陣設置成和所采用的攝像機系統(tǒng)的標定參數(shù)一致［12］。

具體步驟可按照以下來進行:

1)首先使用3dMax構建相關模型，包括頭盔模型，機艙模型等;

2)用gMatrixMode(GL_PROJECTION)函數(shù)設置OpenGL的當前矩陣為投影矩陣;

3)根據(jù)攝像機標定結果建立并設置透視投影矩陣;

4)用gMulMatrixd(*point)函數(shù)將矩陣point加入當前的投射投影矩陣中;

5)調(diào)用glRotated函數(shù)設置攝影測量角度;

6)依據(jù)屏幕大小調(diào)用 glViewport(0，0，sx，sy)函數(shù)設置視口矩陣，sx和sy為窗口的寬和高。

仿真時，對頭盔預先設定好坐標值稱為預定坐標，經(jīng)過測量得到測量后的坐標值稱為仿真測量坐標。按照上述的步驟進行仿真，通過比較仿真測量坐標與預定坐標是否一致就能確定該定位模型的準確性。兩攝像機物體中心的初始距離設計為150 mm。四面體為底面三角形的邊長為80 mm，第4個頂點到底面三角形平面的距離為10 mm。頭盔的中心位置在攝像機的下前方，在XOY平面上，頭盔中心到攝像機中心的距離的X軸上為470 mm，在Y軸上的為350 mm。能夠模擬視角±10°至±50°的攝像機。能夠模擬攝像機的分辨率為:768×576，800×600，1280×1024，最好可以更自由地調(diào)整。轉向范圍為方位角±150°，俯仰角±60°，橫滾角 ±45°?？臻g移動范圍為前后方向 ±100 mm，左右方向±150 mm，上下方向±100 mm。

圖5所示為仿真平臺界面，在該平臺中可同時觀看3個方位的投影。

圖5 仿真平臺界面Fig.5 Simulation platform GUI

圖6所示為應用OpenGL 模擬攝像機拍攝的圖像，利用glFrustum()函數(shù)截取的棱錐體。

圖6 頭盔特征圖像的獲取Fig.6 Helmet eigen image acquirement

表1為頭盔預定方向與仿真結果的對比，實際方向為仿真范圍內(nèi)隨機生成數(shù)據(jù)，由測量結果可以看出在測量范圍內(nèi)相對誤差都小于1.4%，符合設計要求。

表1 預定坐標與仿真結果對比Table 1 The desired orientation and simulation result

3 結束語

本文對圖像式頭盔瞄準具的定位模型進行了分析并運用計算機仿真技術進行了工作過程的模擬及仿真。

系統(tǒng)中采用兩個攝像機，擴大了測量范圍，增加了系統(tǒng)冗余度。為了方便檢測，將燈組中LED燈設置為不同的顏色，利用彩色攝像機拍攝彩色圖像，分別檢測出每個燈。節(jié)約了立體匹配的時間，提高了立體匹配的精度。

構建仿真平臺進行定位過程的仿真，驗證了定位模型的可行性。仿真平臺不僅可以驗證圖像式頭盔瞄準系統(tǒng)是否能夠正常工作，也可以進行頭盔模型的設計，可節(jié)省前期設計投入資金，可節(jié)約設計的流程及時間。實驗表明，模型定位精確，計算速度快，能達到準確快速的定位要求。本文研究內(nèi)容對于頭盔瞄準系統(tǒng)分析與設計有一定幫助。

［1］趙興方.基于OPENGL的頭盔瞄準具虛擬仿真設計平臺研究［D］.濟南:山東大學，2009.

［2］孟舉，魏生民，羅興賢，等.基于視頻圖像處理的頭部位置跟蹤方法的探索［J］.航空精密制造技術，2007，43(2):29-32.

［3］LEE Y J，PARK C G，HONG S K.Helmet tracker system using stereo cameras［C］//SICE-ICASE International Joint Conference，2006:3636-3641.

［4］MENN A，KRIMERMAN J.System for measuring the angular displacement of an object［P］.USA，4896962，1990.

［5］ZINTSMASTER L R.Wide-Eye helmet mounted display system for rotorcraft applications［J］.IEEE AES Systems Magazine，1994，9(3):6-14.

［6］董耀榮，王永生.擴大光電頭盔瞄準具探測范圍的方法研究［J］.電光與控制，1999，6(3):1-5.

［7］葉曉彤.國外瞄準具和顯示器最新發(fā)展［J］.情報指揮控制系統(tǒng)與仿真技術，2003(11):20-33.

［8］陳濤，袁東，吳衡.頭盔顯示/瞄準系統(tǒng)仿真技術研究［J］.系統(tǒng)仿真學報，2008，20(8):2014-2017.

［9］章毓晉.圖像工程(下冊)圖像理解［M］.北京:清華大學出版社，2006.

［10］SHAPRO L G，STOCKMAN G C.Computer vision［M］.ZHAO Qingjie，QIAN Fang，CAI Lidong，譯.北京:China Machine Press，2005.

［11］ZHANG Z.A flexible new technique for camera calibration［J］.IEEE Transations on Pattern Analysis and Machine Intelligent，2000，22(11):1330-1334.

［12］蘇國中，鄭順義，張劍清，等.OpenGL模擬攝影測量方法研究［J］.中國圖象圖形學報，2006，11(4):540-544.