基于空間拓?fù)潢P(guān)系的目標(biāo)自動(dòng)跟蹤與位姿測量技術(shù)

晏暉 胡丙華

摘要：針對(duì)試飛光電測試中目標(biāo)運(yùn)動(dòng)軌跡姿態(tài)自動(dòng)化測量的問題，提出一種基于空間拓?fù)潢P(guān)系的目標(biāo)自動(dòng)識(shí)別跟蹤與位姿參數(shù)同步測量技術(shù)。首先通過對(duì)被測目標(biāo)表面的圓形標(biāo)志點(diǎn)密集布設(shè)、目標(biāo)運(yùn)動(dòng)過程的圖像高速采集、圓形標(biāo)志點(diǎn)不同視角下的自動(dòng)精確提取，實(shí)現(xiàn)目標(biāo)的自動(dòng)檢測;之后基于多點(diǎn)空間拓?fù)潢P(guān)系進(jìn)行同名像對(duì)的匹配，并結(jié)合雙攝像機(jī)的標(biāo)定參數(shù)進(jìn)行前方交會(huì)測量，實(shí)現(xiàn)目標(biāo)表面標(biāo)志點(diǎn)的三維重建;再采用基于多點(diǎn)空間拓?fù)浼s束、點(diǎn)距判定以及坐標(biāo)旋轉(zhuǎn)平移變換算法的點(diǎn)云塊配準(zhǔn)方法，實(shí)現(xiàn)目標(biāo)自動(dòng)跟蹤與運(yùn)動(dòng)過程的軌跡姿態(tài)參數(shù)測量。試驗(yàn)證明：該方法切實(shí)可行，可獲得亞毫米級(jí)的定位精度和優(yōu)于0.11°的定姿精度，且能夠全自動(dòng)處理，從而大大提升試飛測試中影像測量的數(shù)據(jù)處理效率，同時(shí)可為飛行影像數(shù)據(jù)自動(dòng)化、實(shí)時(shí)化處理提供一種有效技術(shù)手段。

關(guān)鍵詞：空間拓?fù)潢P(guān)系;目標(biāo)識(shí)別跟蹤;位姿測量;影像測量;點(diǎn)云塊配準(zhǔn);點(diǎn)距判定

中圖分類號(hào)：v217文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-5124（2019）04-0009-07

0引言

影像測量技術(shù)由于直觀性好、精度高等優(yōu)點(diǎn)，在試飛測試領(lǐng)域發(fā)揮著重要作用，主要用于機(jī)載武器系統(tǒng)發(fā)射、空中加油、機(jī)翼變形、飛機(jī)起降性能、空投空降等科目中，將運(yùn)動(dòng)過程記錄在二維影像上，為課題與試飛監(jiān)控指揮人員提供直觀的影像信息，同時(shí)通過圖像處理、特征識(shí)別、攝影測量計(jì)算，獲取運(yùn)動(dòng)目標(biāo)的位置、姿態(tài)與速度等測量信息。但受目標(biāo)識(shí)別技術(shù)的限制，該技術(shù)還未真正實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)自動(dòng)化測量，大部分處在事后數(shù)據(jù)處理階段，且需要較多的人工干預(yù)，不能滿足試飛任務(wù)密集、強(qiáng)度大等新形勢下測試科目對(duì)測量數(shù)據(jù)的實(shí)時(shí)或準(zhǔn)實(shí)時(shí)性需求。因此，研究適合航空飛行測試影像的自動(dòng)化處理技術(shù)對(duì)提升影像測量自動(dòng)化程度、處理效率，進(jìn)而實(shí)現(xiàn)實(shí)時(shí)目標(biāo)視頻圖像測量具有重要意義。

基于影像的目標(biāo)位姿測量自動(dòng)化處理的關(guān)鍵是目標(biāo)自動(dòng)識(shí)別跟蹤，其基礎(chǔ)是對(duì)目標(biāo)進(jìn)行表面處理以提高自動(dòng)識(shí)別能力，常用手段是粘貼或噴涂人工標(biāo)志。圓形標(biāo)志點(diǎn)由于其在攝影變換下保持橢圓形狀不變的特性，在攝影測量，尤其是高精度攝影測量應(yīng)用中的作用是舉足輕重的，圓形標(biāo)志點(diǎn)的識(shí)別和點(diǎn)中心計(jì)算是整個(gè)攝影測量的第1步，識(shí)別準(zhǔn)確性和定位精度直接影響整個(gè)系統(tǒng)的性能。針對(duì)圓形標(biāo)志點(diǎn)定位的研究有很多，國內(nèi)成熟的技術(shù)主要有基于高斯分布擬合的標(biāo)志點(diǎn)中心提取，利用Canny和其他圖像判據(jù)提取標(biāo)志點(diǎn)，橢圓擬合、灰度重心、灰度矩等方法，定位精度可以達(dá)到亞像素級(jí)。空間拓?fù)潢P(guān)系目前多用于GIS，是GIS空間關(guān)系理論的重要基礎(chǔ)，目前在點(diǎn)云配準(zhǔn)、影像跟蹤方面也開展了一定的研究，但可查閱的用于實(shí)際工程測量的相關(guān)研究資料很少。結(jié)合飛行試驗(yàn)中視頻成像條件、標(biāo)志點(diǎn)成像質(zhì)量及目標(biāo)位姿測量原理，本文提出了基于空間拓?fù)潢P(guān)系的目標(biāo)位姿自動(dòng)測量技術(shù)，利用Canny算法和Zemike矩相結(jié)合的類橢圓亞像素邊緣定位，結(jié)合最小二乘橢圓擬合法實(shí)現(xiàn)多個(gè)橢圓的自動(dòng)提取定位;經(jīng)影像匹配后進(jìn)行前方交會(huì)測量;對(duì)不同位置得到的點(diǎn)云塊依據(jù)其空間拓?fù)潢P(guān)系進(jìn)行配準(zhǔn)，獲得目標(biāo)軌跡姿態(tài)變化，即在目標(biāo)自動(dòng)識(shí)別跟蹤的同時(shí)實(shí)現(xiàn)目標(biāo)軌跡姿態(tài)的自動(dòng)測量。利用特征標(biāo)志點(diǎn)集的三維幾何拓?fù)潢P(guān)系，空間距離關(guān)系，通過尋優(yōu)可有效解決在點(diǎn)云配準(zhǔn)時(shí)特征標(biāo)志點(diǎn)群之間的搜索與匹配識(shí)別問題，提高匹配速度和精度。

1測量方案

1.1總體技術(shù)流程設(shè)計(jì)

以雙站交會(huì)測量方式實(shí)現(xiàn)目標(biāo)的位姿測量，其技術(shù)實(shí)現(xiàn)流程如圖1所示，主要包括攝像機(jī)精確標(biāo)定、密集圓形標(biāo)志點(diǎn)的提取、影像匹配與三維測量、三維點(diǎn)云配準(zhǔn)與軌跡姿態(tài)解算4部分內(nèi)容。

1.2基于編碼控制點(diǎn)的攝像機(jī)精確標(biāo)定

攝像機(jī)標(biāo)定的目的是獲得攝像機(jī)的內(nèi)外方位元素和光學(xué)畸變參數(shù)，為基于影像分析的目標(biāo)運(yùn)動(dòng)參數(shù)測量提供基準(zhǔn)。標(biāo)定計(jì)算的核心是共線條件方程：

考慮標(biāo)定效率、測量精度需求、編碼點(diǎn)唯一性特點(diǎn)，以及實(shí)際試驗(yàn)條件，此處以編碼點(diǎn)為控制點(diǎn)，采用基于光束法平差和空間后方交會(huì)原理實(shí)現(xiàn)攝像機(jī)內(nèi)外參分步標(biāo)定。

1.2.1基于光束法平差的攝像機(jī)內(nèi)參與畸變系數(shù)

標(biāo)定

以布設(shè)有多個(gè)編碼點(diǎn)（坐標(biāo)已知）的物體或墻面為標(biāo)定控制場，進(jìn)行多角度拍攝，獲取編碼點(diǎn)的序列影像，以編碼點(diǎn)的像點(diǎn)坐標(biāo)與物方坐標(biāo)為已知條件，根據(jù)共線條件方程式（1）獲得解算內(nèi)外方位

根據(jù)式（2）對(duì)每張影像中提取的編碼點(diǎn)列相應(yīng)的誤差方程進(jìn)行整體平差，可獲得精確的攝像機(jī)內(nèi)參與畸變系數(shù)。

1.2.2基于后方交會(huì)的攝像機(jī)外參標(biāo)定

在攝像機(jī)內(nèi)參與畸變參數(shù)已知的基礎(chǔ)上，根據(jù)共線條件方程，可得標(biāo)定計(jì)算誤差方程式為：

在攝像機(jī)視場內(nèi)均勻布設(shè)4個(gè)以上編碼點(diǎn)作為標(biāo)定控制點(diǎn)，同上布設(shè)4個(gè)左右檢查點(diǎn)，用于標(biāo)定精度的實(shí)測評(píng)估。利用全站儀構(gòu)建物方坐標(biāo)系，并獲得控制點(diǎn)和檢查點(diǎn)在物方坐標(biāo)系下的坐標(biāo);根據(jù)控制點(diǎn)的像方坐標(biāo)和物方坐標(biāo)，建立如式（3）的誤差方程，再進(jìn)行最小二乘平差獲得攝像機(jī)外方位元素。

1.3密集圓形標(biāo)志點(diǎn)的提取

1.3.1基于灰度直方圖的自適應(yīng)圖像二值化處理

首先對(duì)圖像進(jìn)行灰度化處理，對(duì)原始直方圖進(jìn)行兩次均值濾波，得到平滑的直方圖，按下式規(guī)則找出峰值集合：

其中，h（l）為直方圖原始值，L為灰度級(jí)數(shù)，θ為比例系數(shù)，可憑經(jīng)驗(yàn)設(shè)置，即如果此灰度是波峰且原直方圖中的值占有一定比例時(shí)，峰值被保留下來。

根據(jù)設(shè)定的閾值去除距離相近的峰值與波谷不明顯的峰值以進(jìn)行峰值篩選;當(dāng)留下來的峰值數(shù)小于等于設(shè)置值時(shí)，以其對(duì)直方圖進(jìn)行區(qū)間劃分。之后根據(jù)劃分好的區(qū)間，利用OTSU算法求取最佳局部閾值，以此對(duì)圖像進(jìn)行二值化處理。在二值化基礎(chǔ)上實(shí)現(xiàn)團(tuán)塊檢測，并根據(jù)面積和周長進(jìn)行非圓形標(biāo)志點(diǎn)的篩除。

1.3.2基于Canny算法與Zemike矩相結(jié)合的類

橢圓亞像素邊緣定位

對(duì)圖像進(jìn)行Canny邊緣提取，然后采用Snake方法對(duì)邊緣進(jìn)行優(yōu)化，濾除邊緣毛刺，其通過內(nèi)外力的共同作用將輪廓點(diǎn)收縮到圖像的特征點(diǎn)，再以

采用最小二乘非線性優(yōu)化算法對(duì)式（5）目標(biāo)函數(shù)進(jìn)行非線性遞歸搜索，即可求出橢圓中心（y0，x0），從而可以實(shí)現(xiàn)類橢圓中心的亞像素定位。

1.4基于多點(diǎn)空間拓?fù)潢P(guān)系的影像匹配

1.4.1基于視覺感受域的影像特征描述子構(gòu)建

在構(gòu)建區(qū)域圖像描述子時(shí)，對(duì)于其中的任意一點(diǎn)pi可以得到一個(gè)具有同心環(huán)形結(jié)構(gòu)的特征RFPi，其反映了感受域的基本模式。

對(duì)于較大的圖像區(qū)域，圖像內(nèi)容的結(jié)構(gòu)復(fù)雜性與語義多樣性將隨著其空間尺度的增加而增加。因此，為了對(duì)這種視覺感受域的特性進(jìn)行表征，將感受域模式RFP在尺度空間上進(jìn)行進(jìn)一步的擴(kuò)展。其基本思想是，基于每一個(gè)像素點(diǎn)，將采樣獲得多個(gè)尺度的感受域模式，使其具有遞增的大小。如圖2所示，位于像素pi上的多尺度感受域模式RFP可以通過以下方式獲?。?/p>

依此構(gòu)建的圖像描述子能夠?qū)Σ煌叨扰c復(fù)雜性的圖像結(jié)構(gòu)進(jìn)行更加綜合地表征，從而得到具有更好描述能力與魯棒性的圖像描述算法。

1.4.2基于多點(diǎn)空間拓?fù)潢P(guān)系的點(diǎn)集形狀提取

根據(jù)感知qj的結(jié)構(gòu)四鄰域中是否存在其他鄰域點(diǎn)來對(duì)qj的結(jié)構(gòu)類型進(jìn)行編碼，如圖3所示。

此編碼方式可以對(duì)點(diǎn)集中某點(diǎn)的鄰域底層結(jié)構(gòu)進(jìn)行抽象，從而得到一些具有代表性的基礎(chǔ)形狀。

對(duì)于點(diǎn)pi周圍局部區(qū)域的所有點(diǎn)qj都可以獲得相應(yīng)的鄰域形狀編碼。根據(jù)構(gòu)建形狀直方圖的思想，如果直接基于此結(jié)果對(duì)所有qj進(jìn)行形狀直方圖累積，將會(huì)損失大量空間結(jié)構(gòu)信息，因此需要進(jìn)一步基于形狀向量集合進(jìn)行具有魯棒性的空間池化操作，從而得到更加綜合的點(diǎn)集局部結(jié)構(gòu)形狀表征?？臻g池化操作如圖4所示。

基于局部結(jié)構(gòu)的點(diǎn)集形狀提取算法在基本形狀編碼與池化時(shí)利用了相對(duì)坐標(biāo)系，能夠更好地應(yīng)對(duì)點(diǎn)集旋轉(zhuǎn)的情況，對(duì)于點(diǎn)集內(nèi)部的拓?fù)潢P(guān)系進(jìn)行了綜合表征，有利于后續(xù)影像準(zhǔn)確匹配。

1.4.3K近鄰匹配與比率測試相結(jié)合的影像匹配

描述符匹配的結(jié)果是得到兩個(gè)描述符集合之間對(duì)應(yīng)關(guān)系的列表。為提高匹配速度，可以在調(diào)用匹配函數(shù)之前，訓(xùn)練一個(gè)匹配器，建立描述符索引樹，然后找到每個(gè)描述符的K近鄰匹配，從而實(shí)現(xiàn)與查詢描述符的匹配。

為了盡量減少錯(cuò)誤的對(duì)應(yīng)關(guān)系，采用離群值刪除技術(shù)中比率測試與K近鄰匹配相結(jié)合。在進(jìn)行K近鄰（KNN）匹配，根據(jù)設(shè)定的K值，對(duì)每個(gè)匹配返回K個(gè)最近鄰描述符。若K=2，表示僅當(dāng)?shù)谝粋€(gè)匹配與第二個(gè)匹配之間的距離比率足夠大時(shí)（比率的閾值通常為2左右），才認(rèn)為是一個(gè)正確匹配。比率測試可刪除幾乎所有的異常值。

1.4.4前方交會(huì)測量獲得點(diǎn)云塊解算出每塊點(diǎn)云的R和T后，利用R和T對(duì)值的點(diǎn)則位于節(jié)點(diǎn)的右子樹。以此類推，各個(gè)維循環(huán)往復(fù)。直到一個(gè)節(jié)點(diǎn)中的點(diǎn)數(shù)少于給定的最大點(diǎn)數(shù)，劃分結(jié)束。以此建立散亂點(diǎn)云的空間拓?fù)潢P(guān)系。每個(gè)數(shù)據(jù)點(diǎn)的K鄰近就可以由其所在的樹節(jié)點(diǎn)中進(jìn)行查找，從而建立每個(gè)測量點(diǎn)的K鄰近關(guān)系。試驗(yàn)中需根據(jù)處理數(shù)據(jù)的特點(diǎn)與測試效果進(jìn)行K值的預(yù)設(shè)。

1.5.2點(diǎn)云配準(zhǔn)與目標(biāo)軌跡姿態(tài)解算

為減少兩個(gè)特征點(diǎn)集中非同名點(diǎn)對(duì)點(diǎn)云配準(zhǔn)計(jì)算效率和可靠性的影響，可在配準(zhǔn)計(jì)算前進(jìn)行兩點(diǎn)云塊中標(biāo)志點(diǎn)的匹配，以獲得標(biāo)志點(diǎn)一一對(duì)應(yīng)關(guān)系。根據(jù)標(biāo)志點(diǎn)的空間特征不變性，若（pi，qj）為標(biāo)志點(diǎn)對(duì)，必滿足如下兩個(gè)判據(jù)。

判據(jù)1：pi到標(biāo)志點(diǎn)集s中每個(gè)點(diǎn)的距離依次與匹配點(diǎn)qj到標(biāo)志點(diǎn)集T中所有點(diǎn)的距離相比較，滿足下式的總個(gè)數(shù)最多。

2試驗(yàn)驗(yàn)證與分析

根據(jù)前述方法需求與算法原理，利用Vc++平臺(tái)實(shí)現(xiàn)攝像機(jī)標(biāo)定計(jì)算、密集圓形標(biāo)志點(diǎn)提取、影像匹配與三維坐標(biāo)測量、三維點(diǎn)云配準(zhǔn)與軌跡姿態(tài)測量、數(shù)據(jù)優(yōu)化與曲線顯示等功能，并在實(shí)驗(yàn)室進(jìn)行了準(zhǔn)確性與可靠性驗(yàn)證。通過在實(shí)驗(yàn)室架設(shè)2臺(tái)高速攝像機(jī)構(gòu)成測量系統(tǒng)平臺(tái)，以布設(shè)有較密集圓形標(biāo)志點(diǎn)的箱子作為被測目標(biāo)，試驗(yàn)進(jìn)行了2臺(tái)攝像機(jī)的精確標(biāo)定，目標(biāo)運(yùn)動(dòng)過程的視頻采集，目標(biāo)上圓形標(biāo)志點(diǎn)的自動(dòng)識(shí)別跟蹤與軌跡姿態(tài)參數(shù)解算等工作，驗(yàn)證了方法的有效可靠性。

2.1攝像機(jī)標(biāo)定

以實(shí)驗(yàn)室墻面上布設(shè)的坐標(biāo)已知的編碼點(diǎn)作為控制點(diǎn)進(jìn)行攝像機(jī)的標(biāo)定。首先連續(xù)變動(dòng)兩高速攝像機(jī)的位置與角度，獲得控制點(diǎn)的序列影像，進(jìn)行光束法平差的攝像機(jī)內(nèi)參與成像畸變系數(shù)標(biāo)定;然后固定兩高速攝像機(jī)，獲得控制點(diǎn)的成像，進(jìn)行基于后方交會(huì)的外參標(biāo)定。兩臺(tái)攝像機(jī)標(biāo)定影像見圖5。

以其中較大的編碼點(diǎn)作為此次試驗(yàn)標(biāo)定計(jì)算的編碼控制點(diǎn)，經(jīng)檢核計(jì)算，兩攝像機(jī)交會(huì)測量的標(biāo)定精度如表l所示（以其中能精確識(shí)別計(jì)算的11個(gè)編碼標(biāo)志點(diǎn)進(jìn)行誤差統(tǒng)計(jì)分析）。

以編碼點(diǎn)為控制點(diǎn)進(jìn)行攝像機(jī)標(biāo)定，有助于程序自動(dòng)實(shí)現(xiàn)編碼點(diǎn)提取及其與物方控制點(diǎn)數(shù)據(jù)的一一配對(duì)關(guān)系;由表1可以看出，試驗(yàn)采用攝像機(jī)標(biāo)定方法取得了優(yōu)于0.2mm的實(shí)際檢核精度，可滿足后續(xù)的目標(biāo)軌跡姿態(tài)測量的精度需求。

2.2影像圓形標(biāo)志點(diǎn)提取與匹配

在一個(gè)箱體上粘貼多個(gè)圓形小標(biāo)志點(diǎn)，推動(dòng)箱體使其做平移和翻轉(zhuǎn)下落的運(yùn)動(dòng)，攝像機(jī)同步采集箱體運(yùn)動(dòng)視頻影像，圓形標(biāo)志點(diǎn)在攝像機(jī)視場中成像的個(gè)數(shù)隨著運(yùn)動(dòng)由少變多再到變少，該方法有效擴(kuò)大了測量范圍，也造成了影像處理的復(fù)雜度;利用文中所述方法進(jìn)行圓形標(biāo)志點(diǎn)的提取與同名影像對(duì)的標(biāo)志點(diǎn)匹配，其效果如圖6所示。

由圖可知，目標(biāo)上密集圓形標(biāo)志點(diǎn)實(shí)現(xiàn)了自動(dòng)提取與準(zhǔn)確匹配，說明該方法選擇圓形標(biāo)志作為特征點(diǎn)，利用成熟的canny算子粗定位和zemike亞像素級(jí)定位相結(jié)合的特征點(diǎn)跟蹤方法可實(shí)現(xiàn)圓形標(biāo)志點(diǎn)的完全自動(dòng)提取;利用多點(diǎn)空間拓?fù)潢P(guān)系、K近鄰匹配及比例測試相結(jié)合的特征匹配策略，確保影像匹配的魯棒性與可靠性。

2.3目標(biāo)軌跡與姿態(tài)測量

經(jīng)同名影像對(duì)匹配后，依據(jù)前方交會(huì)原理實(shí)現(xiàn)某一時(shí)刻箱體上密集圓形標(biāo)志點(diǎn)的三維坐標(biāo)測量;然后根據(jù)不同時(shí)刻的圓形標(biāo)志點(diǎn)構(gòu)成的點(diǎn)云塊進(jìn)行配準(zhǔn)計(jì)算，獲得箱體整個(gè)運(yùn)動(dòng)過程的軌跡與姿態(tài)變化，其數(shù)據(jù)曲線如下圖7和圖8所示。

從圖中可以看出，目標(biāo)在運(yùn)動(dòng)過程中有平移、翻轉(zhuǎn)、下落動(dòng)作;圖8顯示了目標(biāo)以第一幀影像狀態(tài)為基準(zhǔn)的姿態(tài)變化情況，滾轉(zhuǎn)角變化很大，與視頻拍攝的實(shí)際情況一致，同時(shí)，從實(shí)際測角中誤差變化曲線看出，測姿誤差優(yōu)于0.11°，說明了該測量方法的準(zhǔn)確性和可靠性。

3結(jié)束語

通過上述試驗(yàn)證明，本文提出的基于空間拓?fù)潢P(guān)系的目標(biāo)軌跡姿態(tài)自動(dòng)測量方法準(zhǔn)確可靠。該方法采用圓形標(biāo)志點(diǎn)作為跟蹤對(duì)象，保證了標(biāo)志點(diǎn)跟蹤定位精度;采用密集圓形標(biāo)志點(diǎn)布設(shè)模式避免了試飛影像測量中以往跟蹤單一點(diǎn)會(huì)隨著目標(biāo)運(yùn)動(dòng)出現(xiàn)丟失的情況，保證了目標(biāo)整個(gè)運(yùn)動(dòng)過程的穩(wěn)定跟蹤與測量;可實(shí)現(xiàn)單站或多站測量數(shù)據(jù)的全自動(dòng)化處理，適用于多種型號(hào)的類似剛性結(jié)構(gòu)目標(biāo)的軌跡姿態(tài)測量。將相關(guān)算法進(jìn)一步優(yōu)化，并提高設(shè)備處理性能，可實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)跟蹤測量，為試飛影像數(shù)據(jù)自動(dòng)化、實(shí)時(shí)化處理提供一種有效技術(shù)手段。