不同時(shí)間信息條件下多目軌跡交會(huì)測(cè)量點(diǎn)目標(biāo)運(yùn)動(dòng)的方法*

李 鑫，劉建男，楊 夏，于起峰

(1.國(guó)防科技大學(xué)航天科學(xué)與工程學(xué)院，湖南長(zhǎng)沙410073;2.國(guó)防科技大學(xué)圖像測(cè)量與視覺(jué)導(dǎo)航湖南省重點(diǎn)實(shí)驗(yàn)室，湖南長(zhǎng)沙410073)

在攝像測(cè)量與計(jì)算機(jī)視覺(jué)領(lǐng)域中，利用三角交會(huì)對(duì)目標(biāo)進(jìn)行測(cè)量［1］具有重要的研究和應(yīng)用價(jià)值。通常，按照相機(jī)個(gè)數(shù)可以將其分為單目或多目情況，而按照相機(jī)與目標(biāo)是否運(yùn)動(dòng)又可分為靜止相機(jī)對(duì)靜止目標(biāo)，靜止相機(jī)對(duì)運(yùn)動(dòng)目標(biāo)，運(yùn)動(dòng)相機(jī)對(duì)靜止目標(biāo)，運(yùn)動(dòng)相機(jī)對(duì)運(yùn)動(dòng)目標(biāo)的情況。多目靜止相機(jī)對(duì)靜止目標(biāo)的測(cè)量是最常見(jiàn)的三角交會(huì)測(cè)量［2］。

假設(shè)目標(biāo)為點(diǎn)目標(biāo)，不利用其他信息，如距離等，是無(wú)法用單目靜止相機(jī)對(duì)目標(biāo)進(jìn)行測(cè)量的，而單目運(yùn)動(dòng)相機(jī)則可以。針對(duì)這種情況，張小虎［3］、于起峰［4］在假設(shè)目標(biāo)為時(shí)間多項(xiàng)式運(yùn)動(dòng)前提下提出了單目運(yùn)動(dòng)軌跡交會(huì)法。而在沒(méi)有時(shí)間信息，也就是在只有測(cè)量視線的情況下，Avidan［5］給出了目標(biāo)直線運(yùn)動(dòng)的線性解和二次運(yùn)動(dòng)的迭代解，其線性方法利用直線的Plucker表達(dá)，推導(dǎo)了像點(diǎn)與待求目標(biāo)軌跡直線的Plucker參數(shù)的線性關(guān)系，從而可以線性求解目標(biāo)的軌跡。

傳統(tǒng)的多目測(cè)量情況，若觀測(cè)同步，且存在目標(biāo)出現(xiàn)在重疊視場(chǎng)中，則可以直接進(jìn)行交會(huì)。桂陽(yáng)［6］在文獻(xiàn)［4］的基礎(chǔ)上提出一種多目運(yùn)動(dòng)軌跡交會(huì)法，其要求多相機(jī)之間的時(shí)間已經(jīng)完全對(duì)準(zhǔn)。對(duì)于多目無(wú)重疊視場(chǎng)的情況，Pflugfelder［7］在假設(shè)目標(biāo)運(yùn)動(dòng)為平滑軌跡的情況下對(duì)目標(biāo)進(jìn)行定位和軌跡重建，而Micusik［8］為了消除多解性，假設(shè)存在一定的深度排序的先驗(yàn)信息，利用二階錐規(guī)劃(second order cone program)對(duì)目標(biāo)軌跡進(jìn)行重建。針對(duì)三目情況，Shashua［9］提出利用一種單應(yīng)張量恢復(fù)點(diǎn)的直線運(yùn)動(dòng)軌跡。而本質(zhì)上，多目無(wú)重疊視場(chǎng)的情況與單目運(yùn)動(dòng)相機(jī)對(duì)運(yùn)動(dòng)點(diǎn)目標(biāo)進(jìn)行測(cè)量的情況是等價(jià)的。

參考這些方法，針對(duì)多相機(jī)對(duì)點(diǎn)目標(biāo)的運(yùn)動(dòng)軌跡測(cè)量，李鑫等提出不同時(shí)間信息條件下的多目軌跡交會(huì)法。本方法不僅將單目擴(kuò)展為多目，并且給出了在不同測(cè)量時(shí)間信息條件下的測(cè)量模型，使得其能適應(yīng)多相機(jī)之間觀測(cè)時(shí)間不同步，或者時(shí)間不對(duì)準(zhǔn)，甚至無(wú)時(shí)間信息的情況。在多目情況下，由于不要求相機(jī)必須運(yùn)動(dòng)才能對(duì)目標(biāo)進(jìn)行測(cè)量，因此該方法均能適應(yīng)相機(jī)運(yùn)動(dòng)或靜止情況。同時(shí)，本方法也能適應(yīng)多個(gè)相機(jī)之間視場(chǎng)不重疊的情況。

1 測(cè)量模型

假設(shè)目標(biāo)的運(yùn)動(dòng)軌跡為時(shí)間的多項(xiàng)式表達(dá)，則在t時(shí)刻目標(biāo)的位置可以用參數(shù)表示為

其中，每一個(gè)θk為3×1的列向量，n為目標(biāo)的運(yùn)動(dòng)時(shí)間多項(xiàng)式階次。在這種假設(shè)下，目標(biāo)的軌跡即由目標(biāo)運(yùn)動(dòng)軌跡參數(shù)θk確定。而不同的時(shí)間參數(shù)t則表示目標(biāo)在軌跡上的不同位置。

矩陣計(jì)算公式為

將式(1)寫成矩陣表達(dá)形式為

假設(shè)相機(jī)內(nèi)外參都已經(jīng)標(biāo)定，第i個(gè)相機(jī)的第j觀測(cè)時(shí)刻為ti，j，相機(jī)的位置為C i，j，通過(guò)圖像目標(biāo)像點(diǎn)提取，在已知相機(jī)內(nèi)外參的情況下，設(shè)為控制點(diǎn)投影到歸一化像面上的像點(diǎn)坐標(biāo)，則可以獲得目標(biāo)相對(duì)于相機(jī)的指向單位矢量在世界坐標(biāo)系下為R為相機(jī)的姿態(tài)矩陣，目標(biāo)此時(shí)的位置為P i，j。參考文獻(xiàn)［10］，物方殘差可以表示為其中為誤差投影矩陣，NC為相機(jī)的個(gè)數(shù)，NCi為第i個(gè)相機(jī)對(duì)目標(biāo)觀測(cè)的圖像總數(shù)。物方殘差本質(zhì)上表示世界點(diǎn)到觀測(cè)視線的垂直距離。

以雙相機(jī)為例，圖1給出了兩個(gè)相機(jī)存在重疊視場(chǎng)的情況下對(duì)目標(biāo)進(jìn)行觀測(cè)交會(huì)測(cè)量的示意圖。兩個(gè)相機(jī)的觀測(cè)視線沒(méi)有完全交叉于目標(biāo)，表示相機(jī)之間觀測(cè)并不同步。

圖1 多(雙)目測(cè)量運(yùn)動(dòng)點(diǎn)目標(biāo)軌跡問(wèn)題描述Fig.1 Description of a point target trajectory measurement by multi-camera

測(cè)量過(guò)程中，除了給出了觀測(cè)目標(biāo)的視線，有時(shí)也給出了觀測(cè)的時(shí)間信息，也就是成像時(shí)刻的時(shí)間。分為三種情況:第一，相機(jī)時(shí)間已對(duì)準(zhǔn)的情況，指對(duì)目標(biāo)觀測(cè)的每一條測(cè)量視線獲取的時(shí)間已經(jīng)統(tǒng)一到同一個(gè)參考時(shí)間上;第二，時(shí)間沒(méi)對(duì)準(zhǔn)的情況，指每一個(gè)相機(jī)都有一個(gè)自己的時(shí)間系統(tǒng)，而彼此之間則沒(méi)有將時(shí)間對(duì)準(zhǔn)，這種情況下，相當(dāng)于不同相機(jī)之間有一個(gè)系統(tǒng)時(shí)間誤差;第三，沒(méi)有時(shí)間信息情況，指相機(jī)只能進(jìn)行觀測(cè)，而無(wú)時(shí)間輸出，也就是說(shuō)觀測(cè)量只有觀測(cè)視線。

2 多目軌跡交會(huì)法

針對(duì)不同的時(shí)間測(cè)量信息，相對(duì)應(yīng)地，提出的多目軌跡交會(huì)法也將分為三種情況。

2.1 時(shí)間已對(duì)準(zhǔn)的情況

此種情況指，多個(gè)相機(jī)之間的時(shí)間系統(tǒng)已經(jīng)對(duì)準(zhǔn)，也就是對(duì)目標(biāo)觀測(cè)的每一條視線的獲取時(shí)間已經(jīng)確定，也就是式(3)中的ti，j已經(jīng)確定，那么式(4)中的Ti，j也已經(jīng)確定。據(jù)此，為了求解目標(biāo)的軌跡，通過(guò)最小化下面的物方殘差平方和目標(biāo)函數(shù)，求取目標(biāo)軌跡運(yùn)動(dòng)參數(shù)。

不難看出，最小化式(5)就是求解下面的最小二乘問(wèn)題

這樣求得了目標(biāo)軌跡的參數(shù)，也就得到了目標(biāo)的軌跡?？梢钥闯?，此種方法對(duì)多個(gè)相機(jī)的視場(chǎng)重疊并無(wú)要求。

2.2 時(shí)間未對(duì)準(zhǔn)的情況

時(shí)間未對(duì)準(zhǔn)指各個(gè)相機(jī)之間還存在一個(gè)系統(tǒng)時(shí)間差，也就是除了需要估計(jì)目標(biāo)的軌跡，還需要求解每一個(gè)相機(jī)的系統(tǒng)時(shí)間差。假設(shè)存在一個(gè)統(tǒng)一的參考時(shí)間系統(tǒng)，第i個(gè)相機(jī)與統(tǒng)一的參考時(shí)間系統(tǒng)的系統(tǒng)時(shí)間偏差為，則目標(biāo)的位置表示式(3)中的時(shí)間矩陣i，j變?yōu)?/p>

因此，總的殘差平方和表示為

顯然，式(10)為一個(gè)非線性最小二乘問(wèn)題，無(wú)法通過(guò)有效的線性方法進(jìn)行求解，為此，設(shè)計(jì)一種迭代算法進(jìn)行求解。

下面描述在Θ已知的情況，如何最小化式(9)求。

若Θ已知，則也已知，則物方殘差式(4)變?yōu)?/p>

將式(8)代入式(11)，再設(shè)

可見(jiàn)fj)函數(shù)為一個(gè)2n次多項(xiàng)式，因此在Θ已知的情況下，式(9)也僅為一個(gè)的2n次多項(xiàng)式。為了最小化式(9)，通過(guò)求導(dǎo)為零，也就是求解一個(gè)一元2n－1次方程，即可求解出。

由于統(tǒng)一的參考時(shí)間系統(tǒng)可以任意選，因此不妨選擇第一個(gè)相機(jī)的時(shí)間系統(tǒng)作為參考，則=0。

針對(duì)上述迭代方法，初值可以選擇相機(jī)之間時(shí)間差或者目標(biāo)軌跡參數(shù)初值。對(duì)于時(shí)間相差初值，可以使用所有的?ti=0，或者人為地估計(jì)相機(jī)之間時(shí)間相差的大概值。對(duì)于目標(biāo)軌跡初值，可以先假設(shè)目標(biāo)為直線運(yùn)動(dòng)軌跡，利用文獻(xiàn)［5］的線性方法求解軌跡參數(shù)的初值。

2.3 無(wú)時(shí)間信息的情況

無(wú)時(shí)間信息，指觀測(cè)量只有觀測(cè)視線，而無(wú)相機(jī)拍攝圖像的時(shí)間信息。因此，也不要求相機(jī)等頻拍攝。也就是所有的ti，j都是未知數(shù)。仍然期望最小化物方殘差平方和求取目標(biāo)軌跡參數(shù)Θ和所有時(shí)間信息ti，j，也就是最小化式(13)。

采用跟上一節(jié)時(shí)間未對(duì)準(zhǔn)情況類似的迭代方法。若所有ti，j已知，則可以利用3.1節(jié)求解最優(yōu)的Θ。若Θ已知，則有

可見(jiàn)，gi，j(ti，j)也是一個(gè)2n次多項(xiàng)式，為了使其最小化，可以通過(guò)求解一個(gè)一元2n－1次方程，求解出ti，j。對(duì)于目標(biāo)軌跡的初值，仍然可以使用文獻(xiàn)［5］的線性方法求解軌跡的初值。

時(shí)間信息本質(zhì)上表示目標(biāo)在運(yùn)動(dòng)軌跡上的位置信息。對(duì)于上述三種情況，第一種最常見(jiàn)，因?yàn)榇蟛糠智闆r下，時(shí)間系統(tǒng)均已經(jīng)對(duì)準(zhǔn)，此時(shí)多目軌跡交會(huì)法只需要求解一個(gè)線性最小二乘問(wèn)題。而后兩種情況，由于存在未知的時(shí)間參數(shù)，原問(wèn)題轉(zhuǎn)化為不僅要求目標(biāo)軌跡還需要求未知時(shí)間參數(shù)的非線性最小二乘問(wèn)題，因此，使用迭代方法求解。

3 實(shí)驗(yàn)

3.1 仿真實(shí)驗(yàn)

為了驗(yàn)證李鑫等提出的多目軌跡交會(huì)法的有效性和精度，參考靶場(chǎng)的測(cè)量目標(biāo)運(yùn)動(dòng)的條件，擬采用下面的仿真條件:

目標(biāo)做勻速直線飛行，初始位置為［0 0 100m］T，速度為［0 0－1000m/s］T。采用雙目交會(huì)測(cè)量。兩個(gè)相機(jī)的位置為［1000m 0 0］T、［0 1000m 0］T，且保持靜止。為了對(duì)目標(biāo)軌跡進(jìn)行成像，設(shè)相機(jī)的光軸均指向點(diǎn)［0 0 50m］T，從而兩個(gè)相機(jī)都可以對(duì)目標(biāo)軌跡進(jìn)行成像。兩個(gè)相機(jī)的拍攝頻率均為1kHz。兩個(gè)相機(jī)的內(nèi)參均為

假設(shè)第一個(gè)相機(jī)對(duì)目標(biāo)從初始位置開(kāi)始連續(xù)有效成像50幅圖，第二個(gè)相機(jī)則連續(xù)有效成像100幅圖。

通過(guò)幾種交會(huì)算法的計(jì)算，比較對(duì)目標(biāo)的定位誤差，計(jì)算公式為:

其中，P g，i，j表示目標(biāo)位置的真值，N表示總的圖像數(shù)目，且

比較下列五種算法的計(jì)算結(jié)果:

1)先交會(huì)再擬合，表示先在每一時(shí)刻對(duì)目標(biāo)進(jìn)行交會(huì)后，再進(jìn)行擬合的算法。

2)Avidan，文獻(xiàn)［5］中線性交會(huì)直線軌跡的算法。

3)方法1，時(shí)間已經(jīng)完全對(duì)準(zhǔn)的情況下的多目軌跡交會(huì)算法。

4)方法2，相機(jī)之間時(shí)間未對(duì)準(zhǔn)的情況下的多目軌跡交會(huì)算法。以Avidan算法為初值。

5)方法3，在沒(méi)有時(shí)間信息的情況下的多目軌跡交會(huì)算法。以Avidan算法為初值。

假設(shè)兩個(gè)相機(jī)之間的時(shí)間已經(jīng)對(duì)準(zhǔn)。加入圖像高斯噪聲的水平從0.2pixel逐漸變化到2pixel的情況下，統(tǒng)計(jì)獨(dú)立仿真1000次的目標(biāo)定位誤差的平均值，計(jì)算結(jié)果如圖2所示。

圖2 五種算法在不同噪聲情況下的目標(biāo)定位誤差Fig.2 Position errors of five methods at varying noise levels

從圖2中可以看出，由于時(shí)間已經(jīng)對(duì)準(zhǔn)，Avidan方法和方法3由于不使用時(shí)間信息，因此精度較低，且當(dāng)噪聲較大時(shí)，Avidan方法對(duì)噪聲更加敏感。而先交會(huì)再擬合方法，利用前面50幀交會(huì)后再進(jìn)行擬合，實(shí)際上擬合的時(shí)候已經(jīng)使用了時(shí)間信息。但由于單目不能交會(huì)，因此，其無(wú)法使用第二個(gè)相機(jī)的后50幀圖像信息。方法1則有效利用了所有的觀測(cè)量，因此精度最高。而方法2假設(shè)兩個(gè)相機(jī)之間存在一個(gè)時(shí)間系統(tǒng)差，并對(duì)其進(jìn)行估計(jì)，相當(dāng)于只增加了一個(gè)多余的未知量，因此精度與方法1接近。

假設(shè)圖像目標(biāo)提取噪聲水平固定為0.2pixel，兩個(gè)相機(jī)之間存在系統(tǒng)時(shí)間差。第一個(gè)相機(jī)的時(shí)間不變，作為參考時(shí)間，第二個(gè)相機(jī)的時(shí)間與參考時(shí)間相差從0ms增加到10ms，也就是由于時(shí)間信息的偏差，兩個(gè)相機(jī)之間的圖像對(duì)應(yīng)發(fā)生了錯(cuò)位?？紤]到相機(jī)的頻率為1kHz，則時(shí)間相差1ms就表示圖像錯(cuò)位了1幀，相差10ms就錯(cuò)位了10幀?？疾爝@種情況下五種算法的目標(biāo)定位精度，結(jié)果見(jiàn)表1。可以看出，先交會(huì)再擬合法以及方法1精度隨著時(shí)間偏差的增大，目標(biāo)定位誤差越來(lái)越大。因?yàn)閮烧叨贾苯邮褂昧讼鄼C(jī)自身的有偏差的時(shí)間信息。其他三種方法誤差較小，特別是方法2，因?yàn)槠溆行褂昧讼鄼C(jī)自身的時(shí)間，使用的模型是最準(zhǔn)確的，因此定位誤差最小，精度最高。

表1 不同時(shí)間偏差情況下的五種算法的目標(biāo)定位誤差Tab.1 Position errors of five methods at varying time bias levels

3.2 真實(shí)實(shí)驗(yàn)

真實(shí)實(shí)驗(yàn)采用靶場(chǎng)采集的真實(shí)目標(biāo)圖像和相機(jī)標(biāo)定數(shù)據(jù)，目的是測(cè)量彈頭末段打擊靶標(biāo)前的位置和速度。

采用雙目交會(huì)模式。第一個(gè)相機(jī)有效成像68幀，第二個(gè)相機(jī)有效成像14幀，第二個(gè)相機(jī)有效成像幀數(shù)少，原因是實(shí)際實(shí)驗(yàn)是多個(gè)彈頭陸續(xù)打擊同一靶標(biāo)。這樣，非首發(fā)彈頭會(huì)受到前面彈頭打擊靶標(biāo)后靶標(biāo)周圍存在煙塵的遮擋，導(dǎo)致有效成像幀數(shù)較少。兩個(gè)相機(jī)交會(huì)角約為35°，拍攝頻率均為1kHz，且時(shí)間均已通過(guò)各自時(shí)統(tǒng)設(shè)備與GPS時(shí)間統(tǒng)一，也就是兩個(gè)相機(jī)的時(shí)間已經(jīng)對(duì)準(zhǔn)，但是不能保證兩個(gè)相機(jī)拍攝完全同步。

求解過(guò)程中，假設(shè)彈頭做勻速直線運(yùn)動(dòng)，也就是對(duì)目標(biāo)采用時(shí)間的一次多項(xiàng)式標(biāo)達(dá)。以上五種方法求解的目標(biāo)位置如圖3所示。圖3中，兩個(gè)黑色棱形表示兩個(gè)相機(jī)的位置，箭頭表示相機(jī)光軸的指向。從交會(huì)目標(biāo)軌跡的位置可以看出，除了Avidan方法，其他四種方法求得的目標(biāo)軌跡位置比較接近。而五種方法得到的重投影物方殘差依次分別為0.190m，12.343m，0.060m，0.043m和0.004m?？梢钥闯隼铞蔚忍岢龅亩嗄寇壽E交會(huì)法，也就是后三種方法殘差均很小。值得注意的是，方法2并不需要時(shí)統(tǒng)對(duì)兩個(gè)相機(jī)的時(shí)間對(duì)準(zhǔn)。而方法3由于僅僅使用視線測(cè)量信息，因此，更是不需要已知相機(jī)的拍攝頻率。真實(shí)實(shí)驗(yàn)結(jié)果表明了多目軌跡交會(huì)算法的有效性。

圖3 真實(shí)實(shí)驗(yàn)配置及目標(biāo)軌跡求解結(jié)果Fig.3 Real data experiment setup and result of target trajectory computation

實(shí)際中，可以根據(jù)不同的時(shí)間信息測(cè)量情況從三種方法中選擇對(duì)應(yīng)的方法。若時(shí)間系統(tǒng)已經(jīng)完全對(duì)齊，則采用方法1;若多個(gè)相機(jī)僅有自身的時(shí)間信息，而彼此之間時(shí)間沒(méi)有對(duì)齊，則采用方法2;若沒(méi)有時(shí)間信息，則采用方法3。

4 結(jié)論

本文針對(duì)靶場(chǎng)中多個(gè)相機(jī)對(duì)目標(biāo)的運(yùn)動(dòng)測(cè)量，提出多目軌跡交會(huì)法。根據(jù)不同的時(shí)間信息，采用不同的模型求解。相對(duì)于傳統(tǒng)的先交會(huì)再擬合的方法，該方法不但精度高，而且能適應(yīng)觀測(cè)不同步，時(shí)間未對(duì)準(zhǔn)，甚至無(wú)時(shí)間信息的情況。仿真和真實(shí)實(shí)驗(yàn)驗(yàn)證了該方法的有效性和精度。下一步將研究采用不同的目標(biāo)運(yùn)動(dòng)階次以及相機(jī)運(yùn)動(dòng)對(duì)算法的影響。

References)

［1］于起峰，尚洋.攝像測(cè)量學(xué)原理與應(yīng)用研究［M］.北京:科學(xué)出版社，2009.YU Qifeng，SHANG Yang.Videometrics:principles and researches［M］.Beijing:Science Press，2009.(in Chinese)

［2］Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.2nd ed.UK:Cambridge University Press，2004.

［3］張小虎，邸慧，周劍，等.一種單像機(jī)對(duì)運(yùn)動(dòng)目標(biāo)定位的新方法［J］.國(guó)防科技大學(xué)學(xué)報(bào)，2006，28(5):114－118.ZHANG Xiaohu，DI hu，ZHOU Jian，et al.A new method for moving target positioning under the condition of monocular camera［J］.Journal of National University of Defense Technology，2006，28(5):114－118.(in Chinese)

［4］Yu Q F，Shang Y，Zhou J，et al.Monocular trajectory intersection method for 3D motion measurement of a point target［J］.Science in China Series E:Technological Sciences，2009，52(12):3454－3463.

［5］Avidan S，Shashua A.Trajectory triangulation 3D reconstruction of moving points from a monocular image sequence［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(4):348－357.

［6］桂陽(yáng).基于機(jī)載視覺(jué)的無(wú)人機(jī)自主著艦引導(dǎo)關(guān)鍵技術(shù)研究［D］.長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué)，2013.GUI Yang.Research on key techniques of airborne visionbased navigation for autonomous landing of a UAV on a ship deck［D］.Changsha:National University of Defence Technology，2013.(in Chinese)

［7］Pflugfelder R，Bisch H.Localization and trajectory reconstruction in surveillance cameras with nonoverlapping views［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(4):709－721.

［8］Micusik B.Trajectory reconstruction from non-overlapping surveillance cameras with relative depth ordering constraints［C］//Proceedings of IEEE International Conference on Computer Vision，2011:922－928.

［9］Shashua A，Wolf L.Homography tensors:On algebraic entities that represent three views of static or moving planar points［C］//Proceedings of the European Conference on Computer Vision，2000:507－521.

［10］Lu C P，Hager G D，Mjolsness E.Fast and globally convergent pose estimation from video images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(6):610－622.