基于單目視覺的空間非合作目標(biāo)相對(duì)運(yùn)動(dòng)參數(shù)估計(jì)

張勁鋒,蔡 偉,孫承啟,3

(1.北京控制工程研究所,北京 100190;2.中國(guó)空間技術(shù)研究院總體部，北京 100094;3.空間智能控制技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室,北京 100190)

基于單目視覺的空間非合作目標(biāo)相對(duì)運(yùn)動(dòng)參數(shù)估計(jì)

張勁鋒1,蔡 偉2,孫承啟1,3

(1.北京控制工程研究所,北京 100190;2.中國(guó)空間技術(shù)研究院總體部，北京 100094;3.空間智能控制技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室,北京 100190)

提出了一種估計(jì)空間非合作目標(biāo)相對(duì)運(yùn)動(dòng)參數(shù)的單目視覺方法，該方法將相對(duì)運(yùn)動(dòng)參數(shù)估計(jì)問題描述為一個(gè)非線性約束優(yōu)化問題.通過迭代求解特征值問題來確定基本矩陣，將基本矩陣分解可得到相對(duì)運(yùn)動(dòng)參數(shù)的4個(gè)可能解，給出了消除旋轉(zhuǎn)矩陣多義解的簡(jiǎn)單判斷準(zhǔn)則.數(shù)值仿真結(jié)果驗(yàn)證了該方法的有效性.

單目視覺；非合作目標(biāo)；相對(duì)運(yùn)動(dòng)；參數(shù)估計(jì)

在空間交會(huì)對(duì)接、在軌服務(wù)等航天任務(wù)的最后逼近段，通常采用單目視覺系統(tǒng)來測(cè)量追蹤航天器與目標(biāo)航天器之間的相對(duì)位置和相對(duì)姿態(tài)[1-3].針對(duì)合作目標(biāo)的相對(duì)位姿測(cè)量方法雖有精度高、抗干擾能力強(qiáng)的特點(diǎn)，但其作用距離受限于合作目標(biāo)尺寸，且只能對(duì)裝有目標(biāo)標(biāo)識(shí)器的飛行器進(jìn)行測(cè)量.現(xiàn)有的非合作目標(biāo)測(cè)量方法可對(duì)未安裝目標(biāo)標(biāo)識(shí)器的空間目標(biāo)進(jìn)行測(cè)量，但仍需事先獲知目標(biāo)的整體幾何模型信息[4-5]，因此僅適用于狹義的非合作目標(biāo).而針對(duì)未知模型的廣義非合作目標(biāo)測(cè)量方法則不需要被觀測(cè)目標(biāo)的幾何模型等任何先驗(yàn)信息，只需利用兩幀以上觀測(cè)圖像即可估計(jì)出其相對(duì)運(yùn)動(dòng)參數(shù)，因此具有更強(qiáng)的靈活性.除了空間交會(huì)對(duì)接、在軌服務(wù)等任務(wù)，該測(cè)量方法在空間目標(biāo)監(jiān)視、深空探測(cè)和小行星著陸等航天任務(wù)中也有著重要的應(yīng)用前景.

針對(duì)未知模型的廣義非合作目標(biāo)，目前主要有單目視覺和雙目視覺[6]兩類測(cè)量系統(tǒng).其中單目視覺系統(tǒng)配置簡(jiǎn)單、易于標(biāo)定，其缺點(diǎn)在于不能測(cè)量目標(biāo)的距離信息.雙目視覺原理較為簡(jiǎn)單，能夠測(cè)量距離信息,其缺點(diǎn)在于系統(tǒng)配置和標(biāo)定較為復(fù)雜，基線長(zhǎng)度影響觀測(cè)范圍和測(cè)量精度.因此，單目視覺與雙目視覺各有其優(yōu)缺點(diǎn)和適用范圍，同時(shí)單目視覺又可對(duì)雙目視覺形成必要的補(bǔ)充和冗余.

1 問題描述

將單目相機(jī)安裝在主動(dòng)航天器上以對(duì)任務(wù)對(duì)象進(jìn)行成像觀測(cè)，由于運(yùn)動(dòng)是相對(duì)的，可以認(rèn)為相機(jī)靜止而觀測(cè)目標(biāo)運(yùn)動(dòng)，也可以認(rèn)為觀測(cè)目標(biāo)靜止而相機(jī)運(yùn)動(dòng)，在成像效果相同的原則下，兩者相互等價(jià)且可以相互轉(zhuǎn)換，本文僅考慮相機(jī)靜止而觀測(cè)目標(biāo)運(yùn)動(dòng)的情形.這里相對(duì)運(yùn)動(dòng)參數(shù)是指觀測(cè)目標(biāo)在獲取兩幀圖像時(shí)刻之間的相對(duì)運(yùn)動(dòng)參數(shù)，即后一幀時(shí)刻相對(duì)于前一幀時(shí)刻的相對(duì)運(yùn)動(dòng)參數(shù)，包括相對(duì)位移和相對(duì)姿態(tài)(本文不考慮相對(duì)運(yùn)動(dòng)速度).

式中

圖1 目標(biāo)相對(duì)運(yùn)動(dòng)與相機(jī)成像模型

值得注意的是，由上述約束條件只能確定出平移向量t的方向，但不能確定其大小.因此，這里要研究的主要問題就是在方程(1)、(2)和(3)等約束條件下，利用兩幀圖像中提取的測(cè)量信息，求解出觀測(cè)目標(biāo)的旋轉(zhuǎn)矩陣R和單位平移向量t.

2 估計(jì)方法

由圖像測(cè)量信息求解相對(duì)運(yùn)動(dòng)參數(shù)是計(jì)算機(jī)視覺中的經(jīng)典問題[7-10]，可以將參數(shù)估計(jì)問題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問題來直接求解，也可以分步求解.本文采取分步求解的方法進(jìn)行相對(duì)運(yùn)動(dòng)參數(shù)估計(jì)，可分為3個(gè)步驟：①確定圖像特征對(duì)應(yīng)；②求解基本矩陣；③求解相對(duì)運(yùn)動(dòng)參數(shù).

確定圖像特征對(duì)應(yīng)是進(jìn)行后續(xù)處理的基礎(chǔ)，其主要目標(biāo)是基本消除錯(cuò)匹配和粗差的影響，但提取的測(cè)量信息中不可避免會(huì)包含有較小的誤差.這里假定該步驟已經(jīng)利用特征匹配、特征跟蹤或魯棒估計(jì)等方法得到了準(zhǔn)確的特征對(duì)應(yīng)，下面主要討論后面兩個(gè)步驟.

2.1求解基本矩陣

本文將基本矩陣求解問題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問題，然后利用數(shù)值算法進(jìn)行迭代求解.

將方程(1)改寫成以下形式：

約束條件為方程(4).

經(jīng)過推導(dǎo)，上述約束優(yōu)化問題可以轉(zhuǎn)化為無約束優(yōu)化問題，并得到一種近似的最大似然估計(jì)目標(biāo)函數(shù)

式中Ai=u(xi)uT(xi),Bi=▽xu(xi)Λxi▽xuT(xi),其中xu(xi)表示在點(diǎn)x=xi處函數(shù)u(x)對(duì)于x的9×4雅克比矩陣.若圖像坐標(biāo)向量的高斯噪聲均值為0，協(xié)方差Λxi=σ2I，則可得變換后的變量u(x)的協(xié)方差矩陣為

待優(yōu)化的目標(biāo)函數(shù)為參數(shù)向量θ的非線性函數(shù)，只能通過迭代求解，例如Renormalization算法[11]、HEIV算法[12]和FNS算法[13]等.迭代初值可以用歸一化8點(diǎn)算法求解[4].本文采用較為簡(jiǎn)單的FNS算法來求解參數(shù)向量θ，其主要思路是通過迭代求解一個(gè)特征值問題逐步逼近問題的真解，其主要步驟如下：

①利用最小二乘算法求解參數(shù)初值θ0，令k=0;

③求解矩陣Xθ的最小特征值對(duì)應(yīng)的單位特征向量，并將其作為新的參數(shù)向量θk+1；

④若θk+1≈θk，則停止迭代，否則轉(zhuǎn)入步驟②繼續(xù)迭代.

由上述方法求出的基本矩陣F未考慮秩2約束(3)，可先求基本矩陣F的奇異值分解F=UDVT，其中矩陣D的對(duì)角元素(σ1,σ2,σ3)為其奇異值且按降序排列，令其最小的奇異值σ3=0，則F=Udiag{σ1,σ2,0}VT即為所求的基本矩陣，diag{·}表示由向量形成的對(duì)角矩陣.

2.2求解相對(duì)運(yùn)動(dòng)參數(shù)

由于假設(shè)已知相機(jī)的內(nèi)參數(shù)矩陣為K，若已得到基本矩陣F的一個(gè)估計(jì)值，首先可以根據(jù)方程(2)求出本質(zhì)矩陣

然后將本質(zhì)矩陣E進(jìn)行奇異值分解，可得

則旋轉(zhuǎn)矩陣R有兩種可能的取值

單位平移向量t也有兩種可能的取值

因此，相對(duì)運(yùn)動(dòng)參數(shù)(R,t)共有4組可能解，但是其中只有一組解物理上能夠?qū)崿F(xiàn)，即滿足重建的三維目標(biāo)點(diǎn)均在攝像機(jī)前面這個(gè)約束條件.文獻(xiàn)[4]針對(duì)最一般的情形，提出應(yīng)選取一對(duì)圖像對(duì)應(yīng)點(diǎn)對(duì)4組可能解分別進(jìn)行結(jié)構(gòu)重建，最后根據(jù)重建結(jié)果判斷出唯一的真解.

考慮到在連續(xù)兩幀時(shí)刻之間觀測(cè)目標(biāo)的姿態(tài)旋轉(zhuǎn)的角度一般不會(huì)太大，否則兩幀圖像中的對(duì)應(yīng)特征點(diǎn)個(gè)數(shù)會(huì)隨著旋轉(zhuǎn)角的增大而顯著減少甚至完全消失，因此可假設(shè)旋轉(zhuǎn)矩陣R對(duì)應(yīng)的3個(gè)歐拉角φ,θ,ψ均在一定范圍內(nèi)取值.對(duì)旋轉(zhuǎn)矩陣和歐拉角的轉(zhuǎn)換關(guān)系進(jìn)行分析可知，當(dāng)歐拉角φ,θ,ψ∈(-30°,30°)時(shí)，對(duì)應(yīng)的旋轉(zhuǎn)矩陣R的主對(duì)角線元素均大于同一行(或列)中的其他元素.因此，可以根據(jù)這個(gè)簡(jiǎn)單的判斷準(zhǔn)則消除旋轉(zhuǎn)矩陣解的多義性，即若旋轉(zhuǎn)矩陣R的3個(gè)主對(duì)角線元素中有一個(gè)小于同一行(或列)中的其他元素，則令R=UVTRTUVT，這樣就得到了旋轉(zhuǎn)矩陣R的真解，然后僅需利用結(jié)構(gòu)重構(gòu)消除單位平移向量t解的多義性.由于結(jié)構(gòu)重構(gòu)過程運(yùn)算量較大且會(huì)引入估計(jì)誤差，因此該方法在提高估計(jì)精度的同時(shí)也大大減少了運(yùn)算量.

3 數(shù)值仿真

許多文獻(xiàn)已經(jīng)對(duì)估計(jì)基本矩陣的不同算法的性能進(jìn)行了大量的仿真比較，但是其評(píng)價(jià)大多是以點(diǎn)與極線的距離或重投影誤差作為標(biāo)準(zhǔn)，從中很難評(píng)價(jià)對(duì)于相對(duì)運(yùn)動(dòng)參數(shù)的估計(jì)性能.因此，本文直接以相對(duì)運(yùn)動(dòng)參數(shù)的估計(jì)誤差作為評(píng)價(jià)標(biāo)準(zhǔn)，利用Matlab軟件進(jìn)行了數(shù)值仿真.

仿真條件設(shè)定為：相機(jī)的圖像分辨率為1024×1024,正方形像素大小為35μm，焦距為35mm，圖像扭曲參數(shù)為0.每個(gè)圖像點(diǎn)的x、y坐標(biāo)均加入均值為0、標(biāo)準(zhǔn)差為0.5個(gè)像素的高斯噪聲.

考慮到空間非合作目標(biāo)結(jié)構(gòu)的多樣性，觀測(cè)目標(biāo)上的三維點(diǎn)坐標(biāo)在單位立方體內(nèi)隨機(jī)取值，如圖2所示.在初始時(shí)刻,相機(jī)與目標(biāo)之間的旋轉(zhuǎn)用歐拉角φ,θ,ψ來表示,并按均勻分布在(-60°,60°)內(nèi)隨機(jī)取值,目標(biāo)距離在1～10m內(nèi)隨機(jī)取值.觀測(cè)目標(biāo)從初始時(shí)刻開始連續(xù)作剛體運(yùn)動(dòng)，其旋轉(zhuǎn)運(yùn)動(dòng)的歐拉角在(-30°,30°)內(nèi)隨機(jī)取值，相對(duì)平移分量在-1～1m內(nèi)隨機(jī)取值.

圖2 仿真用的目標(biāo)模型

圖3 目標(biāo)運(yùn)動(dòng)前后的圖像特征點(diǎn)對(duì)應(yīng)

圖4 相對(duì)運(yùn)動(dòng)參數(shù)的估計(jì)誤差

圖3為目標(biāo)在某次相對(duì)運(yùn)動(dòng)前后產(chǎn)生的圖像特征點(diǎn)對(duì)應(yīng)，圖中連線僅用來表示各點(diǎn)之間的對(duì)應(yīng)關(guān)系.對(duì)上述目標(biāo)相對(duì)運(yùn)動(dòng)進(jìn)行1000次仿真，仿真結(jié)果如圖4所示.相對(duì)姿態(tài)誤差用歐拉角的估計(jì)誤差Δφ,Δθ,Δψ表示，相對(duì)平移誤差用真實(shí)平移方向與估計(jì)平移方向之間的夾角Δt表示.由圖5可知，該方法對(duì)于3個(gè)歐拉角的估計(jì)誤差絕對(duì)值|Δφ|,|Δθ|,|Δψ|≤0.5°,估計(jì)平移方向與真實(shí)平移方向之間的夾角絕對(duì)值|Δt|≤1°，由于仿真條件中的初始位姿參數(shù)和目標(biāo)相對(duì)運(yùn)動(dòng)參數(shù)均是在一定范圍內(nèi)按均勻分布隨機(jī)取值，因此仿真結(jié)果顯示了估計(jì)方法的有效性和穩(wěn)定性.

4 結(jié) 論

本文提出了一種基于單目視覺的空間非合作目標(biāo)相對(duì)運(yùn)動(dòng)參數(shù)的估計(jì)方法，從目標(biāo)相對(duì)運(yùn)動(dòng)的基本幾何約束條件出發(fā)導(dǎo)出了相關(guān)的非線性優(yōu)化問題，并對(duì)常用的數(shù)值迭代算法和參數(shù)分解方法進(jìn)行了研究，最后通過數(shù)值仿真驗(yàn)證了該方法的有效性和穩(wěn)定性.該方法本身提供了一種分步實(shí)現(xiàn)框架，有利于算法的進(jìn)一步改進(jìn)，例如利用基本矩陣的估計(jì)結(jié)果可以對(duì)原始測(cè)量信息進(jìn)行修正，以提高下一步三維重構(gòu)算法的精度，從而增加整個(gè)估計(jì)方法的可靠性.因此，本文提出的相對(duì)運(yùn)動(dòng)參數(shù)估計(jì)方法在針對(duì)非合作目標(biāo)的空間交會(huì)對(duì)接、在軌服務(wù)等許多航天任務(wù)中有著重要的應(yīng)用前景，同時(shí)也需要進(jìn)一步深入的研究.

[1] Ho C C, McClamroch N H.A spacecraft docking problem: position estimation using a computer vision approach[C].AIAA Guidance, Navigation and Control Conference, Portland, Oregon, Aug.1990

[2] 林來興，李燦.交會(huì)對(duì)接逼近階段CCD相機(jī)的測(cè)量方法[J].宇航學(xué)報(bào), 1994, 15(2):24-34

[3] Calhoun P C, Dabney R.Solution to the problem of determining the relative 6 DOF state for spacecraft automated rendezvous and docking [J].SPIE, 1995, 2466: 175-184

[4] Cropp A, Palmer P L, McLauchlan P, et al.Estimating the pose of a known target satellite [J].IEE Electronic Letters, 2000, 36(15):1331-1332

[5] 張世杰, 曹喜濱, 陳閩.非合作航天器間相對(duì)位姿的單目視覺確定算法[J].南京理工大學(xué)學(xué)報(bào), 2006, 30(5):564-568

[6] 張慶君, 胡修林, 葉斌, 等.基于雙目視覺的航天器間相對(duì)位置和姿態(tài)的測(cè)量方法[J].宇航學(xué)報(bào), 2008, 29(1):156-161

[7] Luong Q T, Faugeras O D.The fundamental matrix: theory, algorithms, and stability analysis [J].International Journal of Computer Vision, 1996, 17(1):43-75

[8] Torr P H S, Murray D W.The development and comparison of robust methods for estimating the fundamental matrix [J].International Journal of Computer Vision, 1997, 24(3):271-300

[9] Zhang Z.Determining the epipolar geometry and its uncertainty: a review [J].International Journal of Computer Vision, 1998, 27(2): 161-198

[10] Hartley R, Zisserman A.Multiple view geometry in computer vision[M].Cambridge：Cambridge University Press, 2003

[11] Kanatani K.Statistical optimization for geometric computation: theory and practice [M].Amsterdam: Elsevier, 1996

[12] Leedan Y, Meer P.Heteroscedastic regression in computer vision: problems with bilinear constraint [J].International Journal of Computer Vision, 2000, 37(2):127-150

[13] Chojnacki W, Brooks M J, Hengel A, et al.On the fitting of surfaces to data with covariances [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1294-1303

MonocularVision-BasedRelativeMotionParameterEstimationforNon-CooperativeObjectsinSpace

ZHANG Jinfeng1, CAI Wei2, SUN Chengqi1,3

(1.BeijingInstituteofControlEngineering,Beijing100190，China;2.DepartmentofSystemDesign,ChinaAcademyofSpaceTechnology,Beijing100094,China；3.NationalKeyLaboratoryofScienceandTechnologyonSpaceIntelligentControl,Beijing100190,China)

This paper presents a monocular vision-based estimation method of relative motion parameters of non-cooperative objects in space, which is described as a nonlinear constrained optimization problem.The fundamental matrix is estimated by iteratively solving an eigenvalue problem, and then four possible solutions of relative motion parameters may be obtained through fundamental matrix decomposition.A simple test criterion is designed to eliminate the ambiguous solutions of rotation matrix.Numerical simulations demonstrate effectiveness of the proposed approach.

monocular vision; non-cooperative objects; relative motion; parameter estimation

V448.2

A

1674-1579(2010)02-0031-05

2010-02-29

張勁鋒(1979—), 男，河南人，博士研究生，研究方向?yàn)榭臻g目標(biāo)識(shí)別與視覺測(cè)量(e-mail: zjf519@yahoo.com.cn).