一種目標(biāo)空間運(yùn)動(dòng)分析系統(tǒng)

屠禮芬，彭 祺，仲思東

（1.湖北工程學(xué)院 物理與電子信息工程學(xué)院，湖北 孝感432000；2.武漢大學(xué) 電子信息學(xué)院，湖北 武漢430072）

引言

立體視覺［1］是獲取空間三維信息的關(guān)鍵，其核心技術(shù)在于2個(gè)方面：1）硬件上，需要對通過剛體連接的雙相機(jī)進(jìn)行標(biāo)定［2］，獲取各相機(jī)的內(nèi)外參數(shù)；2）軟件上，需要將真實(shí)目標(biāo)在不同相機(jī)中對應(yīng)起來，這個(gè)過程稱為匹配［3］。國內(nèi)外學(xué)者已經(jīng)對立體視覺相關(guān)技術(shù)進(jìn)行了大量的研究，并且已在核心技術(shù)上取得許多成果，但研究對象主要是針對靜態(tài)立體圖像對。本文研究的對象是運(yùn)動(dòng)目標(biāo)，即引入立體視覺相關(guān)理論，獲取“運(yùn)動(dòng)”狀態(tài)下目標(biāo)的三維信息。在標(biāo)定與匹配問題上，我們可以對當(dāng)前方法進(jìn)行相應(yīng)改進(jìn)。但要從靜態(tài)過渡到動(dòng)態(tài)，實(shí)現(xiàn)空間運(yùn)動(dòng)分析，還有2個(gè)必須要面對的難題：1）屬性一致的圖像采集系統(tǒng)。雙目立體視覺系統(tǒng)中的2個(gè)相機(jī)，要求參數(shù)、性能一致，但2個(gè)不同的個(gè)體，總會有微小的差別，這些差別在運(yùn)動(dòng)目標(biāo)檢測應(yīng)用中，會導(dǎo)致運(yùn)動(dòng)掩模獲取的誤差，對后期定位的影響較大；2）相機(jī)同步問題。由于場景中目標(biāo)是運(yùn)動(dòng)的，不同時(shí)刻其位置是不一樣的，尤其對于高速運(yùn)動(dòng)目標(biāo)，差異會很大，這就要求立體視覺系統(tǒng)中的2個(gè)相機(jī)要“精確”同步。雖然目前關(guān)于相機(jī)同步［4］的研究方法較多，精度較高，但依然存在誤差，在空間運(yùn)動(dòng)分析系統(tǒng)中，這些很小的誤差也是需要處理的。

針對以上問題，本文建立了一種空間運(yùn)動(dòng)分析系統(tǒng)，并針對其特點(diǎn)對當(dāng)前的相機(jī)標(biāo)定方法進(jìn)行改進(jìn)，用來獲取其參數(shù)。該運(yùn)動(dòng)分析系統(tǒng)的核心部件由高速相機(jī)和3D鏡頭組成，可以從硬件上直接克服目標(biāo)空間運(yùn)動(dòng)分析所面臨的兩個(gè)難題。更重要的是，由于只有單一的視頻序列，其運(yùn)動(dòng)掩模的獲取可以采用單視頻序列下的運(yùn)動(dòng)目標(biāo)檢測算法［5－6］。另外，受限于該系統(tǒng)的視場和基距，傳統(tǒng)的3D標(biāo)定場［7］不再適用，所以本文還設(shè)計(jì)了一種改進(jìn)的標(biāo)定方法，可以適用于小視場、短基距立體視覺系統(tǒng)。

1 主要硬件設(shè)備

圖1所示為空間運(yùn)動(dòng)分析系統(tǒng)核心硬件部分，由一個(gè)單一的高速相機(jī)和一個(gè)合二為一的立體鏡頭組成。

高 速 相 機(jī) 是 Optronis［8］提 供 的，型 號 為CL600X2／M，獲取的圖像是8位灰度圖。它的圖像傳感器有較好的性能，其特點(diǎn)是具有高分辨率、高圖像采集速率，全分辨率下，其有效像素在水平方向?yàn)? 280像素，垂直方向?yàn)? 024像素，最高圖像采集幀率為500f／s。其全局式快門對于捕捉運(yùn)動(dòng)目標(biāo)有較大的優(yōu)勢，在目標(biāo)高速運(yùn)動(dòng)條件下，模糊、拖影等現(xiàn)象對于結(jié)果影響較小。

圖1 空間運(yùn)動(dòng)分析系統(tǒng)核心硬件Fig.1 Hardware core of stereo motion analyzing system

3D鏡頭是Loreo［9］提供的，型號為Cap 9005，它獲取的是一種平行模式的立體圖像對。與普通鏡頭不一樣的設(shè)計(jì)在于，3D鏡頭的前端由2個(gè)一樣的鏡頭組成，2個(gè)鏡頭分別成像，并在后端進(jìn)行拼接，成像在同一個(gè)CCD部件的左右2部分。由于2個(gè)鏡頭有視差，具有與傳統(tǒng)立體相機(jī)一致的獲取目標(biāo)空間信息的功能，因?yàn)槭褂玫氖峭粋€(gè)CCD芯片，所以鏡頭屬性的一致性較強(qiáng)，并且圖像序列的采集是精確同步的。

圖2（a）是用該空間運(yùn)動(dòng)分析系統(tǒng)獲取的原始圖像，圖2（b）、2（c）為對原圖左右對稱分割后獲取的左右像對。由于相機(jī)獲取的原始圖像需要平均分為左右2部分生成立體像對，圖像分辨率下降了一半，為了保證足夠的視場范圍，相機(jī)模式選擇為分辨率優(yōu)先，原始圖像分辨率為1 280像素×1 024像素，被分割后的立體像對分辨率為640像素×1 024像素。

圖2 樣本圖像Fig.2 Sample images

2 標(biāo)定方案

相機(jī)標(biāo)定的基本思路是結(jié)合已知空間坐標(biāo)的三維空間點(diǎn)的世界坐標(biāo)系坐標(biāo)及其分別在左右像對中的圖像坐標(biāo)，通過矩陣運(yùn)算獲取各相機(jī)對應(yīng)的內(nèi)外參數(shù)模型，一旦獲取了標(biāo)定參數(shù)，立體相機(jī)的相對位置是不可以改變的。本系統(tǒng)的標(biāo)定方法結(jié)合了傳統(tǒng)標(biāo)定方法［10］的高精度和自標(biāo)定方法［11］的靈活性、低成本，標(biāo)定所使用的主要硬件如圖3所示，由平面標(biāo)定板、光柵尺組成，光柵尺有與其配套的數(shù)顯設(shè)備，可以直接獲取標(biāo)定板在光柵尺上移動(dòng)的距離。

圖3 標(biāo)定相關(guān)硬件Fig.3 Calibration components

圖3中黑白棋盤格標(biāo)定板的尺寸是已知的，假設(shè)左下角角點(diǎn)坐標(biāo)為（0，0），橫軸為X坐標(biāo)，向右為正方向，縱軸為Y坐標(biāo)，向上為正方向，那么可以依次獲得所有角點(diǎn)的坐標(biāo)（X，Y）。棋盤格被垂直地固定于光柵尺上，光柵尺固定于光學(xué)臺上，其直線移動(dòng)會使標(biāo)定板隨之前后移動(dòng)，該“直線”即為Z坐標(biāo)。按照右手坐標(biāo)系原則，向前為正方向，光柵尺的移動(dòng)距離即為深度Z值的變化，可以從數(shù)顯表上精確讀取。標(biāo)定時(shí)，固定空間運(yùn)動(dòng)分析系統(tǒng)，將標(biāo)定板移動(dòng)到光柵尺上離系統(tǒng)最遠(yuǎn)的位置，設(shè)置數(shù)顯設(shè)備為0，采集此時(shí)的圖像，然后每移動(dòng)一定的距離采集一幀圖像，同時(shí)記錄數(shù)顯設(shè)備的值，記錄此時(shí)標(biāo)定板上所有點(diǎn)的Z標(biāo)值。結(jié)合不同位置圖像中各點(diǎn)在標(biāo)定板上的平面坐標(biāo)，可以生成各點(diǎn)的世界坐標(biāo)系坐標(biāo)（X，Y，Z），與傳統(tǒng)標(biāo)定方法中的三維控制場獲取的點(diǎn)一樣具有較高的精度，但硬件系統(tǒng)簡單、設(shè)計(jì)靈活方便。最后可以使用傳統(tǒng)標(biāo)定方法，結(jié)合這些已知世界坐標(biāo)系的坐標(biāo)點(diǎn)分別在左右圖像中的圖像坐標(biāo)，通過矩陣運(yùn)算分別獲取3D鏡頭和高速相機(jī)組成的單鏡頭立體視覺系統(tǒng)左右部分的內(nèi)外參數(shù)。

本文使用的相機(jī)模型中，每個(gè)相機(jī)有4個(gè)內(nèi)參數(shù)：r0和c0分別表示光心與圖像中心的偏移，單位為像素；fu和fv分別為行方向和列方向坐標(biāo)變換的中間變量，單位也為像素。所指的外參數(shù)指旋轉(zhuǎn)量R和平移量T，通常是依靠6個(gè)外部參數(shù)來計(jì)算，分別為：平移元素t1、t2和t3，單位為m；角方位元素φ、?和κ，單位為rad。關(guān)于這些參數(shù)更詳細(xì)的描述及計(jì)算方法可以見本課題組較早的研究文獻(xiàn)［7］。本文在標(biāo)定時(shí)，將標(biāo)定板置于4個(gè)不同的位置，即在4種Z坐標(biāo)下分別獲取標(biāo)定板的圖像，一共生成了660個(gè)可用匹配點(diǎn)對，通過矩陣運(yùn)算，標(biāo)定的左右相機(jī)內(nèi)外參數(shù)如表1所示。

表1 空間運(yùn)動(dòng)分析系統(tǒng)參數(shù)Table 1 Stereo camera parameters

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文建立的空間運(yùn)動(dòng)分析系統(tǒng)的有效性，選用了小球作為感興趣的運(yùn)動(dòng)目標(biāo)來進(jìn)行測試，由于小球具有空間對稱性，所以只需對其重心進(jìn)行定位即可獲取空間位置信息。由于目標(biāo)比較單一，相機(jī)的視場小，場景并不復(fù)雜，所以使用了傳統(tǒng)的GMM（Gaussian mixture model）算法［12］來快速獲取運(yùn)動(dòng)掩模。然后將檢測結(jié)果分割成左右圖像對，分別獲取左右圖像中掩模部分的重心位置并記錄其圖像坐標(biāo)。

兩組實(shí)驗(yàn)都是軌跡可預(yù)測、可重復(fù)的，分別為自由落體運(yùn)動(dòng)和斜坡運(yùn)動(dòng)。二者的初速度均為0，且運(yùn)動(dòng)軌跡為直線，加速度為固定值，用a表示，單位為m／s2；用h表示距離，單位為m；t表示時(shí)間，單位為s。球只有全部進(jìn)入視場才開始定位，此時(shí)的時(shí)刻用ti表示，那么不同時(shí)刻球的位置關(guān)系如圖4所示。

圖4 不同時(shí)刻球的位置關(guān)系Fig.4 Relations between different positions

圖4中，t0為小 球 開始 運(yùn) 動(dòng) 的 時(shí) 刻，ti、ti＋1、ti＋n分別表示后續(xù)不同的時(shí)刻，與t0的時(shí)間間隔都是最小時(shí)間單位Δt的整數(shù)倍。其中Δt為幀間隔時(shí)間，此處為1／500s；hi、hn、hi＋n分別為ti與t0、ti＋n與ti、ti＋n與t0時(shí)間間隔內(nèi)球的運(yùn)動(dòng)距離，它們的關(guān)系可以用（1）式～（4）式表示：

依次獲取球重心在每個(gè)時(shí)刻的空間坐標(biāo)系坐標(biāo)值，則可以描述其空間運(yùn)動(dòng)屬性，假設(shè)ti和ti＋n時(shí)刻球的空間坐標(biāo)值分別為（Xi，Yi，Zi）和（Xi＋n，Yi＋n，Zi＋n），那么其距離hn可以表示為

類似地，對于有其他運(yùn)動(dòng)屬性的目標(biāo)，也可以根據(jù)這些參數(shù)設(shè)計(jì)不同的數(shù)學(xué)模型來估計(jì)目標(biāo)速度、加速度等參數(shù)。

3.1 自由落體運(yùn)動(dòng)

自由落體運(yùn)動(dòng)是一個(gè)初速度為0的勻加速運(yùn)動(dòng)，運(yùn)動(dòng)軌跡為直線，由于三維空間坐標(biāo)是一個(gè)相對值，所以單一的空間坐標(biāo)值信息無實(shí)際意義，需要分析目標(biāo)一系列連續(xù)的坐標(biāo)值，才能達(dá)到分析目標(biāo)空間運(yùn)動(dòng)屬性的目的。圖5為用該空間運(yùn)動(dòng)分析系統(tǒng)對自由落體空間軌跡的記錄結(jié)果。由于相機(jī)的位置不會與標(biāo)定時(shí)一致，所以該自由落體軌跡不是一條僅沿Y軸下降的直線，在沿X和Z軸方向也有變化，并且由于重心提取存在誤差，該軌跡還有一些輕微的抖動(dòng)，尤其是在開始和結(jié)束的位置，由于接近圖像的邊緣，因此誤差較大。但該軌跡的線性度依然是比較高的，可以通過線性擬合獲取其運(yùn)動(dòng)屬性。

圖5 球的空間運(yùn)動(dòng)軌跡Fig.5 Ball's space trajectory

球完全進(jìn)入視場的時(shí)刻是ti，那么結(jié)合（1）式～（5）式及球在后續(xù)幀中的空間位置，就可以計(jì)算其值：

式中：由于是自由落體運(yùn)動(dòng)，a＝9.8m／s2，不同的n表示與ti有不同的時(shí)間間隔，但是所得ti的值理論上是不變的，由于誤差的存在，不同幀計(jì)算的ti有一些差異。該實(shí)例選取了連續(xù)41幀來計(jì)算，那么可以獲取40個(gè)不同的ti值，結(jié)果如表2所示。

分析表2中的數(shù)據(jù)可知，ti的平均值為＝0.283 057，標(biāo)準(zhǔn)差為σti＝0.007 137，表2中所有值殘余誤差都在3σ以內(nèi)，不含粗大誤差，故該系統(tǒng)可以實(shí)現(xiàn)對目標(biāo)的空間定位。

表2 40個(gè)ti的取值Table 2 40 values for tiby consecutive frames

3.2 斜坡運(yùn)動(dòng)

斜坡運(yùn)動(dòng)是依靠一個(gè)帶凹槽的導(dǎo)軌實(shí)現(xiàn)的。小球平行于導(dǎo)軌滾動(dòng)，導(dǎo)軌不同位置之間距離是可以較精確測量的。假設(shè)開始定位的時(shí)刻為i，間隔固定的時(shí)間n后，再次獲取其位置，兩位置的關(guān)系可以參照（1）式～（4）式，那么依次獲取時(shí)間間隔為n的小球空間位置，記為si，si＋n，…，si＋mn，那么位置si＋mn與位置si＋（m＋1）n之間的 距 離可表示為

導(dǎo)軌位置一旦固定，小球加速度a、初始時(shí)刻i為固定值，若固定時(shí)間間隔n，那么該距離與m呈線性關(guān)系，相鄰2個(gè)距離差為常數(shù)。

依次獲得球在世界坐標(biāo)系中的位置，然后就可以根據(jù)（5）式獲得小球在不同幀之間的距離。本實(shí)驗(yàn)采集了11個(gè)位置的圖像，獲取了10組距離值，檢測結(jié)果如表3所示。表3中第1列為測量值，第2列為相鄰2個(gè)距離差，第3列為手動(dòng)測量導(dǎo)軌全長取平均后所獲取的值，用來與本系統(tǒng)的測量結(jié)果對比，小球在所測量范圍內(nèi)的導(dǎo)軌總長為L＝0.72m，由于距離做了9等分，則對應(yīng)真實(shí)值為L／9＝0.08m。

分析表3中的結(jié)果可以得出結(jié)論：絕對誤差低于0.01m，并且系統(tǒng)無累積誤差，相對來說，一個(gè)較大的測量值可以降低系統(tǒng)的相對誤差。

表3 距離測量結(jié)果 mTable 3 Distances measurement results

4 結(jié)論

本文建立的一種空間運(yùn)動(dòng)分析系統(tǒng)引入立體視覺的相關(guān)理論思路，擴(kuò)展了當(dāng)前單相機(jī)視頻序列運(yùn)動(dòng)目標(biāo)檢測課題的應(yīng)用范圍，可以用來獲取感興趣運(yùn)動(dòng)目標(biāo)的空間位置并分析其運(yùn)動(dòng)屬性，也使與其相關(guān)的跟蹤、定位等領(lǐng)域更加符合人的認(rèn)知習(xí)慣。針對從單視頻到多視頻擴(kuò)展所遇到的相機(jī)屬性一致性及精確同步問題，本文從硬件上提出了比較好的解決方案：通過前端的3D鏡頭將視場分割，在同一CCD芯片上成像，生成立體圖像對，有效地解決了這2個(gè)問題。另外，由于立體像對序列實(shí)際上是從同一個(gè)圖像序列分割而來的，所以可以使用傳統(tǒng)單序列下的運(yùn)動(dòng)目標(biāo)檢測算法來獲取運(yùn)動(dòng)掩模，再分割掩模圖像生成有視差的立體圖像對序列，易于實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，該硬件系統(tǒng)可以有效地分析目標(biāo)的空間運(yùn)動(dòng)屬性，其定位較為準(zhǔn)確，且數(shù)據(jù)的穩(wěn)定性較好。

［1］ Hu X，Mordohai P.A quantitative evaluation of confidence measures for stereo vision［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2121－2133.

［2］ Zhang Zhengyou.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330－1334.

［3］ Cigla C，Alatan A A.Information permeability for stereo matching［J］.Signal Processing：Image Communication，2013，28（9）：1072－1088.

［4］ Shrestha P，Barbieri M，Weda H，et al.Synchronization of multiple camera videos using audio－visual features［J］.IEEE Transactions on Multimedia，2010，12（1）：79－92.

［5］ Tu Lifen，Zhong Sidong，Peng Qi.Moving object detection based on image sequences［J］.Journal of Applied Optics，2012，33（5）：899－903.屠禮芬，仲思東，彭祺.基于序列圖像的運(yùn)動(dòng)目標(biāo)檢測［J］.應(yīng)用光學(xué)，2012，33（5）：899－903.

［6］ Tu Lifen，Zhong Sidong，Peng Qi.A method for detecting moving objects and eliminating shadow in natural scene［J］.Journal of Xi'an Jiaotong University，2013，47（12）：26－31.屠禮芬，仲思東，彭祺.自然場景下運(yùn)動(dòng)目標(biāo)檢測與陰影剔除方法［J］.西安交通大學(xué)學(xué)報(bào)，2013，47（12）：26－31.

［7］ Liu Yong.3Dscene acquiring and modeling based on images［D］.Wuhan：Wuhan University，2004.劉勇.基于圖像的空間三維數(shù)據(jù)獲取及建模［D］.武漢：武漢大學(xué)，2004.

［8］ Optronis GmbH.CamRecord CL 600×2［S／OL］.［2013－4－10］：http：／／www.optronis.de／fileadmin／Upload／Product／CL／CL600x2＿engl.pdf.

［9］ Loreo Asia Ltd.3DLens in a Cap 9005［S／OL］.［2013－4－10］：http：／／www.loreo.com／pages／products／loreo＿3dlenscap9005.html.

［10］Sirianni M，Jee M J，Benitez N，et al.The photometric performance and calibration of the hubble space telescope advanced camera for surveys［J］.Publications of the Astronomical Society of the Pacific，2005，117：1049－1112.

［11］ Ma Songde.A self－calibration technique for active vision systems［J］.IEEE Transactions on Robotics and Automation，1996，12（1）：114－120.

［12］Kaewtrakulpong P，Bowden R.An improved adaptive background mixture model for real－time tracking with shadow detection［C］.USA：Kluwer Academic Publishers，2001.