基于投影直方圖匹配的雙目視覺跟蹤算法

王杰，蔣明敏，花曉慧，魯守銀，李金屏

（1．濟(jì)南大學(xué)信息科學(xué)與工程學(xué)院，山東濟(jì)南250022；2．濟(jì)南大學(xué)山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，山東濟(jì)南250022；3．山東建筑大學(xué)信息與電氣工程學(xué)院，山東濟(jì)南250101；4．山東建筑大學(xué)山東省智能建筑重點(diǎn)實(shí)驗(yàn)室，山東濟(jì)南250101；5．山東省電力科學(xué)研究院，山東濟(jì)南250002）

基于投影直方圖匹配的雙目視覺跟蹤算法

王杰1，2，蔣明敏1，花曉慧3，4，魯守銀3，5，李金屏1，2

（1．濟(jì)南大學(xué)信息科學(xué)與工程學(xué)院，山東濟(jì)南250022；2．濟(jì)南大學(xué)山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，山東濟(jì)南250022；3．山東建筑大學(xué)信息與電氣工程學(xué)院，山東濟(jì)南250101；4．山東建筑大學(xué)山東省智能建筑重點(diǎn)實(shí)驗(yàn)室，山東濟(jì)南250101；5．山東省電力科學(xué)研究院，山東濟(jì)南250002）

為了在機(jī)器人機(jī)械手雙目視覺伺服系統(tǒng)中跟蹤并精確定位目標(biāo)的空間位置，提出了一種利用投影直方圖匹配和極線幾何約束的目標(biāo)跟蹤方法。分別在2個視覺中人工標(biāo)定目標(biāo)，并提取目標(biāo)在多顏色空間的水平、垂直投影直方圖作為匹配模板；在一個視覺中利用目標(biāo)的運(yùn)動一致性原則和投影直方圖匹配搜索并跟蹤目標(biāo)；在另一個視覺中依據(jù)雙目視覺系統(tǒng)的極線幾何原理限定目標(biāo)搜索范圍，搜索并定位目標(biāo)。該方法利用水平、垂直投影直方圖描述目標(biāo)的結(jié)構(gòu)信息，同時完成了雙目視覺系統(tǒng)中的目標(biāo)跟蹤與配準(zhǔn)功能，有利于目標(biāo)的精確定位和視覺測量。實(shí)驗(yàn)結(jié)果表明，該方法可在雙目視覺系統(tǒng)中有效跟蹤目標(biāo)，運(yùn)算效率高，魯棒性強(qiáng)。

投影直方圖；目標(biāo)跟蹤；雙目視覺；極線幾何；模板匹配

利用視覺伺服的機(jī)器人機(jī)械手自動抓取和安放物體，需要精確實(shí)時定位所抓取物體的空間位置，雙目視覺是機(jī)器人視覺伺服一種常用的有效工具。雙目視覺可實(shí)現(xiàn)目標(biāo)的近距離精確定位，即利用目標(biāo)在雙目圖像中的位置信息計(jì)算目標(biāo)的空間三維坐標(biāo)。根據(jù)實(shí)際應(yīng)用選擇一種可靠、有效的跟蹤算法是實(shí)現(xiàn)目標(biāo)精確定位的前提，基于雙目視覺的目標(biāo)跟蹤具有重要的研究價值及應(yīng)用前景。

背景差分法［1］與幀間差分法［2］是2種簡單常用的目標(biāo)檢測方法，建立一個良好的背景模型是背景差分法能有效檢測目標(biāo)的前提，穩(wěn)定的背景是幀間差分法能有效檢測移動目標(biāo)的基礎(chǔ)。CamShit［3］算法是一種經(jīng)典、有效的跟蹤算法，主要運(yùn)用目標(biāo)的色彩信息在圖像中檢測并跟蹤目標(biāo)。然而，Cam?Shift算法過度依賴色彩信息，且沒有參考目標(biāo)的結(jié)構(gòu)、紋理等其他可區(qū)分與背景的目標(biāo)，在應(yīng)用方面具有一定的局限性。當(dāng)目標(biāo)的色彩信息較弱或背景中出現(xiàn)大量與目標(biāo)色彩相近的區(qū)域時，CamShift跟蹤算法往往失效。高斯混合模型是一種背景建模方式，主要適用于有規(guī)律變化的背景，難以在多變的環(huán)境中泛化使用。然而，電力機(jī)器人的工作環(huán)境是多變的，往往很難建立一種泛化能力極強(qiáng)的背景模型，因此以上方法均不能滿足設(shè)計(jì)需要。文獻(xiàn)［4］將稀疏表示應(yīng)用于目標(biāo)，根據(jù)建立的目標(biāo)字典實(shí)現(xiàn)固定目標(biāo)的跟蹤。稀疏方程的求解是一個NP?hard問題，其最優(yōu)值的搜索具有較高的運(yùn)算復(fù)雜度。基于稀疏表示的目標(biāo)跟蹤算法的理論及程序設(shè)計(jì)較為復(fù)雜，難以在工程應(yīng)用中進(jìn)行推廣及維護(hù)?；谥鲃虞喞Ｐ停?］、主動形狀模型［6］的跟蹤方法易受到背景的干擾，并且理論及算法復(fù)雜，同樣不適用于在工程中推廣及維護(hù)。因此，需要研究一種簡單、高效、可滿足需求的目標(biāo)跟蹤算法。

基于雙目視覺系統(tǒng)的目標(biāo)跟蹤又有其自身的特殊性，對目標(biāo)跟蹤精度有較高的要求，需要在重建三維信息前完成配準(zhǔn)工作。針對不同的應(yīng)用背景，一些研究人員進(jìn)行了相關(guān)研究并確定較好的效果。例如，在序貫測機(jī)制下，利用粒子濾波、稀疏場主動輪廓和CamShift等方法在雙目視覺中跟蹤目標(biāo)［7］；在機(jī)器人的雙目視覺中，針對機(jī)器人靜止－目標(biāo)運(yùn)動和機(jī)器人運(yùn)動－目標(biāo)運(yùn)動2種模式，利用不同的特征提取方法跟蹤運(yùn)動目標(biāo)，如顏色直方圖、CamShift算法、Hu矩等特征［8］，目標(biāo)的顏色、紋理等信息［9］；不管運(yùn)用雙目視覺實(shí)現(xiàn)自動空中加油導(dǎo)航功能［10］，還是實(shí)現(xiàn)運(yùn)動物體的實(shí)時跟蹤與測距［11］、道路交通預(yù)警［12］、多目標(biāo)跟蹤［13］，目標(biāo)的跟蹤與配準(zhǔn)是基礎(chǔ)工作。雙目視覺系統(tǒng)中的目標(biāo)跟蹤與配準(zhǔn)的精度決定了視覺伺服系統(tǒng)的性能，研究一種簡單、高效的基于雙目視覺系統(tǒng)的目標(biāo)跟蹤算法具有重要的價值。

本文研究了一種基于雙目視覺系統(tǒng)的目標(biāo)跟蹤算法。該算法利用了極線幾何及運(yùn)動一致性原則引導(dǎo)搜索方向，以投影直方圖匹配為目標(biāo)檢測手段，實(shí)現(xiàn)了雙目視覺系統(tǒng)的目標(biāo)精確跟蹤。目標(biāo)在一個雙目視覺結(jié)構(gòu)固定的雙目圖像中的位置滿足極線幾何關(guān)系，目標(biāo)具有運(yùn)動一致性的原則，即目標(biāo)的運(yùn)動狀態(tài)不會發(fā)生較大突變。運(yùn)用這2個關(guān)系，可有效限制目標(biāo)的搜索范圍和搜索方向，提高目標(biāo)跟蹤算法的運(yùn)算效率，且在雙目視覺中跟蹤到的是已經(jīng)完成配準(zhǔn)的目標(biāo)。投影直方圖是常用的一種圖像分析工具，它反映一定方向上的能量累積效應(yīng)，同時又保留了一定的位置分布信息。結(jié)合多顏色空間信息融合技術(shù)［14］，根據(jù)不同的應(yīng)用環(huán)境及跟蹤目標(biāo)，動態(tài)選擇一組可有效表征跟蹤目標(biāo)顏色分量組合，以更加全面的信息保證跟蹤的穩(wěn)定性。

本文所提跟蹤算法主要由3個基本模塊組成：目標(biāo)特征提取、目標(biāo)檢測和模板更新。經(jīng)實(shí)驗(yàn)對比及驗(yàn)證，本文所提算法可滿足設(shè)計(jì)要求。依據(jù)目標(biāo)投影直方圖特征搜索目標(biāo)，背景的動態(tài)變化對搜索無影響。與其他算法相比，具有原理簡單、高效、實(shí)用的優(yōu)點(diǎn)。并且將雙目視覺的目標(biāo)跟蹤與配準(zhǔn)工作合二為一，以配準(zhǔn)的方法引導(dǎo)目標(biāo)搜索，得到已配準(zhǔn)的跟蹤目標(biāo)。

1 基本原理

1．1 極線幾何原理

在結(jié)構(gòu)固定的雙目視覺系統(tǒng)中，空間點(diǎn)P在雙目圖像中的成像位置（pl，pr）滿足極線幾何的約束準(zhǔn)則，如圖1所示。假設(shè)雙目攝像機(jī)滿足針孔成像模型，Cl、Cr分別為左、右視覺的光心。光心連線ClCr與左右成像平面的2個交點(diǎn)el、er稱為極點(diǎn)，空間點(diǎn)與2個光心的連線PCl、PCr，和雙目成像平面的交點(diǎn)pl、pr即是空間點(diǎn)P在雙目圖像中的成像。若已知左視覺圖像中的一點(diǎn)pl，則相應(yīng)的實(shí)際空間點(diǎn)P可存在于直線Clpl上的任意點(diǎn)，故點(diǎn)P在右視覺中的成像點(diǎn)位于erpr直線上。因此，若已知左視覺中的成像點(diǎn)pl，可推導(dǎo)出左視覺中對應(yīng)的一條極線l2，則右視覺中的成像點(diǎn)必在直線l2上。同理，pr與l1相對應(yīng)，其對應(yīng)關(guān)系滿足固定基礎(chǔ)矩陣F的約束［13］，如式（1）、（2）所示。

利用RANSAC算法或LMedS算法均可求解雙目視覺系統(tǒng)的基礎(chǔ)矩陣F［15］。已知右視覺中的一點(diǎn)，利用式（1）計(jì)算出的左視覺圖像中的極線如圖2所示。利用雙目視覺中的極線幾何性質(zhì)，有利于引導(dǎo)左右視覺中的目標(biāo)配準(zhǔn)。

圖1 極線幾何結(jié)構(gòu)Fig．1 Stucture of epipolar geometry

圖2 極線幾何示例Fig．2 The experiment of epipolar geometry

1．2 基于投影直方圖匹配與運(yùn)動一致性約束的目標(biāo)跟蹤算法

選擇目標(biāo)的投影直方圖作為匹配特征，在圖像序列中檢測目標(biāo)。以運(yùn)動一致性原則作為約束，引導(dǎo)目標(biāo)的搜索方向，加快跟蹤算法運(yùn)算速度。為了確保投影直方圖能有效表達(dá)目標(biāo)的特征，利用多顏色空間信息融合技術(shù)選擇可最佳區(qū)分背景與目標(biāo)的顏色分量，以多顏色分量的投影直方圖匹配目標(biāo)。

1．2．1 投影直方圖匹配

直方圖是一種常用的特征，體現(xiàn)了圖像的能量累計(jì)效應(yīng)，可用于圖像匹配［16］、圖像增強(qiáng)［17］等。投影直方圖是一種常用的直方圖計(jì)算方式，反映了沿一定方向上的能量累積和數(shù)據(jù)的分布特性。2個相互垂直方向上的投影直方圖，即包含了統(tǒng)計(jì)信息又體現(xiàn)了結(jié)構(gòu)信息。與其他特征提取方式相比，投影直方圖具有原理簡單、運(yùn)算量小、易于維護(hù)的優(yōu)點(diǎn)，實(shí)用價值高。以一個人工繪制的簡單模型作為演示，如圖3所示，體現(xiàn)了投影直方圖包含統(tǒng)計(jì)信息和結(jié)構(gòu)信息的特點(diǎn)。

在每幀圖像中，以當(dāng)前檢測區(qū)域的投影直方圖與目標(biāo)模板直方圖的相關(guān)性為參考準(zhǔn)則，判斷當(dāng)前檢測區(qū)域是否為目標(biāo)。文獻(xiàn)［18］中，2個維數(shù)相等的直方圖相關(guān)性計(jì)算如下：式中：N為直方圖的維數(shù)，H1、H2為2個計(jì)算相關(guān)性的直方圖。當(dāng)2個直方圖的相關(guān)大于設(shè)定的閾值時，認(rèn)為當(dāng)前檢測區(qū)域是目標(biāo)候選區(qū)域。在所有的候選區(qū)域集合內(nèi)選擇相關(guān)性最高的的區(qū)域認(rèn)為是當(dāng)前幀目標(biāo)所在區(qū)域。

在實(shí)際應(yīng)用中，目標(biāo)的運(yùn)動或姿態(tài)的變化會引起目標(biāo)在圖像中大小或方向發(fā)生改變。在跟蹤過程中需要適當(dāng)?shù)卣{(diào)整檢測窗口的尺寸會引起投影直方圖維數(shù)的改變。在計(jì)算2個直方圖的相關(guān)性之前，需要對檢測區(qū)域生成的投影直方圖維數(shù)向模板對齊，即對直方圖的維數(shù)進(jìn)行縮放，如式（5）所示：

式中：HT表示維數(shù)變換后的直方圖，Ho為原始直方圖，k表示直方圖縮放系數(shù)。直方圖拉伸效果如圖4所示，其走勢仍然保持不變。

為了克服直方圖毛刺對匹配精度的影響，需對直方圖進(jìn)行平滑處理。

圖3 投影直方圖示例Fig．3 Projection histogram

圖4 直方圖縮放示例Fig．4 Projection histogram resizing

1．2．2 算法實(shí)現(xiàn)

目標(biāo)的投影直方圖特征是一個集合，由多個顏色分量的投影直方圖組成，每個變量的投影直方圖包括2個方向：X方向和Y方向，它們分別與矩形檢測窗口長、寬方向平行，如圖5所示。將這2個方向的直方圖分別記為HX和HY。

圖5 投影方向示例Fig．5 Sample of projection orientation

目標(biāo)的正常運(yùn)動狀態(tài)是連續(xù)一致的，這一特點(diǎn)可有效引導(dǎo)搜索目標(biāo)的方向和范圍。目標(biāo)在視頻序列中的運(yùn)動方式分為：平面運(yùn)動vp、深度運(yùn)動vD和旋轉(zhuǎn)運(yùn)動（θ）。平面運(yùn)動引起目標(biāo)位置的改變，深度運(yùn)動引起目標(biāo)大小的改變，旋轉(zhuǎn)運(yùn)動引起目標(biāo)傾斜方向的變化。vp用來引導(dǎo)搜索窗口的移動距離，vD用來引導(dǎo)搜索窗口的長寬改變程度，θ用來引導(dǎo)搜索窗口方向的旋轉(zhuǎn)。目標(biāo)在上一幀和當(dāng)前幀預(yù)測位置分別記為p1和p2，窗口尺寸（長、寬）為W＝（WX，WY），上一幀和當(dāng)前幀預(yù)測尺寸大小分別記為W1和W2。

為了有效適應(yīng)目標(biāo)的變化，并防止目標(biāo)丟失，算法定義了2個模板：可更新模HC和固定模板HM。

在運(yùn)動一致性的約束下，基于直方圖匹配的目標(biāo)跟蹤算法實(shí)現(xiàn)如下：

1）人工輔助選定跟蹤目標(biāo)，并提取目標(biāo)的投影直方圖作為目標(biāo)特征。投影直方圖特征記為為當(dāng)前目標(biāo)所在位置。

2）初始化可更新模板HC＝HM，vp＝0，vD＝0。

3）獲取新一幀圖像，根據(jù)vp、vD大小預(yù)測目標(biāo)在當(dāng)前幀可能位置及搜索窗口的大小、方向，其中p2＝p1＋vp，W2＝（W1＋vD）θ。

4）在預(yù)測位置p2及其鄰域內(nèi)，并根據(jù)預(yù)測搜索窗口W2，在一定范圍內(nèi)連續(xù)改變窗口的尺寸及方向生成一個窗口檢測序列，計(jì)算相應(yīng)檢測區(qū)域的投影直方圖H。利用式（3）計(jì)算H與HC相關(guān)性，將滿足相關(guān)系數(shù)大于設(shè)定閾值的位置及其投影直方圖H記錄到目標(biāo)候選區(qū)域集合OC中。

5）若4）未檢測到相關(guān)性滿足條件的區(qū)域，則擴(kuò)大搜索范圍，執(zhí)行4）繼續(xù)檢測目標(biāo)。若第2次調(diào)整搜索范圍后仍未檢測目標(biāo)，系統(tǒng)提示目標(biāo)丟失，請求再次人工輔助選擇目標(biāo)。若檢測到相關(guān)性滿足條件的區(qū)域，則繼續(xù)執(zhí)行6）。

6）計(jì)算OC中各投影直方圖與HM的相關(guān)性，提取相關(guān)系數(shù)最大的位置p、其投影直方圖HM和檢測窗口WM。更新vp＝p－p1，vD＝WM－W1，θ＝θ（WM）－θ（W1），p1＝p，HC＝HM。若相關(guān)系數(shù)均不能滿足設(shè)定的參考閾值，說明目標(biāo)丟失，系統(tǒng)請求再次人工輔助選擇目標(biāo)。

7）一次目標(biāo)跟蹤完成，從3）開始在新的一幀中檢測并跟蹤目標(biāo)。

其中，模板更新是算法的重要組成部分，決定了算法跟蹤性能。算法流程圖如圖6所示。

圖6 模板更新流程圖Fig．6 Flow chart for template updating

1．3 實(shí)驗(yàn)測試

人工標(biāo)注是為了操作人員靈活選擇目標(biāo)，然后利用直方圖匹配算術(shù)根據(jù)直方圖特征檢測和跟蹤目標(biāo)，最終實(shí)現(xiàn)利用機(jī)械手任意抓取、移動和安放目標(biāo)的目的。1．2部分所述實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 基于投影直方圖匹配的目標(biāo)跟蹤算法Fig．7 Experiments of object tracking based on projection histogram matching

2 雙目視覺跟蹤

雙目視覺跟蹤除了要在雙目視頻序列中同步、實(shí)時和準(zhǔn)確跟蹤目標(biāo)外，還應(yīng)完成雙目圖像中的目標(biāo)配準(zhǔn)工作。傳統(tǒng)的方式是在同時獲取的雙目圖像中獨(dú)立檢測和跟蹤目標(biāo)，而后再根據(jù)目標(biāo)的自身特征及雙目視覺的結(jié)構(gòu)關(guān)系完成目標(biāo)的配準(zhǔn)工作。然而，目標(biāo)在雙目圖像中的穩(wěn)定幾何關(guān)系，可用來引導(dǎo)雙目視覺中目標(biāo)的搜索范圍，將目標(biāo)的跟蹤與配準(zhǔn)2個工作合二為一。假設(shè)，當(dāng)在一個右視覺中準(zhǔn)確跟蹤到目標(biāo)，利用雙目視覺的極線幾何原理，將目標(biāo)在左視覺中的位置限定在一條直線上。再結(jié)合目標(biāo)運(yùn)動的一致性約束，目標(biāo)在左視覺中的位置限定在一個很小的范圍內(nèi)。在左視覺中檢測出的圖像即是已經(jīng)與右視覺配準(zhǔn)后的目標(biāo)，提高了雙目視覺系統(tǒng)中目標(biāo)跟蹤和配準(zhǔn)的運(yùn)算速度。另外，當(dāng)目標(biāo)在其中的任意一個視覺中跟蹤失敗時，根據(jù)另一個視覺中的目標(biāo)位置，利用極線幾何原理可計(jì)算出目標(biāo)必會存在的直線位置，即可重新搜索到目標(biāo)。如此以來，既提高了雙目視覺系統(tǒng)中目標(biāo)跟蹤的運(yùn)算速度，又提高了跟蹤的準(zhǔn)確性和可靠性。

雙目視覺系統(tǒng)中，在極線幾何與運(yùn)動一致性準(zhǔn)則引導(dǎo)下，利用直方圖匹配的目標(biāo)跟蹤算法實(shí)現(xiàn)步驟如下：

1）在雙目圖像中人工輔助標(biāo)定跟蹤目標(biāo)，并分別提取雙目圖像中的目標(biāo)投影直方圖。

2）初始化右視覺為主視覺，則左視覺為在副視覺。主視覺蹤利用1．2．2所述算法檢測并跟蹤目標(biāo)。若主視覺中目標(biāo)丟失，則將主副視覺相切換，重新執(zhí)行此步驟。

3）根據(jù)2）跟蹤到的目標(biāo)位置，利用極線幾何原理，計(jì)算目標(biāo)在副視覺中對應(yīng)的極線，同時根據(jù)運(yùn)動一致性約束，將目標(biāo)限制到極線很小的范圍內(nèi)。利用1．2．2所述算法精確檢測并跟蹤目標(biāo)。

雙目視覺跟蹤算法實(shí)現(xiàn)流程圖如圖8所示。

圖8 雙目視覺跟蹤算法實(shí)現(xiàn)流程Fig．8 The flow chart of object tracking in binocular vision

3 實(shí)驗(yàn)分析

在實(shí)驗(yàn)室環(huán)境手工搭建的雙目視覺平臺上進(jìn)行了相關(guān)測試，實(shí)驗(yàn)平臺如圖9所示。硬件配置為：2臺相同型號普通攝像機(jī)，普通4通道圖像采集卡，計(jì)算機(jī)一臺（Core i7?4770 3．40 GHz 8 GB內(nèi)存）。

3．1 算法性能測試

在測試雙目視覺的目標(biāo)跟蹤性能之前，需要先確定在單目視覺中基于直方圖匹配的目標(biāo)跟蹤算法性能。為定性比較目標(biāo)跟蹤算法的性能，本文選擇了CamSift算法和背景差分法進(jìn)行實(shí)驗(yàn)比較。手持目標(biāo)移動進(jìn)行跟蹤測試，實(shí)驗(yàn)結(jié)果如圖10所示。

圖9 雙目視覺實(shí)驗(yàn)平臺Fig．9 Testing platform of binocular vision

圖10 目標(biāo)跟蹤實(shí)驗(yàn)對比Fig．10 Comparative experiments for object tracking

背景差分法分割了所有的與背景相差較大的區(qū)域，無法精準(zhǔn)定位目標(biāo)。然而在實(shí)際應(yīng)用中夾取目標(biāo)的機(jī)械臂也會移動，并且背景差分法需建立在良好的背景模型基礎(chǔ)上，應(yīng)用具有較大局限性。CamShift算法利用了圖像的色彩信息，然而當(dāng)背景中存在大面積與目標(biāo)色彩信息相同的物體時，將不能準(zhǔn)確跟蹤目標(biāo)。另外，背景差分法和Camshift算法不能估計(jì)物體的傾斜方向，無法計(jì)算目標(biāo)的位姿。本文所提算法采用了多顏色空間投影直方圖，利用直方圖所體現(xiàn)的統(tǒng)計(jì)信息與結(jié)構(gòu)信息成功跟蹤移動目標(biāo)，并且可以匹配目標(biāo)的傾斜方向，利于在雙目視覺系統(tǒng)中計(jì)算目標(biāo)位姿。

3．2 算法跟蹤精度分析

為了測試本文所提目標(biāo)跟蹤算法的跟蹤精度，利用實(shí)驗(yàn)室自行搭建的雙目視覺平臺及三維坐標(biāo)重建算法進(jìn)行測試。選擇背景穩(wěn)定的室內(nèi)環(huán)境，在0．4～1．5 m的范圍中，并且場景中沒有與目標(biāo)色彩相同或相近的干擾區(qū)域。利用CamShift算法與本文所提算法分別在雙目圖像中跟蹤目標(biāo)，并直接利用跟蹤目標(biāo)的原始圖像坐標(biāo)值計(jì)算三維坐標(biāo)，并將重建后的三維坐標(biāo)值與真實(shí)值的距離作為誤差衡量標(biāo)準(zhǔn)，其平均誤差及每幀平均跟蹤運(yùn)算時間如表1。

表1 未配準(zhǔn)CamShift算法跟蹤結(jié)果Table 1 Tracking results for unmatched Camshift

表1實(shí)驗(yàn)結(jié)果表明，本文所提算法的跟蹤精度明顯高于CamShift算法。CamShift的誤差高是因?yàn)槟繕?biāo)未進(jìn)行配準(zhǔn)，為了體現(xiàn)本文算法的優(yōu)勢，將CamShift算法的跟蹤目標(biāo)配準(zhǔn)后再次計(jì)算其平均誤差及消耗時間，如表2所示。

表2實(shí)驗(yàn)結(jié)果表明，配準(zhǔn)CamShift算法跟蹤結(jié)果后，跟蹤的平均誤差大幅度降低。然而，與本文算法相比，跟蹤精度與本文相當(dāng)，但時間消耗大幅度增加。

表2 配準(zhǔn)CamShift算法跟蹤結(jié)果Table 2 Tracking results for matched Camshift

3．3 實(shí)驗(yàn)結(jié)果

選擇有顏色信息和無顏色信息2種目標(biāo)測試本文跟蹤算法。有色彩信息的目標(biāo)相對容易跟蹤，無色彩信息的目標(biāo)主要利用其灰度的統(tǒng)計(jì)信息及結(jié)果信息進(jìn)行跟蹤，如圖11所示。

圖11 本文所提算法雙目跟蹤結(jié)果Fig．11 Experiments of our proposed method

4 結(jié)束語

本文依據(jù)雙目視覺極線幾何與運(yùn)動一致性，提出了一種利用投影直方圖匹配方法檢測并跟蹤目標(biāo)的方法。首先，人工輔助選擇跟蹤目標(biāo)；其次，在主視覺中結(jié)合目標(biāo)運(yùn)動一致性約束，利用投影直方圖匹配算法檢測并跟蹤目標(biāo)；最后，根據(jù)目標(biāo)在主視覺中的目標(biāo)位置，利用極線幾何原理和運(yùn)動一致性原則得到一個很小的目標(biāo)搜索范圍，并利用投影直方圖匹配算法檢測并跟蹤目標(biāo)，完成雙目視覺系統(tǒng)的目標(biāo)跟蹤任務(wù)。本文算法的優(yōu)勢在于，當(dāng)目標(biāo)在一個視覺中跟蹤失敗時，可利用目標(biāo)在另一個視覺中的位置，在其對應(yīng)的極線上重新搜索目標(biāo)，提高了雙目視覺系統(tǒng)目標(biāo)跟蹤的可靠性。

本文所提算法同樣具有局限性，當(dāng)目標(biāo)的整個成像平面是純色或相近灰度，并且與背景相近，進(jìn)而不存在結(jié)構(gòu)信息時，提取的目標(biāo)區(qū)域的投影直方圖將不再具有表征目標(biāo)結(jié)構(gòu)特征的功能，算法的跟蹤精度將會明顯降低，甚至跟蹤失敗。此時，文中所使用的對比算法也將失效，背景差分法將檢測不出背景與目標(biāo)的差別，CamShift算法也檢測不到目標(biāo)的色彩局域。因此，可以在一些電力設(shè)備上添加一些具有明顯結(jié)構(gòu)特征的圖案或色彩，如黑白間隔或各種色彩相互隔的條紋，實(shí)現(xiàn)目標(biāo)的準(zhǔn)確跟蹤定位。

［1］HOSEINNEZHAD R，VO B N，VO B T．Visual tracking in background subtracted image sequences via multi?Bernoulli filtering［J］．IEEE Transactions on Signal Processing，2013，61（2）：392?397．

［2］王樂東，王江安，康圣，等．相鄰幀間匹配的迎頭點(diǎn)目標(biāo)跟蹤算法［J］．光學(xué)學(xué)報(bào)，2009，29（11）：3004?3009．WANG Ledong，WANG Jiang’an，KANG Sheng，et al．An algorithm of adjacent frame matching used for head?on point targets tracking［J］．Acta Optica Sinica，2009，29（11）：3004?3009．

［3］ALLEN J G，XU R Y D，JIN J S．Object tracking using camshift algorithm and multiple quantized feature spaces［C］／／Proceedings of the Pan?Sydney Area Workshop on VisualInformationProcessing．Darlinghurst，Australia，2004：3?7．

［4］ZHANG Shengping，YAO Hongxun，SUN Xin，et al．Sparse coding based visual tracking：review and experimental com?parison［J］．Pattern Recognition，2013，46（7）：1772?1788．

［5］TSECHPENAKIS G，RAPANTZIKOS K，TSAPATSOULIS N，et al．A snake model for object tracking in natural se?quences［J］．Signal Processing：Image Communication，2004，19（3）：219?238．

［6］KOSCHAN A，KANG S，PAIK J，et al．Color active shape models for tracking non?rigid objects［J］．Pattern Recogni?tion Letters，2003，24（11）：1751?1765．

［7］邱雪娜，劉士榮．基于序貫檢測機(jī)制的雙目視覺運(yùn)動目標(biāo)跟蹤與定位方法［J］．機(jī)器人，2011，33（2）：181?190．QIU Xuena，LIU Shirong．Moving objects tracking and lo?calization with binocular vision based on sequential detection mechanism［J］．Robot，2011，33（2）：181?190．

［8］王麗佳，賈松敏，李秀智，等．多特征提取的雙目機(jī)器人目標(biāo)跟蹤［J］．控制與決策，2013，28（10）：1568?1572．WANG Lijia，JIA Songmin，LI Xiuzhi，et al．Person follow?ing of binocular robot by extracting multiple features［J］．Control and Decision，2013，28（10）：1568?1572．

［9］ZOIDI O，NIKOLAIDIS N，TEFAS A，et al．Stereo object tracking with fusion of texture，color and disparity informa?tion［J］．Signal Processing：Image Communication，2014，29（5）：573?589．

［10］解洪文，王宏倫．基于雙目視覺的自動空中加油近距導(dǎo)航方法［J］．北京航空航天大學(xué)學(xué)報(bào)，2011，37（2）：206?209．XIE Hongwen，WANG Honglun．Binocular vision?based short?range navigation method for autonomous aerial refue? ling［J］．Journal of Beijing University of Aeronautics and Astronautics，2011，37（2）：206?209．

［11］祝琨，楊唐文，阮秋琦，等．基于雙目視覺的運(yùn)動物體實(shí)時跟蹤與測距［J］．機(jī)器人，2009，31（4）：327?334．ZHU Kun，YANG Tangwen，RUAN Qiuqi，et al．Real?time tracking and measuring of moving objects based on binocular vision［J］．Robot，2009，31（4）：327?334．

［12］MUFFERT M，PFEIFFER D，F(xiàn)RANKE U．A stereo?vision based object tracking approach at roundabouts［J］．IEEE Intelligent Transportation Systems Magazine，2013，5（2）：22?32．

［13］CAI Ling，HE Lei，XU Yiren，et al．Multi?object detection and tracking by stereo vision［J］．Pattern Recognition，2010，43（12）：4028?4041．

［14］LI Jinping，QIN Min，XIA Yingjie，et al．Remarks on a novel statistical histogram—average scene cumulative his?togram［C］／／2012 IEEE International Conference on Gran?ular Computing．Hangzhou，China，2012：253?257．

［15］張廣軍．視覺測量［M］．北京：科學(xué)出版社，2008：134?174．ZHANG Guangjun．Vision measurement［M］．Beijing：Sci?ence Press，2008：134?174．

［16］吳成茂．直方圖均衡化的數(shù)學(xué)模型研究［J］．電子學(xué)報(bào)，2013，41（3）：598?602．WU Chenmao．Studies on mathematical model of histogram equalization［J］．Acta Electronica Sinica，2013，41（3）：598?602．

［17］余旺盛，侯志強(qiáng)，田孝華．基于旋轉(zhuǎn)不變直方圖的快速匹配窮搜索［J］．電子學(xué)報(bào)，2012，40（11）：2177?2182．YU Wangsheng，HOU Zhiqiang，TIAN Xiaohua．Swift matching exhaustive search based on rotation invariant his?togram［J］．Acta Electronica Sinica，2012，40（11）：2177?2182．

［18］BRADSKI G，KAEHLER A．Learning OpenCV：Computer

vision with the OpenCV library［M］．［S．l．］：O′Reilly Media，Inc．，2008：405?458，193?219．

Binocular object tracking method using projection histogram matching

WANG Jie1，2，JIANG Mingmin1，HUA Xiaohui3，4，LU Shouyin3，5，LI Jinping1，2
（1．School of Information Science and Engineering，University of Jinan，Jinan 250022，China；2．Shandong Provincial Key Laboratory of Network Based Intelligent Computing，University of Jinan，Jinan 250022，China；3．School of Information and Electrical Engineer?ing，Shandong Jianzhu University，Jinan 250101，China；4．Shandong Province Key Laboratory of Intelligent Building，Shandong Jianzhu University，Jinan 250101，China；5．Shandong Electric Power Research Institute，Jinan 250002，China）

An effective object location and tracking method is proposed for a robot manipulator's binocular visual servo system by utilizing projection histogram matching and the epipolar geometric constraint．The object is selected manually in the two vision systems，then the horizontal and vertical projection histograms，in multiple color spaces of the selected object，are extracted as matching templates for these two vision systems．The object in one vision system can be tracked by making use of the principle of moving continuity and the matching templates of the projec?tion histograms in multiple color spaces．In the other vision system，the object is located roughly based on epipolar geometric constraint，and then it can be tracked accurately using the same method which is used in the first vision．The proposed method describes the object's structural information by using horizontal and vertical projection histo?grams，and realizes the function of object tracking and registration in the binocular visual system，which is helpful in the precise location and visual measurement of the tracked object．The experiment results indicate that this meth?od can realize the binocular object tracking with high efficiency and strong robustness．

projection histogram；object tracking；binocular vision；epipolar geometry；template matching

王杰，男，1989年生，碩士研究生，主要研究方向?yàn)閳D像處理與模式識別。

蔣明敏，男，1993年生，碩士研究生，主要研究方向?yàn)閳D像處理、機(jī)器學(xué)習(xí)。

花曉慧，女，1988年生，碩士研究生，主要研究方向?yàn)閺?fù)雜系統(tǒng)建模、控制與仿真。

TP391

A

1673?4785（2015）05?0775?08

10．11992／tis．201410009

http：／／www．cnki．net／kcms／detail／23．1538．tp．20150930．1556．026．html

王杰，蔣明敏，花曉慧，等．基于投影直方圖匹配的雙目視覺跟蹤算法［J］．智能系統(tǒng)學(xué)報(bào)，2015，10（5）：775?782．

英文引用格式：WANG Jie，JIANG Mingmin，HUA Xiaohui，et al．Binocular object tracking method using projection histogram matching［J］．CAAI Transactions on Intelligent Systems，2015，10（5）：775?782．

2014?10?08．

日期：2015?09?30．

國家“863”計(jì)劃資助項(xiàng)目（2012AA041506）；山東省高等學(xué)校科研計(jì)劃資助項(xiàng)目（J12LN19）；山東省科技發(fā)展計(jì)劃資助項(xiàng)目（2013YD01043）；濟(jì)南大學(xué)?；鹬攸c(diǎn)項(xiàng)目資助（XKY1202）．

李金屏．E?mail：ise_lijp＠ujn．edu．cn．