融合尺度空間的智能機(jī)器人自適應(yīng)跟隨仿真

韓 菊，曹 峰

(1.太原學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，山西 太原 030012；2.山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030001)

1 引言

由于目標(biāo)跟隨技術(shù)能夠完成特殊場(chǎng)景中的自主動(dòng)作，被大量應(yīng)用于制導(dǎo)、安防和機(jī)器人等領(lǐng)域[1]。依托各類(lèi)傳感器對(duì)環(huán)境和目標(biāo)的感知，利用特征提取分析等技術(shù)完成目標(biāo)檢測(cè)。隨著視頻圖像軟硬件技術(shù)的發(fā)展，大部分目標(biāo)采用視頻跟隨方式[2]。但是，跟隨過(guò)程存在動(dòng)靜態(tài)混合過(guò)程，會(huì)引起視頻圖像的清晰度、光照度和尺度變換。另外，長(zhǎng)期的目標(biāo)遮擋也會(huì)給目標(biāo)識(shí)別帶來(lái)誤差干擾。為了能夠找到一種兼具精度、速度，以及抗擾性的跟隨算法，研究人員已經(jīng)做了很多工作，也取得了一些成果。早期較為著名的跟隨方法包括MeanShift、SVM、TLD和KCF等[3]。它們推動(dòng)了目標(biāo)跟隨在實(shí)際中的應(yīng)用，同時(shí)也推動(dòng)了各種改進(jìn)方法的出現(xiàn)。文獻(xiàn)[4]針對(duì)跟隨過(guò)程中發(fā)生的部分遮擋情況，采用計(jì)算K均值的方法來(lái)分辨目標(biāo)與背景。文獻(xiàn)[5]在TLD基礎(chǔ)上引入了尺度變換處理，并采用置信度評(píng)價(jià)學(xué)習(xí)粒子。文獻(xiàn)[6]在KCF基礎(chǔ)上，通過(guò)對(duì)目標(biāo)采取HOG與LBP特征提取，改善跟隨過(guò)程中的遮擋問(wèn)題。文獻(xiàn)[7]依據(jù)超像素處理來(lái)實(shí)現(xiàn)位置與尺度兩個(gè)方面的特征跟隨。文獻(xiàn)[8]根據(jù)卷積計(jì)算來(lái)確定KCF響應(yīng)和尺度信息。這些改進(jìn)方法都在傳統(tǒng)方法的基礎(chǔ)上做了某些性能提升，考慮到機(jī)器人目標(biāo)跟隨應(yīng)用場(chǎng)景，以及跟隨算法的適應(yīng)性，結(jié)合現(xiàn)有研究成果，本文提出了融合尺度空間的自適應(yīng)目標(biāo)跟隨方法。

本文方法融合尺度空間，構(gòu)建包含位置估計(jì)與尺度空間估計(jì)目標(biāo)模型，利用位置估計(jì)實(shí)現(xiàn)快速檢測(cè)，利用尺度估計(jì)適應(yīng)尺度變換，同時(shí)對(duì)位置和尺度參數(shù)的計(jì)算進(jìn)行優(yōu)化。由于位置與尺度模型無(wú)法有效處理長(zhǎng)時(shí)間的目標(biāo)丟失，所以又針對(duì)非規(guī)則模糊圖像和遮擋情況分別設(shè)計(jì)了目標(biāo)與背景分類(lèi)器，從而提高跟隨算法的環(huán)境自適應(yīng)性。

2 融合尺度空間的機(jī)器人跟隨模型

2.1 目標(biāo)位置確定

考慮到目標(biāo)位置估算的速度問(wèn)題，采取高斯核對(duì)空間特征進(jìn)行映射。通過(guò)低維向高維的轉(zhuǎn)換實(shí)現(xiàn)特征可分性。利用目標(biāo)附近的a×b圖像區(qū)域，確定學(xué)習(xí)粒子xi及其標(biāo)簽yi，這里i∈{0，…，a-1}×{0，…，b-1}。目標(biāo)位置映射對(duì)應(yīng)的代價(jià)約束描述為

(1)

引入學(xué)習(xí)粒子的核矩陣，可以得到分類(lèi)器表達(dá)式為

ε=(H+αI)-1Y

(2)

其中，I代表單位矩陣；H代表學(xué)習(xí)粒子的核矩陣，hij=h(xi，xj)=〈m(xi)，m(xj)〉；Y代表由yi構(gòu)成的矩陣。求解出的結(jié)果代入線性組合公式，確定正則后的濾波響應(yīng)如下

f(k)=F-1{F(ε)F[mT(x)，m(k)]}

(3)

其中，k代表備用學(xué)習(xí)粒子；F-1代表傅里葉反變換；m(x)代表學(xué)習(xí)粒子特征向量；m(k)代表備用學(xué)習(xí)粒子特征向量。通過(guò)求解f(k)的最大值，能夠得到當(dāng)前幀的目標(biāo)位置。

在計(jì)算學(xué)習(xí)粒子線性組合的時(shí)候，需要收集不同時(shí)間段內(nèi)的學(xué)習(xí)粒子。假定將不同時(shí)間段內(nèi)學(xué)習(xí)粒子的平均誤差標(biāo)記為Δxi，…，Δxt，利用最小二乘便可以計(jì)算出所需濾波器數(shù)量。考慮到位置確定應(yīng)該具有較好的魯棒性，同時(shí)為了簡(jiǎn)化處理過(guò)程，本文采取DFT變換求解濾波器參數(shù)

(4)

(5)

其中，Yc代表DFT處理后的標(biāo)簽變量；β代表加權(quán)因子，用于防止濾波器出現(xiàn)擬合過(guò)度的情況。

2.2 目標(biāo)尺度確定

采用高斯函數(shù)與卷積計(jì)算對(duì)學(xué)習(xí)粒子進(jìn)行特征尺度映射，相應(yīng)的尺度映射代價(jià)約束描述為

(6)

其中，fi代表尺度濾波器；xi代表時(shí)間序列的學(xué)習(xí)粒子；ei代表xi的期望高斯輸出；*代表卷積計(jì)算。基于復(fù)頻域，利用Parseval定理對(duì)代價(jià)約束進(jìn)行處理，求解出尺度濾波器參數(shù)如下

(7)

(8)

基于尺度濾波器，備用學(xué)習(xí)粒子k的響應(yīng)可以表示為

(9)

3 自適應(yīng)跟隨檢測(cè)

融合尺度空間的跟隨方法可以根據(jù)學(xué)習(xí)粒子完成目標(biāo)的快速跟隨。同時(shí)由于約束條件的邊界性，能夠很好的保證目標(biāo)跟隨的魯棒性。盡管融合尺度空間優(yōu)化了基于位置跟隨的魯棒性，可是其過(guò)程中仍然會(huì)形成過(guò)多的學(xué)習(xí)矩形區(qū)域，從而影響算法處理性能。為增強(qiáng)目標(biāo)與背景的識(shí)別精度，本文首先采用尺度掃描來(lái)獲得矩形區(qū)域，目標(biāo)粒子尺度選擇方式描述如下

(10)

其中，μ代表尺度系數(shù)；m代表尺度掃描的區(qū)域數(shù)量；M代表尺度層數(shù)。通過(guò)尺度選擇，能夠得到m數(shù)量的矩形區(qū)域，再將區(qū)域內(nèi)的目標(biāo)特征進(jìn)行分類(lèi)。分類(lèi)器公式描述如下

(11)

fi代表矩形區(qū)域i；二值參數(shù)x∈{0，1}用于描述正負(fù)粒子的標(biāo)簽。考慮到目標(biāo)的非規(guī)則性，為了消除矩形邊緣與內(nèi)部的相互影響，將矩形區(qū)域采取g×g均分，并為每個(gè)子區(qū)域賦予權(quán)重

(12)

(o0，x，o0，y)和(oi，x，oi，y)分別代表矩形區(qū)域和子區(qū)域i對(duì)應(yīng)中心位置。引入權(quán)重后的分類(lèi)器表達(dá)式更新為

(13)

G代表g×g均分后子區(qū)域數(shù)量；fji代表子區(qū)域j中的i特征值。此時(shí)，由于權(quán)重的不同，邊緣特征將會(huì)獲得相對(duì)小的分?jǐn)?shù)，進(jìn)而降低目標(biāo)邊緣受背景的影響，更加準(zhǔn)確的分辨出目標(biāo)和背景。

機(jī)器人對(duì)目標(biāo)進(jìn)行跟隨的過(guò)程中，可能會(huì)出現(xiàn)目標(biāo)被遮擋的情況。如果目標(biāo)被完全遮擋，則目標(biāo)消失很容易導(dǎo)致跟隨失敗。如果目標(biāo)被部分遮擋，隨著時(shí)間流逝很容易使跟隨誤差增加，進(jìn)而導(dǎo)致跟隨失敗。因此，要完成機(jī)器人的自適應(yīng)跟隨，就需要對(duì)目標(biāo)遮擋采取有效的處理。根據(jù)遮擋造成的影響程度，這里將其劃分成輕重兩級(jí)。對(duì)于隸屬輕級(jí)別的情況，維持跟隨狀態(tài)與模型的更新。對(duì)于隸屬重級(jí)別的情況，需要立即采取重檢，且無(wú)需進(jìn)行模型更新。在輕重級(jí)別劃分時(shí)，直接依據(jù)模型的最大響應(yīng)來(lái)確定劃分閾值可能會(huì)導(dǎo)致誤差不可控。當(dāng)出現(xiàn)累計(jì)誤差時(shí)，跟隨模型可能已經(jīng)發(fā)生偏移，此時(shí)得到的閾值將失去有效性。于是，這里綜合響應(yīng)峰值與響應(yīng)波動(dòng)進(jìn)行衡量，描述如下

(14)

其中，F(xiàn)max為模型最大響應(yīng)；Fmin為模型最小響應(yīng)；ave(·)為均值求解。通過(guò)λ值的計(jì)算，有利于體現(xiàn)圖像區(qū)域內(nèi)各點(diǎn)響應(yīng)相對(duì)峰值的情況。在目標(biāo)存在遮擋或者消失的時(shí)候，將引起較大的波動(dòng)效果，λ受到影響而顯著降低。所以利用λ便可以有效判斷出目標(biāo)是否受到遮擋。當(dāng)出現(xiàn)遮擋，為了能夠維持較好的跟隨性能，這里通過(guò)對(duì)目標(biāo)和背景的分布狀態(tài)進(jìn)行區(qū)分。此過(guò)程可以看做是學(xué)習(xí)粒子的特征至分類(lèi)的映射?；趯傩悦枋龅膶W(xué)習(xí)粒子為Xn=(fn，sn)，n∈[1，a×b]，f為粒子特征集合；s為粒子分類(lèi)集合；映射過(guò)程描述為f→s。利用SNB對(duì)學(xué)習(xí)粒子進(jìn)行分類(lèi)處理。通過(guò)隨機(jī)方式選取f內(nèi)的i組子集，其間需要滿足子集大小一致的限定條件，任意子集可以描述如下

fi={fi，1，fi，2，…，fi，j}

(15)

其中，j表示子集內(nèi)的特征數(shù)量。如果所有子集內(nèi)的屬性均滿足相互獨(dú)立，則f的似然估計(jì)可以描述如下

(16)

其中，nf、ns依次表示特征總數(shù)量和分類(lèi)總數(shù)量。根據(jù)似然估計(jì)，推導(dǎo)得出分類(lèi)器如下

(17)

通過(guò)分類(lèi)器處理，便可以更好的完成遮擋情況下的目標(biāo)和背景分類(lèi)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)基于OTB視頻集來(lái)模擬機(jī)器人對(duì)目標(biāo)的跟隨效果，OTB中包含11類(lèi)變換屬性，能夠模擬較為復(fù)雜的應(yīng)用場(chǎng)景。實(shí)驗(yàn)平臺(tái)選擇Intel(R)Core(TM)i5-8250U，頻率1.8GHz，內(nèi)存8GB。采用MatlabR2014仿真軟件驗(yàn)證跟隨算法的性能。實(shí)驗(yàn)過(guò)程中，設(shè)置正則系數(shù)α=0.01，學(xué)習(xí)率u=v=0.075，尺度系數(shù)μ=1.13，尺度層數(shù)M=28。

4.2 評(píng)估指標(biāo)

為了對(duì)跟隨性能進(jìn)行定量分析，通過(guò)距離精度來(lái)衡量跟隨精確度。該指標(biāo)能夠反映目標(biāo)位置的誤差，其公式描述如下

(18)

其中，N代表測(cè)試視頻包含的總幀數(shù)；Nframe代表跟隨誤差符合約束條件的幀數(shù)。對(duì)于每一幀視頻，采用距離來(lái)判定位置誤差，其計(jì)算公式描述如下

(19)

其中，(x＇，y＇)代表跟隨估計(jì)的目標(biāo)位置；(x，y)代表標(biāo)記的目標(biāo)位置。

通過(guò)成功率指標(biāo)進(jìn)一步衡量跟隨效果，該指標(biāo)能夠反映目標(biāo)的重疊率，其公式描述如下

(20)

其中，N代表測(cè)試視頻包含的總幀數(shù)；Noverlap代表跟隨過(guò)程中重疊率符合約束條件的幀數(shù)。關(guān)于重疊率，公式描述如下

(21)

其中，A′代表跟隨估計(jì)的目標(biāo)區(qū)域；A代表標(biāo)記的目標(biāo)區(qū)域。

基于評(píng)估指標(biāo)，選擇文獻(xiàn)[7]和文獻(xiàn)[8]的跟隨方法作為實(shí)驗(yàn)對(duì)比，進(jìn)而驗(yàn)證所提方法的性能優(yōu)勢(shì)。

4.3 定量結(jié)果分析

從OTB數(shù)據(jù)集中隨機(jī)選取10個(gè)視頻序列，通過(guò)調(diào)節(jié)誤差門(mén)限，得到各跟隨方法的距離精度變化情況，結(jié)果如圖1所示。由曲線可知，誤差門(mén)限的合理設(shè)定，將直接影響測(cè)試的距離精度。如果門(mén)限設(shè)置過(guò)小，會(huì)導(dǎo)致一些正常跟隨被誤判；如果門(mén)限設(shè)置過(guò)大，又會(huì)導(dǎo)致一些非正常跟隨被覆蓋。門(mén)限的不合理設(shè)置，均會(huì)對(duì)精度產(chǎn)生影響。另外，經(jīng)過(guò)曲線對(duì)比能夠發(fā)現(xiàn)，在距離精度達(dá)到穩(wěn)定后，本文方法具有明顯優(yōu)勢(shì)。

針對(duì)選取的10個(gè)視頻序列，通過(guò)調(diào)節(jié)重疊門(mén)限，得到各跟隨方法的成功率變化情況，結(jié)果如圖2所示。由曲線可知，重疊門(mén)限的合理選取直接影響成功率大小，同時(shí)也能夠得到在任意重疊門(mén)限情況下，本文方法的成功率都高于其它方法。

圖2 成功率隨重疊門(mén)限的變化

從OTB數(shù)據(jù)集中隨機(jī)選取10個(gè)視頻序列，根據(jù)距離精度結(jié)果設(shè)置誤差門(mén)限為15，測(cè)試得到各跟隨方法的距離精度，結(jié)果如表1所示。由測(cè)試數(shù)據(jù)可知，文獻(xiàn)[7]方法的平均距離精度為73.17%，文獻(xiàn)[8]方法的平均距離精度為77.46%，本文所提方法的平均距離精度為86.51%。在測(cè)試選取的10個(gè)視頻序列中，本文方法的距離精度均高于其它方法，且平均精度分別高于文獻(xiàn)[7]和文獻(xiàn)[8]方法13.34%、9.05%。

表1 距離精度

針對(duì)選取的10個(gè)視頻序列，根據(jù)成功率結(jié)果設(shè)置誤差門(mén)限為0.45，測(cè)試得到各跟隨方法的成功率，結(jié)果如表2所示。由測(cè)試數(shù)據(jù)可知，文獻(xiàn)[7]方法的平均成功率為77.66%，文獻(xiàn)[8]方法的平均成功率為79.46%，本文所提方法的平均成功率為88.76%，本文方法的平均成功率分別高于文獻(xiàn)[7]和文獻(xiàn)[8]方法的11.10%、9.30%。

表2 成功率

通過(guò)10個(gè)視頻序列測(cè)試得到各方法的平均運(yùn)行速度，結(jié)果如表3所示。比較發(fā)現(xiàn)，雖然本文方法的運(yùn)行速度較文獻(xiàn)[7]方法慢了一點(diǎn)，但是仍然滿足目標(biāo)跟隨的實(shí)時(shí)性要求，具有良好的跟隨速度。

表3 運(yùn)行速度

5 結(jié)束語(yǔ)

為了提高智能機(jī)器人跟隨效果，本文采用目標(biāo)位置融合尺度空間的方法構(gòu)建跟隨模型，針對(duì)目標(biāo)和背景的區(qū)分設(shè)計(jì)了目標(biāo)區(qū)域特征分類(lèi)與權(quán)重分類(lèi)器，針對(duì)目標(biāo)遮擋設(shè)計(jì)了基于波動(dòng)的似然估計(jì)分類(lèi)器。通過(guò)OTB數(shù)據(jù)集對(duì)機(jī)器人跟隨效果進(jìn)行模擬仿真，得到所提方法的平均距離精度為86.51%，平均成功率為88.76%。表明融合尺度空間自適應(yīng)跟隨方法魯棒性好，顯著提升了尺度變換與遮擋等復(fù)雜場(chǎng)景下的精度與速度。