基于全景視覺(jué)和常規(guī)視覺(jué)融合的目標(biāo)跟蹤技術(shù)

錢澤東等

摘 要：全景視覺(jué)和常規(guī)視覺(jué)協(xié)同利用進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是圖像處理中的一個(gè)重要課題，具有廣泛的應(yīng)用前景。文章基于全景視覺(jué)與常規(guī)視覺(jué)融合的目標(biāo)跟蹤技術(shù)，采用全景視覺(jué)和常規(guī)視覺(jué)協(xié)同方式，由全景發(fā)現(xiàn)目標(biāo)后報(bào)警，將目標(biāo)在空間中的水平和垂直角度信息傳遞給常規(guī)視覺(jué)系統(tǒng)，實(shí)現(xiàn)目標(biāo)的跟蹤。

關(guān)鍵詞：全景視覺(jué)；數(shù)字圖像處理；目標(biāo)檢測(cè)；目標(biāo)跟蹤

傳統(tǒng)視覺(jué)一般采用常規(guī)攝像頭，一般視野較小，對(duì)周圍環(huán)境信息的獲取不全面，容易形成視覺(jué)盲區(qū)，不能及時(shí)地處理某些突發(fā)事件。全景視覺(jué)能滿足人們大視場(chǎng)需求，能在同一時(shí)間獲取周圍水平方向360°，垂直方向超過(guò)180°的視野信息，但是對(duì)周圍環(huán)境存在畸變映射，不是實(shí)際景物的真實(shí)反映，對(duì)距離全景攝像機(jī)較遠(yuǎn)的目標(biāo)無(wú)法精確觀測(cè)和識(shí)別。因此，為滿足實(shí)際中的各種需要，合理運(yùn)用全景和常規(guī)視覺(jué)系統(tǒng)，由全景視覺(jué)系統(tǒng)發(fā)現(xiàn)目標(biāo)，然后通過(guò)位置解算對(duì)目標(biāo)方位信息進(jìn)行解算，基于解算得到的方位信息，通過(guò)常規(guī)視覺(jué)系統(tǒng)進(jìn)行精確觀察，不失為一種良好的目標(biāo)跟蹤系統(tǒng)。

1 全景視覺(jué)和常規(guī)視覺(jué)融合系統(tǒng)組成

全景和常規(guī)視覺(jué)系統(tǒng)的結(jié)構(gòu)布置可以有兩種，一種是全景視覺(jué)系統(tǒng)和常規(guī)視覺(jué)系統(tǒng)水平方向放置，一種是垂直方向放置。兩種結(jié)構(gòu)布置方式都可以實(shí)現(xiàn)周圍環(huán)境的監(jiān)測(cè)，但是水平放置時(shí)，常規(guī)視覺(jué)系統(tǒng)中的云臺(tái)攝像機(jī)會(huì)遮擋住一部分全景信息，雖然也能同時(shí)通過(guò)云臺(tái)進(jìn)行觀察，但是造成了資源的浪費(fèi)，相對(duì)于垂直方向的放置方法，不能完全發(fā)揮全景的優(yōu)勢(shì)。而且兩者的坐標(biāo)軸有一段距離，當(dāng)全景找到目標(biāo)確定位置信息后，調(diào)動(dòng)云臺(tái)轉(zhuǎn)動(dòng)到相應(yīng)的預(yù)置位，而相應(yīng)的云臺(tái)控制系統(tǒng)的預(yù)置位又因?yàn)槿霸O(shè)備的遮擋，云臺(tái)相機(jī)的視野受限。綜上所述，本系統(tǒng)采用垂直布置結(jié)構(gòu)，全景和云臺(tái)的垂直結(jié)構(gòu)又可以有兩種情況，一種是全景設(shè)備在上，一種是云臺(tái)設(shè)備在上。在這兩種情況下，全景攝像機(jī)的優(yōu)勢(shì)都能被充分地利用，區(qū)別就在于云臺(tái)相機(jī)上。選取的云臺(tái)攝像機(jī)垂直方向上能夠從水平位置向下轉(zhuǎn)動(dòng)90°，如果放置在系統(tǒng)的上方，視野也會(huì)因?yàn)槿霸O(shè)備遮擋而受限，目標(biāo)出現(xiàn)在同一區(qū)域時(shí)兩者的角度很難完整對(duì)應(yīng)，設(shè)置較為復(fù)雜，經(jīng)過(guò)試驗(yàn)對(duì)比，云臺(tái)攝像機(jī)放置在系統(tǒng)下端，可以把全景計(jì)算得到的目標(biāo)的水平垂直角度直接發(fā)送給云臺(tái)作為目標(biāo)的位置信息，兩者的對(duì)應(yīng)關(guān)系較為簡(jiǎn)單，所以最終選取上全景下與下云臺(tái)的垂直結(jié)構(gòu)?？梢赃@樣說(shuō)，在進(jìn)行協(xié)調(diào)控制的時(shí)候，根據(jù)幾何關(guān)系得到全景坐標(biāo)系下的目標(biāo)的水平垂直角度，就能控制云臺(tái)轉(zhuǎn)動(dòng)的預(yù)置位，再微調(diào)下角度，就能得到很好的視野。如圖1所示。

2 基于幀間差分目標(biāo)識(shí)別

基于全景視覺(jué)和常規(guī)視覺(jué)融合跟蹤技術(shù)是在目標(biāo)識(shí)別基礎(chǔ)上完成的，利用全景裝置和云臺(tái)之間的關(guān)系，通過(guò)坐標(biāo)關(guān)系變換得到目標(biāo)的位置信息，使云臺(tái)能夠轉(zhuǎn)動(dòng)到目標(biāo)出現(xiàn)區(qū)域進(jìn)行細(xì)致觀察和追蹤，因此，首先必須進(jìn)行目標(biāo)識(shí)別。

幀間差分法是一種基于相鄰幀圖像序列之間具有高度相似性，相減看變化確定目標(biāo)的簡(jiǎn)單計(jì)算方法。將圖像中大部分相同的東西忽略掉，直接計(jì)算灰度變化較大的區(qū)域，在閾值化處理之后就凸顯了運(yùn)動(dòng)的目標(biāo)，效果類似高通濾波。

對(duì)于圖像序列中的運(yùn)動(dòng)目標(biāo)，由于目標(biāo)在移動(dòng)中，目標(biāo)在當(dāng)前幀的位置和上一幀的位置是不同的，當(dāng)運(yùn)動(dòng)目標(biāo)的顏色特征與背景顏色特征不完全一致時(shí)，那么體現(xiàn)在圖像中的變化就為運(yùn)動(dòng)目標(biāo)所在位置的像素值在兩幅圖像中發(fā)生了明顯的改變，這種改變可以采用差分并閾值處理的形式凸顯出來(lái)。

假設(shè)當(dāng)前幀為f（x，y，z，n），上一幀為f（x，y，z，n-1），其中x，y表示圖像像素所在位置；z表示位深（當(dāng)為彩色圖像時(shí)表示通道個(gè)數(shù)z=3，當(dāng)為灰度圖或單顏色通道時(shí)z=1）；n表示圖像序列的序號(hào)（n>1）。

4 試驗(yàn)結(jié)果

全景視覺(jué)系統(tǒng)與云臺(tái)裝置安裝完成之后，兩者之間的協(xié)調(diào)工作關(guān)系進(jìn)行確定。全景完成檢測(cè)工作之后，還要定位目標(biāo)，將位置信息出傳達(dá)給云臺(tái)，就完成了全部設(shè)計(jì)功能。云臺(tái)僅需設(shè)置手動(dòng)控制按鈕，進(jìn)行鏡頭的微調(diào)和目標(biāo)跟蹤功能?；谝陨显O(shè)計(jì)原理，在VC++平臺(tái)上編程實(shí)現(xiàn)，證明整體的可行性和優(yōu)越性。全景軟件實(shí)現(xiàn)的基本功能是實(shí)現(xiàn)全景圖像開始預(yù)覽和圖像錄制。對(duì)采集到的每幀圖片進(jìn)行處理，按幀間差分法處理可疑目標(biāo)，并且將目標(biāo)的位置信息給到云臺(tái)。

云臺(tái)軟件能夠完成的基本要求是抓拍目標(biāo)圖像、開始和停止錄像，實(shí)現(xiàn)云臺(tái)全方位的調(diào)節(jié)，云臺(tái)可以由全景軟件直接打開，也可以通過(guò)全景內(nèi)目標(biāo)發(fā)現(xiàn)后打開，在給出目標(biāo)的水平和垂直方向的角度后，確定云臺(tái)設(shè)置的預(yù)置位。云臺(tái)轉(zhuǎn)動(dòng)到相應(yīng)的預(yù)置位，這時(shí)候就能觀察到符合人視覺(jué)的正常目標(biāo)圖像，并進(jìn)行跟蹤。

參考文獻(xiàn)

[1]張帆.基于全方位視覺(jué)的超分辨率重建方法研究[D].哈爾濱工程大學(xué)，2008.

[2]古真杰.RoboCup中型組機(jī)器人全景視覺(jué)硬件研究及設(shè)計(jì)[D].重慶大學(xué)，2008.

[3]唐超.基于雙目全景視覺(jué)的運(yùn)動(dòng)目標(biāo)特征檢測(cè)技術(shù)[D].哈爾濱工程大學(xué)，2012.

[4]Stefano Cagnoni，Monica Mordonini.A Hybrid Dual Camera Vision system[J].

[5]Yoshio Onoe，Roberto Naokazu Yokoya，et al.Visual Surveillance and Monitoring System Using an Omnidi-rectional Video Camera[C].14th International Conference on Pattern Recognition.Brisbane，Australia：IEEE，1998：588-592.

作者簡(jiǎn)介：錢澤東（1986-），男，山東日照人，東海標(biāo)準(zhǔn)計(jì)量中心。