動(dòng)態(tài)目標(biāo)跟蹤與自動(dòng)特寫快照系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)

盛 平 倪冬瑋 張 凈

(1江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院，鎮(zhèn)江 212013)

(2鎮(zhèn)江江大科茂信息系統(tǒng)有限責(zé)任公司，鎮(zhèn)江 212001)

(3江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013)

動(dòng)態(tài)目標(biāo)跟蹤與自動(dòng)特寫快照系統(tǒng)是利用智能視頻分析技術(shù)和計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測與實(shí)時(shí)PTZ跟蹤，并對目標(biāo)快照自動(dòng)抓拍的智能視頻監(jiān)控系統(tǒng).該系統(tǒng)需構(gòu)建高速圖像采集處理系統(tǒng)，主要包括圖像采集模塊、圖像處理模塊、通信接口以及云臺(tái)控制模塊［1-3］.動(dòng)態(tài)目標(biāo)跟蹤與自動(dòng)特寫快照系統(tǒng)可以對監(jiān)視場景進(jìn)行實(shí)時(shí)監(jiān)控，自動(dòng)檢測出運(yùn)動(dòng)目標(biāo)，并對目標(biāo)進(jìn)行實(shí)時(shí)跟蹤、目標(biāo)全貌變焦放大拍攝，實(shí)現(xiàn)了智能化程度較高的計(jì)算機(jī)自主多方位視頻目標(biāo)跟蹤檢測，降低了人工監(jiān)視的勞動(dòng)強(qiáng)度，減少了實(shí)時(shí)跟蹤中的人為誤差.雖然多方位視頻目標(biāo)跟蹤檢測算法的相關(guān)理論日趨成熟，但現(xiàn)有動(dòng)態(tài)跟蹤和快照系統(tǒng)對于惡劣環(huán)境、低照度和光線不足等容忍度差，誤檢率高，圖像處理計(jì)算量大，難以同時(shí)達(dá)到實(shí)時(shí)、清晰、可靠、準(zhǔn)確的跟蹤抓拍要求.

本文針對運(yùn)動(dòng)目標(biāo)的快照抓拍特點(diǎn)，在PTZ跟蹤［4］的基礎(chǔ)上，提出一種動(dòng)態(tài)目標(biāo)跟蹤與自動(dòng)特寫快照算法，能更好地獲取目標(biāo)全貌特征，有利于事后取證.該算法運(yùn)用Tsai兩步標(biāo)定法實(shí)現(xiàn)了攝像機(jī)初始位置的標(biāo)定;采用一種快速的混合高斯背景差分法分割出運(yùn)動(dòng)目標(biāo);使用Kalman濾波與模板匹配的方法，結(jié)合攝像機(jī)標(biāo)定控制云臺(tái)進(jìn)行動(dòng)態(tài)跟蹤;在PTZ跟蹤過程中，提出一種基于梯度極值結(jié)合目標(biāo)實(shí)際運(yùn)動(dòng)矢量的方法實(shí)現(xiàn)目標(biāo)快照的抓拍.

1 自適應(yīng)PTZ檢測跟蹤技術(shù)

1.1 運(yùn)動(dòng)目標(biāo)檢測與精確定位

對預(yù)處理采集到的圖像使用基于混合高斯模型的背景差分法完成目標(biāo)分割，其基本思想是每個(gè)像素利用3～5個(gè)高斯模型［5］表示屬于背景的像素值，通過判斷當(dāng)前像素值與這些高斯模型的偏離距離來區(qū)分前景和背景.然后，采用投影法實(shí)現(xiàn)目標(biāo)的精確定位(見圖1).

圖1 原圖及直方圖均衡化處理后圖(第1幀)

運(yùn)動(dòng)檢測與定位的主要流程如下:

1)首先利用3×3的矩形模板進(jìn)行中值濾波，去除圖像采集時(shí)產(chǎn)生的椒鹽噪聲，并進(jìn)行直方圖均衡以改善圖像質(zhì)量.

2)混合高斯背景模型的建立與更新.用K個(gè)高斯分布的混合模型描述隨機(jī)過程，則概率分布可表示為

式中，It為當(dāng)前圖像的像素值;Nk(It，μk，t，Ck，t)表示第 k 個(gè)均值為 μk，t、方差為 Ck.t的高斯分布;wk，t為這個(gè)高斯分布的權(quán)值.高斯分布的概率密度函數(shù)可表示為

式中，當(dāng)視頻序列為灰度圖像時(shí)，μ為像素灰度均值，C為方差;對于彩色圖像，μ為像素彩色通道各分量值組成的矢量，C為各分量之間的協(xié)方差矩陣.K越大，可描述越復(fù)雜的場景，而計(jì)算量也就越大(取K=3).混合高斯背景模型的更新即為不斷利用新的當(dāng)前時(shí)刻圖像的像素值更新混合高斯模型的各個(gè)參數(shù)，這些參數(shù)包括高斯分布的均值μ、方差 C 和權(quán)值 wk，t.

3)運(yùn)動(dòng)目標(biāo)的分割.對于當(dāng)前圖像中像素值It，如果服從背景模型中某個(gè)高斯分布，則該像素為背景點(diǎn);如果不服從背景模型中的所有高斯分布，則該像素為前景點(diǎn).判別式為

取λ=2.5，則St(x，y)=1表示該像素為前景像素點(diǎn).

4)對得到的前景S(x，y)進(jìn)行圖像形態(tài)學(xué)操作，利用膨脹和腐蝕去除孤立點(diǎn)和空洞，得到二值化圖像P.

5)采用投影法獲取目標(biāo)區(qū)域的水平、垂直方向起始與終止坐標(biāo)，得到目標(biāo)區(qū)域的外接矩形，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的精確定位(見圖2).

圖2 檢測定位圖

1.2 攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定問題［6］可描述為:給定一些三維特征對象以及對應(yīng)的二維圖像平面上的特征對象，求旋轉(zhuǎn)陣R、平移陣T以及有效焦距f三個(gè)投影參數(shù).本文采用Tsai兩步標(biāo)定法實(shí)現(xiàn)攝像機(jī)標(biāo)定:

步驟1 求解旋轉(zhuǎn)陣R、平移陣T的tx，ty分量以及圖像尺度因子β.其中，

①拍攝幾幅具有不同已知高度、若干共面特征點(diǎn)的標(biāo)定體圖像，利用圖像處理方法確定若干個(gè)特征點(diǎn)的圖像坐標(biāo)，設(shè)共N個(gè)點(diǎn)，計(jì)算機(jī)圖像坐標(biāo)為(xfi，yfi)，i=1，2，…，N，實(shí)際圖像坐標(biāo)為(xdi，ydi)，設(shè)這些點(diǎn)相應(yīng)的世界坐標(biāo)為(xwi，ywi，zwi).

式中，(cx，cy)為計(jì)算機(jī)圖像的中心坐標(biāo);(sx，sy)為圖像平面單位距離上的像素?cái)?shù).

②依據(jù)攝像機(jī)模型與徑向排列約束，對每個(gè)點(diǎn)P可列出一個(gè)方程，聯(lián)立這N個(gè)方程，得到Ai·B=xdiβ，其中

利用最小二乘法求解該超定方程組，可得

③依據(jù)步驟②的解，利用R的正交性，可得到整個(gè)旋轉(zhuǎn)矩陣R和T中的tx，ty分量以及圖像尺度因子β.

步驟2 求解有效焦距f，T的tz分量和透鏡畸變系數(shù)k.

考慮徑向透鏡畸變，則影像坐標(biāo)(xu，yu)可表示為

設(shè)

依據(jù)攝像機(jī)模型可得

對N個(gè)特征點(diǎn)，利用最小二乘法對上述2個(gè)方程進(jìn)行聯(lián)合最優(yōu)參數(shù)估計(jì)，得到焦距f，T的tz分量和透鏡畸變系數(shù)k.

1.3 自適應(yīng)PTZ跟蹤與云臺(tái)控制

根據(jù)攝像機(jī)標(biāo)定與目標(biāo)檢測結(jié)果，可以獲得目標(biāo)的運(yùn)動(dòng)狀態(tài)參數(shù)(某一時(shí)刻目標(biāo)所在的位置和速度)，利用Kalman濾波并結(jié)合模板匹配的方法進(jìn)行運(yùn)動(dòng)目標(biāo)的自適應(yīng)跟蹤與控制云臺(tái)移動(dòng)［7-9］，跟蹤算法的流程如圖3所示.

圖3 跟蹤算法流程圖

Kalman濾波器是一個(gè)對動(dòng)態(tài)系統(tǒng)的狀態(tài)序列進(jìn)行線性最小方差誤差估計(jì)的算法，可以以任意一點(diǎn)作為起始點(diǎn)開始觀測，按照遞推公式，即可算出新的預(yù)測量估計(jì)值.Kalman濾波器簡單易行，且計(jì)算量小，可實(shí)時(shí)計(jì)算.由于相鄰k幀圖像時(shí)間間隔較短，可以假設(shè)目標(biāo)在單位時(shí)間間隔內(nèi)是勻速運(yùn)動(dòng)的.

定義Kalman濾波器系統(tǒng)狀態(tài)為X，X={xs，ys，vx，vy}，其中 xs，ys，vx，vy分別為目標(biāo)的質(zhì)心和速度.而在圖像上只能觀測到目標(biāo)的位置，定義觀測狀態(tài)向量為Y={xs，ys}.

在目標(biāo)跟蹤中，使用Kalman濾波器估計(jì)目標(biāo)運(yùn)動(dòng)狀態(tài)可分為3個(gè)階段:

①初始化濾波器，即對X0賦初值，其值為目標(biāo)檢測過程中得到的目標(biāo)的位置和速度.

②狀態(tài)估計(jì)，設(shè)t為相鄰2幀圖像的時(shí)間間隔，根據(jù)上一幀的濾波器狀態(tài)與△t，利用Kalman狀態(tài)預(yù)測方程即可預(yù)測當(dāng)前運(yùn)動(dòng)狀態(tài)X0，設(shè)定以X0中(xs，ys)為中心的區(qū)域?yàn)樗阉鲄^(qū)域，在該區(qū)域中尋找模式的最佳匹配，得到.

③ 利用Y0={，}更新Kalman濾波器狀態(tài).

模板匹配法可歸結(jié)為二者的某一特征值的相關(guān)性度量，通過將模板圖像與待匹配圖像進(jìn)行相關(guān)運(yùn)算，得到一個(gè)相關(guān)值，再根據(jù)這一相關(guān)值的大小就可以判斷二者的匹配度.選用圖像的灰度特征，利用最小平均絕對差值函數(shù)(MAD)進(jìn)行匹配，即

具體的跟蹤流程總結(jié)如下:通過Kalman濾波器預(yù)測目標(biāo)的可能位置，在預(yù)測區(qū)域利用模板匹配法完成匹配，判斷目標(biāo)在實(shí)時(shí)圖像中的位置，并依據(jù)運(yùn)動(dòng)目標(biāo)面積設(shè)置閾值，進(jìn)行模板自動(dòng)更新，從而實(shí)現(xiàn)目標(biāo)跟蹤(見圖4).

圖4 Kalman濾波與模板匹配跟蹤效果圖

結(jié)合攝像機(jī)標(biāo)定控制云臺(tái)進(jìn)行水平擺動(dòng)和上下仰俯，使得運(yùn)動(dòng)物體處于攝像機(jī)視野之內(nèi)，即將運(yùn)動(dòng)目標(biāo)實(shí)時(shí)反映在屏幕中央［10］.

假設(shè)在t時(shí)刻得到某目標(biāo)在第m幀圖像中的坐標(biāo)為(xm，ym)，將(xm，ym)作為 Kalman 濾波器的輸入，可得到目標(biāo)在當(dāng)前時(shí)刻的狀態(tài)估計(jì)(xs，ys，vx，vy).假定以間隔 k幀(本文取 k=5)后的 t+△t時(shí)刻的圖像作為輸入，就可預(yù)測出目標(biāo)在間隔k幀后的圖像中的坐標(biāo)(xk，yk):

假設(shè)在△t時(shí)間內(nèi)只有云臺(tái)轉(zhuǎn)動(dòng)，目標(biāo)不動(dòng)，可將視點(diǎn)作為原點(diǎn)，把三維坐標(biāo)轉(zhuǎn)換成球面坐標(biāo).將云臺(tái)沿水平方向順時(shí)針繞視點(diǎn)旋轉(zhuǎn)θ角度可消除x方向上的偏移.在如圖5所示的坐標(biāo)中，要將x軸轉(zhuǎn)到OM位置，將z軸沿垂直方向旋轉(zhuǎn)α角度即可.此時(shí)的θ角與焦距深度無關(guān)，α=90°－φ.

圖5 球心投影圖

如圖6所示，在雙角度坐標(biāo)系中，M點(diǎn)在屏幕上投影為A點(diǎn)，θ為鏡頭在水平方向上的視野角度，屏幕寬度為L，要將A點(diǎn)移至屏幕中央，光軸需轉(zhuǎn)動(dòng)α角度.同理可消除y方向上的位移，這樣就可實(shí)現(xiàn)將運(yùn)動(dòng)目標(biāo)移動(dòng)到屏幕中央的目的.

圖6 攝像機(jī)雙角度模型

2 運(yùn)動(dòng)目標(biāo)抓拍與特寫

目標(biāo)抓拍是指對實(shí)際的運(yùn)動(dòng)目標(biāo)(例如人)進(jìn)行實(shí)時(shí)的跟蹤觀察，并對其進(jìn)行變焦拍攝，給出運(yùn)動(dòng)目標(biāo)物的近焦距全貌特征描述.抓拍的基本要求是:① 圖像清晰，便于識(shí)別;② 圖像完整，包含鮮明的目標(biāo)特征.

2.1 抓拍圖像的清晰度

清晰度描述的是一張照片的細(xì)節(jié)清楚程度，與圖像的感知清晰度相關(guān)的2個(gè)基本因素是:分辨率和銳度.銳度描述的是圖像信息在邊界上變換的快慢程度;分辨率又稱解析度，描述的是攝像機(jī)對圖像細(xì)節(jié)的分辨能力.

2.2 基于梯度極值的改進(jìn)抓拍方法

抓拍的目標(biāo)是要得到既清晰又完整的物體圖像，當(dāng)運(yùn)動(dòng)物體距離攝像頭太遠(yuǎn)，圖像中的物體會(huì)不清晰;當(dāng)運(yùn)動(dòng)物體距離攝像頭太近，所得到的圖像會(huì)不完整.抓拍時(shí)機(jī)對于抓拍系統(tǒng)有重要意義.

由于本文中抓拍對象一般為人，并且目標(biāo)是用矩形框框出，運(yùn)動(dòng)物體模型可以視為一系列由小變大的矩形模型.依據(jù)人“瘦而高”的特征，在視場內(nèi)設(shè)定一個(gè)符合抓拍標(biāo)準(zhǔn)的矩形區(qū)域，面積在整個(gè)視場的1/4～1/3左右，并且在整個(gè)視場的中央位置，該區(qū)域被稱為抓拍窗Q.當(dāng)處理所得的運(yùn)動(dòng)物體模型充滿并剛剛溢出抓拍窗時(shí)，即為抓拍時(shí)機(jī).抓拍窗如同物理中的磁感應(yīng)線圈，起到圖像抓拍的觸發(fā)作用.為了判定運(yùn)動(dòng)物體是否充滿抓拍窗，定義了變量B描述抓拍窗內(nèi)的圖像梯度總和，即

隨著運(yùn)動(dòng)物體模型面積的增大，K逐漸增大，并在充滿且剛剛溢出抓拍窗時(shí)取到最大值，保證了抓拍目標(biāo)圖像的完整性;同時(shí)為了保證圖像的清晰度，由于抓拍窗口在中央位置，此時(shí)可以假定鏡頭固定不動(dòng)，利用Kalman濾波與攝像機(jī)標(biāo)定系統(tǒng)，計(jì)算目標(biāo)與攝像機(jī)之間的實(shí)際相對速度V，在本文中，當(dāng)V＜3 m/s時(shí)，即立刻進(jìn)行抓拍，獲取目標(biāo)清晰完整的圖像.圖7中，本系統(tǒng)圖像分辨率為720×570像素.

圖7 人體抓拍效果圖

3 實(shí)驗(yàn)平臺(tái)與結(jié)果分析

所設(shè)計(jì)的檢測跟蹤系統(tǒng)要求達(dá)到的效果是對于進(jìn)入攝像頭視場中的運(yùn)動(dòng)目標(biāo)能夠?qū)崟r(shí)檢測出來，并控制云臺(tái)轉(zhuǎn)動(dòng)，使目標(biāo)始終以合適大小在攝像頭的視場范圍內(nèi)，從而達(dá)到PTZ跟蹤的目的，并實(shí)現(xiàn)目標(biāo)清晰圖像的自動(dòng)抓拍.選擇人體作為跟蹤目標(biāo)進(jìn)行系統(tǒng)測試，實(shí)際處理速度為24 frame/s.快球安裝在公司大樓入口處，高度約為3 m.

3.1 實(shí)驗(yàn)硬件平臺(tái)設(shè)計(jì)和開發(fā)環(huán)境

監(jiān)控系統(tǒng)的硬件部分包括個(gè)人計(jì)算機(jī)、串口連接器和Infinova一體化網(wǎng)絡(luò)球形攝像機(jī).攝像機(jī)采用Infinova v1700N系列網(wǎng)絡(luò)快球，影像最高分辨率可達(dá)1 280×1 024像素，串口通信波特率為9 600 bit/s，后臺(tái)PC服務(wù)器采用酷睿2雙核2.0處理器.由一體化網(wǎng)絡(luò)球形攝像機(jī)進(jìn)行監(jiān)控圖像的采集，并直接傳送到計(jì)算機(jī)，計(jì)算機(jī)通過軟件對圖像進(jìn)行分析處理，產(chǎn)生控制信號(hào)，通過串口發(fā)送指令控制快球，以實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的PTZ自動(dòng)檢測跟蹤.開發(fā)環(huán)境采用VC++.硬件結(jié)構(gòu)如圖8所示.

圖8 系統(tǒng)硬件平臺(tái)

3.2 實(shí)驗(yàn)結(jié)果和分析

3.2.1 運(yùn)動(dòng)檢測的結(jié)果和分析

利用檢測率和錯(cuò)誤報(bào)警率對運(yùn)動(dòng)區(qū)域進(jìn)行統(tǒng)計(jì)，其統(tǒng)計(jì)結(jié)果如表1所示.結(jié)果表明:系統(tǒng)在不同天氣條件(晴天、陰天、雨天)，以及不同的時(shí)間段(早晨、中午、傍晚)均可檢測得出準(zhǔn)確的運(yùn)動(dòng)對象區(qū)域，證明本文的運(yùn)動(dòng)檢測算法具有廣泛的適應(yīng)性，能適應(yīng)不同的光照條件和不同的環(huán)境條件.

表1 運(yùn)動(dòng)區(qū)域檢測率統(tǒng)計(jì)表

3.2.2 自適應(yīng)PTZ跟蹤與抓拍的結(jié)果和分析

從圖2、圖4和圖7可看出，系統(tǒng)能準(zhǔn)確、迅速地自動(dòng)檢測運(yùn)動(dòng)目標(biāo)，控制云臺(tái)確保運(yùn)動(dòng)目標(biāo)以合適大小始終出現(xiàn)在攝像頭的視場范圍內(nèi)，并實(shí)現(xiàn)目標(biāo)圖像的清晰抓拍.表2和表3對運(yùn)行時(shí)間與抓拍成功率作了統(tǒng)計(jì).表2說明該系統(tǒng)完全滿足實(shí)時(shí)系統(tǒng)24 frame/s的需求.表3說明了人和攝像機(jī)之間的相對位置和速度對抓拍成功率的影響，目標(biāo)運(yùn)動(dòng)速度越快，越難抓拍，本系統(tǒng)對3 m/s以下的運(yùn)動(dòng)目標(biāo)具有非常高的成功率，但有時(shí)不能很好地獲取快速運(yùn)動(dòng)目標(biāo)的全貌特寫.

表2 運(yùn)行時(shí)間統(tǒng)計(jì)表

表3 抓拍成功率統(tǒng)計(jì)表

4 結(jié)語

選用高像素網(wǎng)絡(luò)攝像機(jī)，在單目標(biāo)PTZ跟蹤的基礎(chǔ)上，提出一種基于梯度極值結(jié)合目標(biāo)實(shí)際運(yùn)動(dòng)矢量的方法實(shí)現(xiàn)目標(biāo)快照的抓拍，能夠更好地獲取目標(biāo)全貌特征.實(shí)驗(yàn)結(jié)果表明:該系統(tǒng)對不同的光照條件和不同的環(huán)境條件具有一定的適應(yīng)性，并兼顧了整個(gè)系統(tǒng)的運(yùn)行速度和CPU利用率，具有很好的魯棒性、實(shí)時(shí)性和清晰度.未來可考慮加入目標(biāo)理解等方法更精確地獲取目標(biāo)顯著特征.

References)

［1］樊尚春，周游，劉長庭.基于DSP和FPGA技術(shù)的細(xì)胞圖像采集系統(tǒng)的設(shè)計(jì)［J］.北京航空航天大學(xué)學(xué)報(bào)，2008，34(6):707-710.Fan Shangchun，Zhou You，Liu Changting.Design of video capture system based on FPGA［J］.Journal of Beijing University of Aeronauticsand Astronautics，2008，34(6):707-710.(in Chinese)

［2］Saegusa T，Maruyama T，Yamaguchi Y.How fast is an FPGA in image processing［J］.IEICE Technical Report，2008，108(48):83-88.

［3］Chen S H Y，Huang Y W，Hsieh B Y.Fast video segmentation algorithm with shadow cancellation，global motion compensation and adaptive threshold techniques［J］.IEEE Transactions on Multimedia，2004，6(5):732-748.

［4］盛平，張凈，倪冬瑋，等.基于單運(yùn)動(dòng)目標(biāo)的PTZ檢測跟蹤系統(tǒng)設(shè)計(jì)［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2010，31(6):710-715.Sheng Ping，Zhang Jing，Ni Dongwei，et al.Design of PTZ detection and tracking system based on single moving object［J］.Journal of Jiangsu University:Natural Science Edition，2010，31(6):710-715.(in Chinese)

［5］王永忠，梁顏，潘泉，等.基于自適應(yīng)混合高斯模型的時(shí)空背景建模［J］.自動(dòng)化學(xué)報(bào)，2009，35(4):371-378.Wang Yongzhong，Liang Yan，Pan Quan，et al.Spatiotemporal background modeling based on adaptive mixture of Gaussians［J］.Acta Automatica Sinica，2009，35(4):371-378.(in Chinese)

［6］ Jonathan L，Joseph A，Terveen G，et al.Evaluating collaborative filtering recommender systems［J］.ACM Transactions on Information Systems，2004，22(1):5-53.

［7］ Kato J，Watanabe T，Joga S，et al.An HMM/MRF based stochastic framework for robust vehicle tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5(3):142-154.

［8］王阿琴，楊萬扣，孫長根.基于子圖像的尺寸自適應(yīng)mean shift目標(biāo)跟蹤［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2010，40(sup1):131-135.Wang Aqin，Yang Wankou，Sun Changgen.Scale adaptable mean shift object tracking based on image fragments［J］.Journal of Southeast University:Natural Science Edition，2010，40(sup1):131-135.(in Chinese)

［9］Rad R，Jamzad M.Real time classification and tracking of multiple vehicles in highways［J］.Pattern Recognition Letters，2005，26(10):1597-1607.

［10］張輝，王強(qiáng)，徐光祐，等.運(yùn)動(dòng)目標(biāo)的快速檢測、跟蹤和判別［J］.清華大學(xué)學(xué)報(bào):自然科學(xué)版，2002，42(10):1401-1404.Zhang Hui，Wang Qiang，Xu Guangyou，et al.Fast detection，tracking and classification of moving objects［J］.Journal of Tsinghua University:Science and Technology，2002，42(10):1401-1404.(in Chinese)