運(yùn)動(dòng)圖像關(guān)鍵幀快速跟蹤系統(tǒng)的優(yōu)化設(shè)計(jì)

聶上偉

（成都中醫(yī)藥大學(xué)，四川 成都 611137）

0 引 言

伴隨著信息技術(shù)的發(fā)展，視頻數(shù)據(jù)的發(fā)布及傳輸普及，使視頻數(shù)據(jù)的有效管理、識(shí)別變得困難，而傳統(tǒng)的人工運(yùn)動(dòng)圖像檢索方式既費(fèi)時(shí)又耗力[1]。關(guān)鍵幀跟蹤技術(shù)可通過特定方式提取到一幀或多幀圖像來體現(xiàn)整個(gè)運(yùn)動(dòng)圖像的核心內(nèi)容，去除運(yùn)動(dòng)圖像冗余信息的同時(shí)，留存運(yùn)動(dòng)圖像關(guān)鍵部分，運(yùn)動(dòng)圖像關(guān)鍵幀的精準(zhǔn)跟蹤可極大程度地縮減運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)行為分析的計(jì)算量，對(duì)后續(xù)運(yùn)動(dòng)圖像進(jìn)一步應(yīng)用奠定基礎(chǔ)[2-4]。

為此本文優(yōu)化設(shè)計(jì)一種運(yùn)動(dòng)圖像關(guān)鍵幀快速跟蹤系統(tǒng)，并通過實(shí)驗(yàn)驗(yàn)證其設(shè)計(jì)的有效性。

1 運(yùn)動(dòng)圖像關(guān)鍵幀快速跟蹤系統(tǒng)

1.1 系統(tǒng)原理

優(yōu)化設(shè)計(jì)的運(yùn)動(dòng)圖像關(guān)鍵幀快速跟蹤系統(tǒng)主要由執(zhí)行模塊、檢測(cè)模塊、控制模塊以及攝像機(jī)等部分構(gòu)成，如圖1 所示。

圖1 系統(tǒng)原理圖

系統(tǒng)利用安裝于執(zhí)行模塊的攝像機(jī)采集運(yùn)動(dòng)目標(biāo)視頻圖像，通過檢測(cè)模塊對(duì)所獲取運(yùn)動(dòng)視頻圖像實(shí)施分析、處理，得到運(yùn)動(dòng)圖像特征，構(gòu)建運(yùn)動(dòng)目標(biāo)的圖像模板，采用基于自適應(yīng)無監(jiān)督聚類融合交叉熵的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤算法，獲取運(yùn)動(dòng)視頻中后續(xù)運(yùn)動(dòng)圖像關(guān)鍵幀，定位運(yùn)動(dòng)目標(biāo)[5-6]，同時(shí)將跟蹤控制指令反饋到執(zhí)行模塊，通過跟蹤運(yùn)動(dòng)圖像關(guān)鍵幀實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)自動(dòng)跟蹤識(shí)別。

1.1.1 檢測(cè)模塊設(shè)計(jì)

系統(tǒng)檢測(cè)模塊用于實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)圖像的檢測(cè)工作，增強(qiáng)運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤能力。該模塊主要包括攝像機(jī)和PC 機(jī)，攝像機(jī)通過USB 將采集到的運(yùn)動(dòng)目標(biāo)圖像傳輸至PC 機(jī)，經(jīng)由PC 機(jī)中的基于自適應(yīng)無監(jiān)督聚類融合交叉熵的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤算法，跟蹤運(yùn)動(dòng)圖像關(guān)鍵幀，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)位置實(shí)時(shí)獲取[7]。

系統(tǒng)檢測(cè)模塊的PC 機(jī)選用Celeron CPU 1.75 GHz的PC 機(jī)，內(nèi)存大小為256 MB。PC 機(jī)中的視頻采集模塊利用CCD 攝像機(jī)采集模擬視頻信號(hào)，經(jīng)視頻同軸電纜傳輸至PC 機(jī)視頻采集卡上，再經(jīng)由高速A/D 將模擬視頻信號(hào)轉(zhuǎn)換成數(shù)字視頻序列，將數(shù)字視頻序列提供給基于自適應(yīng)無監(jiān)督聚類融合交叉熵的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤算法，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤檢測(cè)。視頻采集卡工作示意圖如圖2 所示。

圖2 視頻采集卡工作示意圖

1.1.2 控制模塊設(shè)計(jì)

控制模塊是系統(tǒng)的核心模塊，由下位機(jī)控制電路和PC 機(jī)組成，其中PC 機(jī)將所得運(yùn)動(dòng)目標(biāo)圖像數(shù)據(jù)經(jīng)控制算法處理完成后，采用RS 236 串行接口輸送至下位機(jī)控制電路展開控制，以保證單片機(jī)可以根據(jù)所獲控制信號(hào)，控制直流電動(dòng)機(jī)實(shí)施橫縱方向的運(yùn)動(dòng)[8]?？刂颇K下位機(jī)中的單片機(jī)，遵循安裝于控制信號(hào)管理通道模擬開關(guān)中大小適應(yīng)的電阻，調(diào)控降壓穩(wěn)壓器輸出的電壓，有效整改直流電動(dòng)機(jī)轉(zhuǎn)速。其中單片機(jī)型號(hào)為AT89C2051，是系統(tǒng)控制電路核心部分，可總體協(xié)調(diào)控制系統(tǒng)其他模塊，單片機(jī)設(shè)計(jì)電路如圖3 所示。若單片機(jī)電路中的兩個(gè)限位保護(hù)開關(guān)處于高電平狀態(tài)下，單片機(jī)會(huì)與所對(duì)應(yīng)的直流電動(dòng)機(jī)繼電器斷開，停止電動(dòng)機(jī)運(yùn)轉(zhuǎn)，反之，電動(dòng)機(jī)正常運(yùn)轉(zhuǎn)。

圖3 單片機(jī)設(shè)計(jì)電路

1.2 基于自適應(yīng)無監(jiān)督聚類融合交叉熵的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤算法

自適應(yīng)無監(jiān)督聚類算法可以彌補(bǔ)傳統(tǒng)K-均值聚類算法僅可獲取固定目標(biāo)關(guān)鍵幀以及人為設(shè)定聚類中心和數(shù)目的缺點(diǎn)，依據(jù)不同復(fù)雜程度視頻得到符合各自所需數(shù)量的運(yùn)動(dòng)圖像關(guān)鍵幀[9]。在此基礎(chǔ)上，引入交叉熵，便可更加精準(zhǔn)地反映運(yùn)動(dòng)圖像在視覺上所展現(xiàn)的內(nèi)容。為此，該算法可以跟蹤到場(chǎng)景各異目標(biāo)圖像的對(duì)應(yīng)數(shù)量關(guān)鍵幀，清晰、準(zhǔn)確反映視頻中運(yùn)動(dòng)目標(biāo)圖像。算法流程圖如圖4 所示。

1.2.1 運(yùn)動(dòng)目標(biāo)檢測(cè)

分離運(yùn)動(dòng)圖像中的序列變更區(qū)域是完成運(yùn)動(dòng)目標(biāo)檢測(cè)的最終目標(biāo)[10]。采用背景差分法獲取實(shí)時(shí)圖像與背景估計(jì)圖像，對(duì)比插值和閾值，評(píng)判運(yùn)動(dòng)像素點(diǎn)所屬運(yùn)動(dòng)區(qū)域，生成對(duì)應(yīng)二值圖像：

式中T 表示閾值。

若HG(x,y)=1，表示該像素點(diǎn)為運(yùn)動(dòng)狀態(tài)；若HG(x,y)=0，則表示該像素點(diǎn)為背景像素點(diǎn)。系統(tǒng)可以依照檢測(cè)到的視頻場(chǎng)景中背景像素點(diǎn)的改變情況，實(shí)時(shí)、自動(dòng)對(duì)背景進(jìn)行更新處理。

如果HG(x,y)=1，即有：

如果HG(x,y)=0，即有：

式中：ρ 表示學(xué)習(xí)率，可以判斷實(shí)時(shí)圖像對(duì)背景圖像的干擾情況，存在ρ+μ=1。這種選擇性更新方法可以在有效確保背景盡快適應(yīng)視頻場(chǎng)景變化的基礎(chǔ)上，防止運(yùn)動(dòng)像素污染背景。

圖4 運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤算法流程圖

1.2.2 無監(jiān)督聚類算法

運(yùn)動(dòng)目標(biāo)檢測(cè)完成后，按照相似距離進(jìn)行聚類。無監(jiān)督聚類算法是憑借元素間內(nèi)在屬性相似程度展開聚類，無需預(yù)先構(gòu)建模型分類，也不必依托特性分類體系，便可進(jìn)行未知類劃分[11-12]。因此，為實(shí)現(xiàn)新視頻幀到簇的劃分，采用歐氏距離計(jì)算幀與簇中心的相似度，若相似度大于閾值T，表明該幀與該簇相似程度低，無法劃分到該簇中。無監(jiān)督聚類算法計(jì)算流程如下：

1）初始化。將取得的第一幀r1當(dāng)成φ1的聚類中心并劃分到簇φ1中，簇?cái)?shù)量Nc為1；

2）繼續(xù)取得下一幀ri，如果不存在下一幀，跳轉(zhuǎn)步驟6）；

3）計(jì) 算 ri和 簇 φk(k=1,2,…,Nc) 間 歐 氏 距離Dis(ri,φk)；

4）通過Mindis=min Dis(ri,φk)（k=1，2，…，Nc）評(píng)判與幀ri最相似的簇。若Mindis ＞T，表明幀ri與所有簇均不相似，此時(shí)跳轉(zhuǎn)步驟5）；反之，劃分幀ri到含Mindis值的簇中；

5）依據(jù)Nc=Nc+1 組成全新簇，并將幀ri劃分到φNc中；

由于聚類算法是通過閾值T 控制聚類數(shù)目，閾值T越小，聚類數(shù)目越多，會(huì)導(dǎo)致所跟蹤到的運(yùn)動(dòng)圖像關(guān)鍵幀過多；若閾值過大，跟蹤到的關(guān)鍵幀便不可作為運(yùn)動(dòng)圖像的主要內(nèi)容，而不同類型視頻的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤所需閾值也有所差異[13-14]。因此閾值T 的設(shè)定對(duì)運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤十分重要。通過自動(dòng)閾值計(jì)算確定聚類算法閾值，計(jì)算公式如下：

式中：N 表示視頻總幀數(shù)；常數(shù)C =0.1。閾值自動(dòng)選取可解決視頻運(yùn)動(dòng)量較少，圖像關(guān)鍵幀跟蹤時(shí)產(chǎn)生的冗余現(xiàn)象。

1.2.3 融合交叉熵的關(guān)鍵幀跟蹤

利用自適應(yīng)無監(jiān)督聚類算法完成聚類后，由相似運(yùn)動(dòng)圖像形成的視頻子鏡頭中跟蹤關(guān)鍵幀便可有效識(shí)別運(yùn)動(dòng)目標(biāo)[15]。交叉熵可表達(dá)概率分布的區(qū)別，針對(duì)A={a1,a2,…,aN}和B={b1,b2,…,bN}間概率分布差異，定義交叉熵如下：

式（5）顯示，交叉熵值恒大于0。為解決ai=0，bi=0時(shí)交叉熵難以計(jì)算的現(xiàn)象，重新定義式（5）：

其中：

式中前兩項(xiàng)用于保證交叉熵中所有項(xiàng)不小于0。幀間運(yùn)動(dòng)圖像的交叉熵差異度序列D={d1,d2,…,dk-1}可通過交叉熵計(jì)算實(shí)現(xiàn)，其中，di為處于第i 幀和i+1 幀間的交叉熵，k 表示運(yùn)動(dòng)圖像的幀數(shù)目。交叉熵用于體現(xiàn)幀間運(yùn)動(dòng)圖像差異度，圖像幀間交叉熵越大越能展現(xiàn)視頻運(yùn)動(dòng)圖像核心部分，因此將序列的第j 幀及j+1 幀選作待選關(guān)鍵幀，j=arg maix {di}，依據(jù)式（8）計(jì)算待選關(guān)鍵幀所對(duì)應(yīng)圖像熵：

式中yk用于描述運(yùn)動(dòng)圖像r中k 個(gè)灰度值的概率分布。

依照?qǐng)D像熵值，選取熵值最大的圖像為系統(tǒng)最后跟蹤到的運(yùn)動(dòng)圖像關(guān)鍵幀。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境配置為Intel?CoreTMi5-4780 處理器CPU@3.5 GHz，內(nèi)存大小為8 GB。選取超過300 個(gè)視頻片段展開大量關(guān)鍵幀跟蹤，其中視頻類型廣泛，包含新聞、動(dòng)漫、電影、廣告、體育等多個(gè)種類。選用SVM、鏡頭屬性的關(guān)鍵幀提取系統(tǒng)為對(duì)比系統(tǒng)，以動(dòng)漫電影《哪吒之魔童降世》視頻片段為例，實(shí)施運(yùn)動(dòng)圖像關(guān)鍵幀快速跟蹤，對(duì)比系統(tǒng)跟蹤性能。三種系統(tǒng)對(duì)視頻片段的關(guān)鍵幀跟蹤結(jié)果如圖5 所示。

對(duì)比圖5 可知：SVM 系統(tǒng)所跟蹤到的關(guān)鍵幀效果較差，不能準(zhǔn)確描述視頻片段關(guān)鍵信息；鏡頭屬性的系統(tǒng)盡管提取跟蹤到的信息可良好描述視頻，但每個(gè)鏡頭只能跟蹤到一個(gè)關(guān)鍵幀，造成部分有代表性關(guān)鍵幀的丟失，難以全面表征視頻片段內(nèi)容；而本文系統(tǒng)不僅跟蹤到的關(guān)鍵幀數(shù)量較多且?guī)g圖像差異較大，可以充分展現(xiàn)視頻片段信息。因此本文系統(tǒng)的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤更具有代表性，且全面性高，系統(tǒng)關(guān)鍵幀跟蹤效果最好。

為進(jìn)一步驗(yàn)證本文系統(tǒng)跟蹤性能，選用具有代表性的car1-1、單人boxing、電視劇三種類型運(yùn)動(dòng)圖像為實(shí)驗(yàn)對(duì)象。其中，car1-1 運(yùn)動(dòng)圖像可以展現(xiàn)出運(yùn)動(dòng)圖像在攝像機(jī)內(nèi)發(fā)生緩慢變化時(shí)的跟蹤性能；單人boxing 運(yùn)動(dòng)圖像反映運(yùn)動(dòng)圖像產(chǎn)生重復(fù)運(yùn)動(dòng)時(shí)的跟蹤性能；電視劇用戶展現(xiàn)系統(tǒng)自適應(yīng)選擇關(guān)鍵幀數(shù)量的能力。通過引入運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤的漏選數(shù)、冗余數(shù)以及錯(cuò)選數(shù)，外加準(zhǔn)確率和查全率為運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤衡量標(biāo)準(zhǔn)。其中，漏選數(shù)用于描述運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤過程中，未被跟蹤到的具有代表性的關(guān)鍵幀；冗余數(shù)用于描述跟蹤結(jié)果中多余的類似關(guān)鍵幀；錯(cuò)選幀用于描述跟蹤結(jié)果中錯(cuò)誤選擇了表示運(yùn)動(dòng)圖像核心內(nèi)容的幀。準(zhǔn)確率和查全率計(jì)算公式為：

式中：Zc，Zf，Zm分別代表正確跟蹤關(guān)鍵幀數(shù)目、錯(cuò)選數(shù)目、漏選數(shù)目。

三種系統(tǒng)跟蹤到的運(yùn)動(dòng)圖像關(guān)鍵幀對(duì)比結(jié)果如表1 所示。分析表1 數(shù)據(jù)可知，本文系統(tǒng)的關(guān)鍵幀跟蹤冗余度以及關(guān)鍵幀跟蹤準(zhǔn)確率、查全率均高于另外兩種系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，本文系統(tǒng)可以有效跟蹤變化緩慢運(yùn)動(dòng)圖像和做重復(fù)運(yùn)動(dòng)的圖像，且具備自適應(yīng)選擇關(guān)鍵幀跟蹤數(shù)量的能力，準(zhǔn)確率、查全率高，冗余度低。

表1 三種系統(tǒng)跟蹤到的運(yùn)動(dòng)圖像關(guān)鍵幀對(duì)比

3 結(jié) 論

本文設(shè)計(jì)的運(yùn)動(dòng)圖像關(guān)鍵幀快速跟蹤系統(tǒng)通過有效協(xié)調(diào)系統(tǒng)中攝像機(jī)、檢測(cè)模塊、控制模塊以及執(zhí)行模塊之間的相互配合，結(jié)合基于自適應(yīng)無監(jiān)督聚類融合交叉熵的運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤算法，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)行為獲取。通過實(shí)驗(yàn)驗(yàn)證本文系統(tǒng)運(yùn)動(dòng)圖像關(guān)鍵幀跟蹤方面的優(yōu)勢(shì)，為后期運(yùn)動(dòng)圖像應(yīng)用處理提供強(qiáng)有力的數(shù)據(jù)支撐。