基于運(yùn)動(dòng)目標(biāo)識(shí)別的摩托車(chē)視頻監(jiān)控駕考識(shí)別技術(shù)研究

韓伶俐

（安徽三聯(lián)學(xué)院 交通工程學(xué)院，合肥 211100）

0 引言

運(yùn)動(dòng)目標(biāo)識(shí)別技術(shù)通常與視頻監(jiān)控技術(shù)聯(lián)合使用，在智能交通管理、工業(yè)目標(biāo)檢測(cè)、區(qū)域安全防護(hù)等領(lǐng)域發(fā)揮積極作用［1］.隨著科學(xué)技術(shù)的發(fā)展車(chē)輛合格考試技術(shù)持續(xù)更新?lián)Q代，摩托車(chē)駕考是車(chē)輛合格考試的重要內(nèi)容之一，逐漸使用視頻監(jiān)控駕考取代人工考核，既可以提升駕考效率，又能提高考試標(biāo)準(zhǔn)與監(jiān)控的精準(zhǔn)度.運(yùn)動(dòng)目標(biāo)識(shí)別一般是通過(guò)采集駕考目標(biāo)的運(yùn)動(dòng)幀圖像，基于圖像處理算法、輪廓檢測(cè)算法獲得目標(biāo)對(duì)象的動(dòng)態(tài)輪廓信息，實(shí)現(xiàn)駕考對(duì)象的動(dòng)態(tài)追蹤.目前關(guān)于視頻目標(biāo)識(shí)別的應(yīng)用算法研究頗多，例如：侯暢、董蘭芳［2］提出一種基于深度編解碼網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，以離線樣本數(shù)據(jù)為基礎(chǔ)訓(xùn)練編解碼網(wǎng)絡(luò)，基于該網(wǎng)絡(luò)學(xué)習(xí)背景信息同視頻幀間的差異，利用背景建模和視頻幀作為深度編解碼網(wǎng)絡(luò)的輸入，輸出結(jié)果即為視頻中運(yùn)動(dòng)目標(biāo)的識(shí)別結(jié)果；李大湘等［3］在目標(biāo)識(shí)別研究中，首先構(gòu)建運(yùn)動(dòng)軌跡能量?jī)?yōu)化模型，其次基于量子行為粒子群優(yōu)化算法求解能量模型的最小解，重新組合運(yùn)動(dòng)軌跡后得到摘要視頻，精準(zhǔn)完成視頻目標(biāo)識(shí)別.本文綜合考慮多種目標(biāo)識(shí)別算法的利弊，決定利用邊緣輪廓檢測(cè)算法完成運(yùn)動(dòng)中摩托車(chē)目標(biāo)圖像特征檢測(cè)，同時(shí)對(duì)檢測(cè)技術(shù)進(jìn)行多重優(yōu)化與改進(jìn)，最終在測(cè)試環(huán)節(jié)取得了良好的識(shí)別效果.

1 基于運(yùn)動(dòng)目標(biāo)識(shí)別的摩托車(chē)視頻監(jiān)控駕考方案

1.1 摩托車(chē)駕考監(jiān)控視頻穩(wěn)像技術(shù)

摩托車(chē)駕考視頻監(jiān)控對(duì)象是運(yùn)動(dòng)中的人物，視頻中的圖像稱(chēng)為“幀”，由于幀和幀之間產(chǎn)生變化導(dǎo)致畫(huà)面信息產(chǎn)生差異，形成“運(yùn)動(dòng)”現(xiàn)象.在摩托車(chē)駕考監(jiān)控視頻采集過(guò)程中，由于曝光時(shí)間、運(yùn)動(dòng)幅度等因素常常導(dǎo)致視頻圖像序列不穩(wěn)定［4］，對(duì)后期識(shí)別監(jiān)控視頻中的目標(biāo)造成較大難度與困擾.為此，在設(shè)計(jì)摩托車(chē)視頻監(jiān)控駕考方案時(shí)，增加了電子穩(wěn)像技術(shù)，具體過(guò)程如下.

首先，以監(jiān)控視頻采集的原始摩托車(chē)幀圖像為對(duì)象，基于改進(jìn)ORB圖像特征匹配算法選擇其中具有不穩(wěn)定屬性的特征點(diǎn)，具體步驟如圖1所示，提取兩個(gè)長(zhǎng)度一致字符串所在位置的差異性字符數(shù)量；在此過(guò)程中采用自適應(yīng)角點(diǎn)檢測(cè)與誤匹配點(diǎn)剔除策略，獲得精確的不平穩(wěn)特征點(diǎn)生成特征點(diǎn)軌跡；緊接著完成初始特征軌跡的濾波處理，去除軌跡噪聲［5］.

圖1 改進(jìn)ORB圖像特征匹配算法步驟

其次，預(yù)測(cè)全局運(yùn)動(dòng)矢量軌跡，主要根據(jù)平滑點(diǎn)特征軌跡、初始特征點(diǎn)軌跡兩個(gè)參量進(jìn)行計(jì)算.全局運(yùn)動(dòng)矢量預(yù)測(cè)以6個(gè)參數(shù)為基準(zhǔn)構(gòu)建仿射模型，利用三個(gè)特征點(diǎn)即可獲取放射變換的參數(shù)［6］，該方式使算法運(yùn)算的時(shí)間消耗少且精準(zhǔn)度高.定義i為隨機(jī)點(diǎn)特征軌跡，q表示其中任意特征點(diǎn)，輸出濾波后的第q個(gè)特征點(diǎn)如式（1）所示.

然后，基于上述結(jié)果不平穩(wěn)的幀圖像以幀為單位進(jìn)行運(yùn)動(dòng)矢量逆反補(bǔ)償，參考張學(xué)典等［7］人的研究，基于雙線性插值法完成亞像素部分的補(bǔ)償.雙線性插值法對(duì)于圖像亞像素部分的補(bǔ)償目的在于降低像素的塊狀與不平衡特征.將不平穩(wěn)的幀圖像劃分為多個(gè)子區(qū)域，定義子區(qū)域的坐標(biāo)為（xi，yi），灰度值為gi（xi，yi）；在進(jìn)行插值處理之前基于公式（2）恢復(fù)成不平穩(wěn)幀圖像子區(qū)域：

然后基于圖2內(nèi)容進(jìn)行雙線性插值完成亞像素部分的補(bǔ)償.圖1中的插值原理解釋如下：在不平穩(wěn)幀圖像子區(qū)域內(nèi)設(shè)置一個(gè)參考點(diǎn)，即區(qū)域的中心點(diǎn)；四個(gè)子區(qū)域的參考點(diǎn)分別表示為γ1、γ2、γ3、γ4，插值對(duì)象即為四個(gè)參考點(diǎn)內(nèi)的像素點(diǎn)，圖中a點(diǎn)表示待插值的不平穩(wěn)像素點(diǎn)；然后參考點(diǎn)對(duì)相應(yīng)區(qū)域進(jìn)行映射，為區(qū)域內(nèi)像素點(diǎn)生成新的像素值，完成亞像素部分的補(bǔ)償.

圖2 雙線性插值原理分析

最后，利用圖像信息熵統(tǒng)計(jì)增強(qiáng)圖像、基于自動(dòng)配準(zhǔn)算法進(jìn)行圖像拼接再一次優(yōu)化不平穩(wěn)摩托車(chē)駕考視頻的質(zhì)量，利用圖像信息熵統(tǒng)計(jì)增強(qiáng)圖像的具體過(guò)程如下：

首先，求取幀圖像子區(qū)域不同灰度級(jí)的信息熵，生成子區(qū)域信息熵統(tǒng)計(jì)直方圖，公式（3）為第b級(jí)灰度信息熵的計(jì)算方法：

其中，子區(qū)域內(nèi)灰度級(jí)數(shù)量用N表示；第b級(jí)像素的出現(xiàn)概率用?（b）i表示.

然后，對(duì)不平穩(wěn)幀圖像的信息熵進(jìn)行重新分割與分配，提高幀圖像的平穩(wěn)性.預(yù)估不同灰度級(jí)信息熵統(tǒng)計(jì)值，依照等級(jí)要求進(jìn)行信息熵分配，分配信息熵的方法如式（4）所示：

式中，不同子區(qū)域分配到分割信息熵的灰度級(jí)數(shù)目用N1表示；E0表示原有信息熵值.當(dāng)圖像滿足質(zhì)量標(biāo)準(zhǔn)時(shí)輸出，完成穩(wěn)像處理.

1.2 基于邊緣輪廓檢測(cè)的運(yùn)動(dòng)目標(biāo)識(shí)別算法

對(duì)基于圖像穩(wěn)像技術(shù)處理后的摩托車(chē)駕考監(jiān)控幀圖像，進(jìn)行像素分流擬合如式（5）所示：

其中，圖像像元值用V表示，鄰域中灰度像素集用W表示；（x，y）∈Ω.

接下來(lái)基于單幀視覺(jué)差分析原理提取運(yùn)動(dòng)中摩托車(chē)目標(biāo)圖像特征，目標(biāo)圖像成像的平面信息素可以在單位成像像素值區(qū)域中確定［8］，采用S(x,y;t)表示.且有其中，運(yùn)動(dòng)中摩托車(chē)目標(biāo)圖像動(dòng)態(tài)特征點(diǎn)通過(guò)平移得到模型像素差值用Δv表示，灰度旋轉(zhuǎn)不變矩特征量用σ表示.定義摩托車(chē)目標(biāo)圖像在梯度方向上的邊緣信息如式（6）和式（7）所示：

順著梯度方向劃分上述公式中圖像邊緣幅度信息，得到2個(gè)分量.（m，n）處像素點(diǎn)灰度值采用Xmn表示.同時(shí)定義Xmax-Xmin、Ymax-Ymin、Zmax-Zmin分別表示運(yùn)動(dòng)中摩托車(chē)目標(biāo)圖像輪廓分布包圍盒的長(zhǎng)寬高，由此預(yù)測(cè)目標(biāo)跟蹤水平位移量，方法見(jiàn)公式（8）：

其中，運(yùn)動(dòng)中摩托車(chē)目標(biāo)圖像邊緣輪廓特征的單位方向矢量分別采用m、n表示.目標(biāo)圖像（m，n）處灰階不變矩即通過(guò)Xmn表示，至此完成運(yùn)動(dòng)中摩托車(chē)目標(biāo)圖像邊緣輪廓特征檢測(cè)，進(jìn)而實(shí)現(xiàn)摩托車(chē)目標(biāo)識(shí)別與檢測(cè).

1.3 運(yùn)動(dòng)幀圖像特征點(diǎn)匹配與重構(gòu)

在上述過(guò)程中為了優(yōu)化圖像邊緣輪廓特征檢測(cè)精準(zhǔn)度，對(duì)運(yùn)動(dòng)中的摩托車(chē)目標(biāo)區(qū)域進(jìn)行重構(gòu)，具體通過(guò)極線約束模型實(shí)現(xiàn)對(duì)目標(biāo)特征點(diǎn)的立體匹配與三維重構(gòu)［9］.圖3描述了基于雙目視覺(jué)的極線約束模型原理.f表示空間中的一點(diǎn)，r、r′分別表示攝像頭，攝像機(jī)對(duì)應(yīng)的光心描述為g和g′.在模型中，攝像機(jī)對(duì)f點(diǎn)進(jìn)行透視變換將其映射至兩個(gè)攝像頭，基線負(fù)責(zé)連接攝像機(jī)光心，此時(shí)存在一個(gè)外極面由光心與點(diǎn)f共同組成，兩側(cè)圖像與外極面于左極線l、右極線l′處相交.在上述布局中，空間中f點(diǎn)隨機(jī)運(yùn)動(dòng)時(shí)，以透視變換的方式映射至左側(cè)圖像中心點(diǎn)r在極線l，同理，點(diǎn)r′在極線l′也一定成立，這種情況稱(chēng)為極線約束［10］；并且極線約束原理中兩側(cè)的極點(diǎn)即為映射點(diǎn)同基線的相交點(diǎn).

圖3 基于雙目視覺(jué)的極線約束模型

利用基于雙目視覺(jué)的極線約束模型完成摩托車(chē)目標(biāo)特征點(diǎn)的立體匹配與三維重構(gòu)，降低了摩托車(chē)目標(biāo)圖像邊緣輪廓特征檢測(cè)的難度.

2 測(cè)試與分析

為了驗(yàn)證本文提出的基于運(yùn)動(dòng)目標(biāo)識(shí)別的摩托車(chē)視頻監(jiān)控駕考方案的有效性，在駕?，F(xiàn)場(chǎng)搭建摩托車(chē)駕考測(cè)試實(shí)驗(yàn)場(chǎng)所進(jìn)行目標(biāo)檢測(cè)仿真測(cè)試，利用本文方法對(duì)考試人員進(jìn)行動(dòng)態(tài)識(shí)別與檢測(cè)，提高摩托車(chē)駕考監(jiān)控的效率.實(shí)驗(yàn)使用算法采用MATLAB進(jìn)行開(kāi)發(fā)設(shè)計(jì)，圖像處理主機(jī)操作系統(tǒng)為Windows 7，內(nèi)存為8 GB，處理器為Intel Core i7，CPU主頻2.5 GHz.利用本文方法檢測(cè)摩托車(chē)駕考目標(biāo)的效果如圖4所示，可以看出，本文方法能夠?qū)⒈尘靶畔⑴c目標(biāo)對(duì)象清晰分割，完整提取出駕考人員與摩托車(chē)的輪廓信息.為了進(jìn)一步分析本文方法在駕考視頻監(jiān)控中的性能，引入基于高斯混合模型的駕考監(jiān)控識(shí)別方法、基于SIFT特征匹配的駕考監(jiān)控識(shí)別方法進(jìn)一步展開(kāi)對(duì)比測(cè)試.

圖4 本文方法目標(biāo)輪廓檢測(cè)結(jié)果

2.1 目標(biāo)輪廓檢測(cè)效果分析

現(xiàn)場(chǎng)采集5組摩托車(chē)駕考幀圖像，為各組圖像設(shè)置不同的信噪比水平，記錄了不同信噪比程度下各方法進(jìn)行駕考目標(biāo)識(shí)別的效果，如圖5所示.

圖5 各方法目標(biāo)輪廓檢測(cè)率統(tǒng)計(jì)

圖5數(shù)據(jù)顯示，三種方法檢測(cè)率均隨著圖像信噪比的增加逐漸上升，說(shuō)明圖像的原始質(zhì)量對(duì)于目標(biāo)輪廓檢測(cè)效果的影響較大，且圖像信噪比與目標(biāo)輪廓檢測(cè)率成正比.可以清晰看出本文方法檢測(cè)摩托車(chē)駕考目標(biāo)對(duì)象輪廓的準(zhǔn)確率顯著高于另外兩種方法，當(dāng)圖像信噪比位于［15 dB，25 dB］區(qū)間時(shí)，檢測(cè)率可達(dá)96%～97%.此外，檢測(cè)摩托車(chē)目標(biāo)輪廓過(guò)程中，在圖像信噪比一致的前提下本文方法初始檢測(cè)率領(lǐng)先，檢測(cè)結(jié)果總體波動(dòng)平穩(wěn)、波動(dòng)較小，說(shuō)明該方法受圖像信噪比的干擾相對(duì)較小，具有一定的抗噪性.

2.2 不同駕考監(jiān)控方案的性能對(duì)比

為突出摩托車(chē)視頻監(jiān)控駕考方案的性能優(yōu)勢(shì)，以均方根誤差、響應(yīng)時(shí)間作為測(cè)試指標(biāo)，評(píng)估三種方法進(jìn)行駕考監(jiān)控識(shí)別的性能，結(jié)果如表1所示.

表1 三種方法實(shí)施摩托車(chē)駕考監(jiān)控識(shí)別的性能

表1中均方根誤差為歸一化值，數(shù)值越大表明其監(jiān)控誤差越大.本文方法的均方根誤差為0.0547，僅約為基于SIFT特征匹配的駕考監(jiān)控識(shí)別方法的十分之一，獲得了較優(yōu)的目標(biāo)追蹤識(shí)別效果；基于高斯混合模型的駕考監(jiān)控識(shí)別方法高達(dá)0.2954，識(shí)別效果不理想.此外，本文方法的響應(yīng)時(shí)間為2.11 s，實(shí)時(shí)性較好，可以滿足摩托車(chē)視頻監(jiān)控駕考識(shí)別的需求，相比之下，基于高斯混合模型的駕考監(jiān)控識(shí)別方法、基于SIFT特征匹配的駕考監(jiān)控識(shí)別方法響應(yīng)的時(shí)間較長(zhǎng)，實(shí)時(shí)性相對(duì)較弱.

3 結(jié)論

本文以摩托車(chē)駕考視頻監(jiān)控問(wèn)題作為研究對(duì)象，提出了基于運(yùn)動(dòng)目標(biāo)識(shí)別的駕考目標(biāo)檢測(cè)方案.在檢測(cè)摩托車(chē)駕考目標(biāo)之前對(duì)圖像進(jìn)行穩(wěn)像處理，提高圖像目標(biāo)輪廓檢測(cè)的精準(zhǔn)度；具體而言，本文方法在圖像采集原始階段對(duì)圖像進(jìn)行了穩(wěn)像處理，基于改進(jìn)ORB圖像特征匹配算法選擇圖像中不穩(wěn)定特征點(diǎn)，對(duì)不平穩(wěn)幀圖像進(jìn)行運(yùn)動(dòng)矢量逆反補(bǔ)償，最后通過(guò)增強(qiáng)、配準(zhǔn)等方法完成圖像拼接，輸出高質(zhì)量的圖像作為目標(biāo)檢測(cè)的基礎(chǔ)；同時(shí)基于雙目視覺(jué)極線約束模型對(duì)目標(biāo)特征點(diǎn)進(jìn)行立體匹配與三維重構(gòu)，再次優(yōu)化摩托車(chē)目標(biāo)檢測(cè)效果.以上兩種優(yōu)化策略均為提高摩托車(chē)視頻監(jiān)控駕考方案提供了可靠性保障.

根據(jù)實(shí)驗(yàn)結(jié)果得知，本文方法檢測(cè)率可達(dá)96%～97%，雖取得了理想的檢測(cè)效果但仍然需要進(jìn)一步優(yōu)化，以適應(yīng)高標(biāo)準(zhǔn)的摩托車(chē)駕考需求.可考慮在雙目視覺(jué)的極線約束模型上進(jìn)行改進(jìn)，更加精準(zhǔn)地完成摩托車(chē)目標(biāo)特征點(diǎn)的立體匹配與三維重構(gòu)，進(jìn)而優(yōu)化視頻目標(biāo)檢測(cè)率.