改進(jìn)光流法和GMM融合的車輛實時檢測算法研究

陳立潮，解丹，曹建芳,2，張睿

（1. 太原科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024; 2. 忻州師范學(xué)院 計算機(jī)科學(xué)與技術(shù)系，山西 忻州 034000）

近年來隨著交通監(jiān)控系統(tǒng)的日益普及，以視頻為基礎(chǔ)的車輛檢測已成為智能交通領(lǐng)域的研究熱點[1]。當(dāng)前，車輛檢測方法大致可以分為兩類，一類是光流法（optical flow，OF）[2]、幀差法[3]、背景差分法[4]這類經(jīng)典的車輛實時檢測方法；另一類是隨著深度學(xué)習(xí)的出現(xiàn)而發(fā)展起來的Fast-RCNN[5]、Faster-RCNN[6]等區(qū)域建議檢測方法和YOLO[7]、YOLOv2[8]等無區(qū)域建議的檢測方法。鑒于深度學(xué)習(xí)算法需要很高的硬件配置和大量數(shù)據(jù)集，實驗條件較為嚴(yán)格，因而盡管光流法等實時檢測算法出現(xiàn)較早，但目前仍是研究的熱點。2017年Sengar等[9]采用一種基于雙向光流塊的運動目標(biāo)檢測方法，該方法首先估計當(dāng)前幀與上一幀和下一幀之間的雙向光流場，并經(jīng)過處理后以二值化的形式檢測到運動對象。其在固定場景的視頻中測試了該方法的有效性，但對于變化的場景而言，該算法的性能較差。同年，Pan等[10]提出一種ViBe背景模型以解決光照變化而導(dǎo)致的背景變化。ViBe背景模型的核心是根據(jù)已定義的兩種車輛檢測誤差及其對應(yīng)的誤差函數(shù)，確定合理的評價條件、調(diào)整不合理的閾值以保證背景模型的自適應(yīng)更新。此方法雖然提高了前景分割的準(zhǔn)確率，但是在背景模型更新的過程中，檢測效果仍有待提高。相比國外而言，國內(nèi)學(xué)者對光流法的研究較少。

上述方法也存在一定的缺陷，如：光流法很容易受到噪聲、光源以及陰影變化的影響，從而影響檢測結(jié)果。幀差法檢測到的目標(biāo)輪廓通常比實際的輪廓要大，且隨著車輛運動速度的增加，誤差也會逐漸變大。背景差分法在實際應(yīng)用中具有局限性，背景模型的建立以及更新對場景變化比較敏感，這在很大程度上會影響檢測結(jié)果。但光流法檢測較其他兩種方法較為準(zhǔn)確，背景差分法能很好地利用幀間信息，基于此，本文針對光流算法和背景差分法的優(yōu)缺點提出一種改進(jìn)光流法與高斯混合背景模型相融合的算法（improved optical flow and gaussian mixture model，IOFGMM）以改善實時性檢測算法在不同場景中的檢測效果。

1 相關(guān)理論

1.1 光流法

光流包含運動物體的運動信息和三維結(jié)構(gòu)信息。光流為圖像中每個像素點設(shè)置一個速度矢量，該速度矢量用于分析圖像。當(dāng)光流矢量的變化連續(xù)時，圖像中不含運動信息；否則，圖像中含有運動信息即有運動的物體出現(xiàn)。光流算法有很多，Horn-Schunck[11]是一種基于梯度的全局約束光流算法，本文算法在此算法上進(jìn)行改進(jìn)，利用稠密的光流信息檢測視頻中的運動目標(biāo)。假設(shè)圖像中某像素點 (x,y) 在 t 時刻的灰度值表示為I(x,y,t)，Horn-Schunck將光流求解歸結(jié)為式（1）所示的極值問題。

式中:Ix、Iy、It分別為I(x,y,t)在x、y、t處的偏導(dǎo)數(shù)，分別代表像素點的灰度值隨x、y、t的變化率。λ表示對圖像數(shù)據(jù)及平滑約束的置信度，它的取值和圖像中的噪聲相關(guān)，當(dāng)圖像中的噪聲較少時，說明圖像數(shù)據(jù)本身的置信度較高，此時需要較小的 λ，以減小對光流約束的依賴。反之，當(dāng)圖像中的噪聲較多時，需要較大的 λ。ux、uy和vx、vy分別為光流的水平速度u和垂直速度v在x、y處的偏導(dǎo)數(shù)。經(jīng)推導(dǎo)的值可用ui,j鄰域和vi,j鄰域的均值，原算法中采用8個領(lǐng)域的加權(quán)平均值：

式中:下標(biāo) i 是圖像中 y 方向的坐標(biāo)，下標(biāo) j 是圖像 中 x 方向的坐標(biāo)。

1.2 高斯混合背景模型

高斯混合背景模型（gaussian mixture model，GMM）[12]是一種經(jīng)典的背景建模方法。其用 K個高斯模型表示圖像中各像素點的特征，通過對每個分布中的均值、方差、權(quán)重參數(shù)進(jìn)行學(xué)習(xí)更新。假設(shè)圖像中某像素點(x,y) 在 t 時刻的像素值為 I(x ,y,t)，此點的概率密度函數(shù)為 K 個高斯模型概率密度的加權(quán)和 P (I(x,y,t))，計算公式為

式中：K為高斯分布的個數(shù)；ωi,t、 ηi,t、 μi,t、 σi,t分別為 t 時刻第 i 個高斯分量的權(quán)值、概率密度函數(shù)、平均值、協(xié)方差矩陣。

若像素點 I(x,y,t) 的值與前 B 個 高斯分布均不匹配，則該像素被認(rèn)為是前景，此時用一個新的高斯分布取代權(quán)值最小的那個高斯分布，并為其初始化一個較大的方差和較小的權(quán)重值。反之，該像素被認(rèn)為是背景。

2 IOFGMM算法

2.1 參數(shù)引入

為了增強(qiáng)光流算法的準(zhǔn)確性，提出一種改進(jìn)的光流算法（improved optical flow，IOF）。具體做法是在光流計算中加入一個限制條件（參數(shù)）使得在梯度較大的點處使用亮度恒常性約束，在梯度較小的點處使用光流場一致性約束。因而定義式（5）的二值加權(quán)函數(shù)。

式中:V為一個閾值，實驗中V取0.5，當(dāng) I2x與 Iy2的和大于所設(shè)定的閾值時，函數(shù)值為0；其他情況，函數(shù)值為1。加入限制條件以后，由式（1）和式（5）可得到：

2.2 信息融合

經(jīng)實驗發(fā)現(xiàn)OF和GMM的檢測結(jié)果各有優(yōu)缺點，OF能夠在未知場景的狀況下檢測到獨立的運動車輛，但容易受噪聲、光照等的影響；IOF雖然穩(wěn)定，但光照強(qiáng)度變化很大時，仍檢測不到目標(biāo)；而GMM容易在背景建模和背景更新的過程中檢測不到車輛，但即使光照變化很大時，背景建模仍有較好的效果。因此，將IOF和GMM的信息相融合。

將IOF檢測結(jié)果的某一幀圖像稱為A圖，將GMM檢測結(jié)果的某一幀圖像稱為B圖。A圖中檢測到的車輛數(shù)量記為count1，所有的目標(biāo)框的集合為{BoxA1, BoxA2,…, BoxAi}，對應(yīng)的中心點的集合為{A1, A2,…, Ai}。同理，B圖中檢測到的車輛數(shù)量記為count2，目標(biāo)框的集合記為{BoxB1,BoxB2,…, BoxBi}，對應(yīng)的中心點的集合為{B1,B2,…, Bi}。信息融合的具體步驟是：

1）比較count1、count2。若count1≥count2，執(zhí)行2）；否則，執(zhí)行5）；

2）從圖A中遍歷中心點{A1, A2,…, Ai}，遍歷未完成時，執(zhí)行3）～4）；否則，執(zhí)行8）；

3）計算A圖中的中心點與B圖中的所有中心點{B1, B2,…, Bi}的距離，取最小的（若有兩個及以上相等，則都取）距離所對應(yīng)的目標(biāo)框BoxBi；

4）計算BoxAi和BoxBi的重疊面積（intersection area, IA），若 IA=0，則記錄 IA的中心點坐標(biāo)及長和寬；若 IA＞0，則取值最大的 IA的中心點坐標(biāo)及長和寬；

5）從圖B中遍歷中心點{B1, B2,…, Bi}，遍歷未完成時，執(zhí)行6）～7）；否則，執(zhí)行8）；

6）計算B圖中的中心點{B1, B2,…, Bi}與A圖中的所有中心點的距離，取最小的（若有兩個及以上相等，則都?。┚嚯x所對應(yīng)的目標(biāo)框BoxAi；

7）計算BoxBi和BoxAi的IA，若 IA=0，則記錄 IA的中心點坐標(biāo)及長和寬；若 IA＞0，則取值最大的 IA的中心點坐標(biāo)及長和寬；

8）將 IA所對應(yīng)的矩形框標(biāo)注在圖像中，并記錄矩形框的總數(shù)量，其為IOFGMM檢測的結(jié)果。

2.3 算法描述

IOFGMM算法的流程如圖1所示。主要步驟包括讀取視頻的圖像序列、處理視頻的圖像序列和在圖像上繪制檢測結(jié)果。其中處理視頻圖像序列是核心步驟，包括確定感興趣區(qū)域、獲取光流信息、獲取前景和背景信息、形態(tài)學(xué)操作、圖像分割及信息融合。首先，從磁盤中讀取處理好的視頻數(shù)據(jù)集，之后獲取所讀入視頻的信息，獲取到的視頻幀進(jìn)入一個循環(huán)中，當(dāng)視頻幀未讀取完時，對每幀圖像進(jìn)行光流矢量及相關(guān)值的計算以及前景和背景信息的獲取，并對所獲取的信息進(jìn)行二值化的閾值分割，從而分割出運動的車輛目標(biāo)，接著進(jìn)行腐蝕和膨脹的形態(tài)學(xué)操作，以清除殘留的小噪聲并平滑被分割的車輛邊緣，最后繪制目標(biāo)框并根據(jù)2.2節(jié)所描述的方法將信息融合，進(jìn)一步繪制校準(zhǔn)后的目標(biāo)區(qū)域，計算目標(biāo)框個數(shù)并輸出結(jié)果。

整個IOFGMM算法由一個判斷、一個遍歷和若干個處理操作組成，具體的算法描述如下：

輸入 視頻數(shù)據(jù)集

輸出 具有檢測信息的視頻和檢測后視頻中的每幀圖像

1) 讀取視頻幀并獲取視頻信息;

2) if 視頻幀數(shù)未讀取完 then

3) for i=1, 2, ···, video.length do

4) 確定感興趣區(qū);

5) 計算光流矢量及相關(guān)值;

6) 獲取前景、背景信息;

7) 分割圖像;

8) 形態(tài)學(xué)處理;

9) 記錄目標(biāo)框;

10) 融合信息;

11) 繪制融合信息后的目標(biāo)框，并對每幀目標(biāo)框計數(shù);

12) return

13) end for

14) end if

15) if 視頻幀數(shù)讀取完 then

16) break

17) end if

圖 1 IOFGMM算法流程圖Fig. 1 Flow chart of the IOFGMM method

3 實驗結(jié)果及分析

3.1 實驗環(huán)境與數(shù)據(jù)來源

實驗的硬件環(huán)境為Intel i7-4 770，3.40 GHz的四核CPU；12 GB的內(nèi)存；1 GB的AMD Radeon HD8490顯卡和120 GB的固態(tài)硬盤。軟件環(huán)境為Windows10操作系統(tǒng)的MATLAB R2014b。整個算法通過創(chuàng)建計算機(jī)視覺工具箱的對象進(jìn)行編寫。

算法的性能在真實的車輛視頻上進(jìn)行評估，數(shù)據(jù)集采用公共數(shù)據(jù)集CDnet2014[13]，該數(shù)據(jù)集包含多個數(shù)據(jù)類別且每個類別中包含4～6個視頻序列，可登錄網(wǎng)站“ChangeDetection.net”免費下載。本實驗研究運動車輛的檢測，所以選用CDnet2014中的Highway、IntermittenPan、Street-CornerAtNight視頻序列。3個視頻序列的信息如表1所示。

表 1 用于檢測的視頻序列信息Table 1 Video sequence information for detection

這3個視頻序列的圖像格式均是位深度為24的RGB圖像。由于彩色圖像信息量多，處理復(fù)雜，故讀取每張圖像后，將彩色圖像轉(zhuǎn)換為灰度圖像，即將三通道的RGB圖像變?yōu)閱瓮ǖ赖幕叶葓D像。此外，采用自動白平衡算法[14]去除圖像中的灰度突變、平滑圖像。實際中采集到的一般為視頻而非視頻序列，故將所有的視頻序列合成視頻，對這3個合成的視頻進(jìn)行車輛的檢測。

3.2 結(jié)果分析

3.2.1 車輛檢測視覺效果

在3個不同場景下的監(jiān)控視頻上檢測車輛的視覺效果如表2～4所示。表中第1列說明了該行所對應(yīng)的為第幾幀圖像，第2列是輸入的圖像，第3列是對應(yīng)圖像的背景，第4列是對應(yīng)圖像的前景，第5列是對應(yīng)圖像的光流可視化，最后一列是最后檢測的結(jié)果。

表2是白天高速公路上的車輛檢測視覺效果。可以看出，由于是晴天，背景被樹木的陰影和車輛的陰影遮擋，一定的時間段內(nèi)，光照不會有太大變化。由于在背景建模時已經(jīng)將帶有樹木陰影的車輛場景視為背景，因此不會將樹木陰影誤認(rèn)為運動目標(biāo)，又因為在前景信息的獲取時進(jìn)行了角點檢測，而且融合信息的緣故，所以部分車輛陰影沒有被誤認(rèn)為是車輛目標(biāo)。

表3是PTZ（Pan/Tilt/Zoom）相機(jī)拍攝的城鎮(zhèn)道路上的視頻序列的檢測效果。由于云臺的上下、左右移動以及鏡頭的變倍、變焦使得對背景更新算法的要求較高。從檢測效果看，在這樣一個晴天且有陰影的情況下，圖像的光線變化較大，但是由于在光流法中引入了新參數(shù)，所以在光流變化較大時仍可以得到較好的檢測結(jié)果。

表4是街角的夜景檢測的效果，其主要的挑戰(zhàn)在于車燈的變化對于前景檢測會造成很大的影響，且車燈的光線會對背景中的光流場有影響。由于形態(tài)學(xué)的處理和信息融合的緣故，減少了這種影響。

表 2 Highway場景檢測的視覺效果Table 2 Visual effects of Highway scene detection

表 3 IntermittenPan場景檢測的視覺效果Table 3 Visual effects of IntermittenPan scene detection

表 4 StreetCornerAtNight 場景檢測的視覺效果Table 4 Visual effects of StreetCornerAtNight scene detection

3.2.2 檢測結(jié)果量化對比

為了對實驗結(jié)果進(jìn)行量化，采用準(zhǔn)確率（Precision，P）、召回率（Recall，R）與F1指標(biāo)[15]評價IOFGMM算法，評價指標(biāo)的值越大說明算法的檢測效果越好。上述算法與一些經(jīng)典的且實時性檢測效果好的算法GMM、incPCP、Corola、OF、BBOF進(jìn)行比較。其中，GMM是一種經(jīng)典的背景差分方法，incPCP和Corola是一種基于背景差分法的改進(jìn)算法，OF是稠密光流法Horn-Schunck，BBOF是一種基于塊的雙向光流運動檢測方法。比較結(jié)果如表5和圖2所示，從評價指標(biāo)上看，GMM和OF兩種經(jīng)典算法的檢測效果最差，而在其基礎(chǔ)上改進(jìn)的incPCP、BBOF以及Corola檢測效果越來越好，而IOFGMM算法由于在光流算法中增加了一個約束條件，并將混合高斯背景建模的信息和光流信息相結(jié)合，從而導(dǎo)致該算法實驗結(jié)果的指標(biāo)值均高于其他5種算法，因而所提出的IOFGMM算法較優(yōu)。

表 5 IOFGMM與GMM、incPCP、Corola、OF、BBOF的實驗對比Table 5 Experimental comparison of IOFGMM, GMM, incPCP, Corola, OF and BBOF

圖 2 IOFGMM與其他算法的對比Fig. 2 Comparison of IOFGMM and other methods

為進(jìn)一步驗證及評估該算法在實際場景中的檢測效果，在山西省太原市西中環(huán)路進(jìn)行車輛運動視頻的采集，并用IOFGMM、Corola、BBOF算法對視頻進(jìn)行車輛檢測。所采集的視頻共有91幀，部分IOFGMM算法的檢測結(jié)果如圖3所示。

圖 3 實際場景中的部分檢測結(jié)果Fig. 3 Partial detection results in the actual scene

所提出的算法在獲取前、背景信息及光流信 息后，將分割后的連通域進(jìn)行形態(tài)學(xué)處理，并將光流信息和背景建模信息互相補(bǔ)充，從而檢測到了與背景灰度信息相似的深色車輛、距離較遠(yuǎn)的車輛、距離較近的車輛，且標(biāo)注出的目標(biāo)框比較準(zhǔn)確。此外，每幀圖像中左上角的計數(shù)數(shù)量與實際的車輛數(shù)量相同。

3種算法檢測在該視頻上的檢測結(jié)果如表6。可以看出，3種算法的準(zhǔn)確率相差較小，召回率相差較大，且IOFGMM算法的準(zhǔn)確率、召回率及F1值均高于Corola和BBOF。因而，實際場景中IOFGMM算法也具有良好的檢測效果。

表 6 IOFGMM與Corola、BBOF的實驗對比Table 6 Experimental comparison of IOFGMM, Corola and BBOF

4 結(jié)束語

針對光流算法受光照影響較大和在不同場景中檢測效果差別較大等問題，提出了IOFGMM檢測算法對車輛進(jìn)行實時檢測。該算法在改進(jìn)OF算法的基礎(chǔ)上融入GMM，將檢測到的目標(biāo)信息相融合，最終顯示出具有檢測信息的車輛監(jiān)控視頻。在公共數(shù)據(jù)集CDnet2014上對該算法進(jìn)行驗證，實驗結(jié)果表明，該算法的P、R和F1值最高可達(dá)96.32%、94.81%、95.59%；最低為62.65%、72.26%、67.11%，但是無論是最高還是最低都比同樣場景下的Corola等車輛檢測算法的效果好。因此，該算法在不同場景下均能獲得較好的效果，對于智能交通的發(fā)展具有重要意義。但是由于同一算法的同種參數(shù)應(yīng)用于不同場景時會產(chǎn)生一些差別，從而影響算法的性能，故之后可以將級聯(lián)機(jī)制引入IOFGMM算法中，預(yù)先判斷場景，并根據(jù)場景選用不同參數(shù)，從而提高多場景下的車輛檢測的準(zhǔn)確率和召回率。另一方面，IOFGMM算法卻乏主動學(xué)習(xí)的機(jī)制，因而下一步可以在光流場中引入神經(jīng)網(wǎng)絡(luò)，使得算法能夠主動學(xué)習(xí)車輛特征，提高車輛的檢測效果。