基于魚眼視頻圖像的人群人數(shù)估計(jì)算法的研究

韓迎輝,伏 林

(1.常州大學(xué)城常州輕工職業(yè)技術(shù)學(xué)院,江蘇 常州 213164;2.華能格爾木光伏發(fā)電有限公司,青海 格爾木 816099)

?

基于魚眼視頻圖像的人群人數(shù)估計(jì)算法的研究

韓迎輝1*,伏 林2

(1.常州大學(xué)城常州輕工職業(yè)技術(shù)學(xué)院,江蘇 常州 213164;2.華能格爾木光伏發(fā)電有限公司,青海 格爾木 816099)

對于一些公共場所,人數(shù)的統(tǒng)計(jì)是安全領(lǐng)域的重要問題。為了獲得大視角的監(jiān)控視頻,以得到更多有用的視頻信息,同時(shí)兼顧實(shí)時(shí)性和監(jiān)控成本,本文使用魚眼鏡頭對人群進(jìn)行監(jiān)控。為了使所有視場范圍內(nèi)景物能夠在有限大小的成像面上成像,設(shè)計(jì)者人為的引入桶形畸變,而且由于實(shí)際場景中的景物通過魚眼鏡頭后,會產(chǎn)生權(quán)重不等的像素點(diǎn),本文針對魚眼圖像透視加權(quán)模型,采用加權(quán)特征提取的方法,提取魚眼圖像中人群目標(biāo)的特征,包括加權(quán)面積、加權(quán)周長、加權(quán)KLT角點(diǎn)數(shù)以及加權(quán)邊緣點(diǎn)數(shù)這4個(gè)特征,并使用多元線性回歸法估計(jì)出了人群中的人數(shù),取得了良好的效果。

魚眼視頻圖像;人數(shù)估計(jì);透視加權(quán)模型;多元線性回歸

隨著城市建設(shè)的深入,社會及經(jīng)濟(jì)的高速發(fā)展,大規(guī)模群體活動的頻繁化變得平常且正常。近年來,由于各類公共活動,如體育賽事、文化娛樂活動及各種展會等在規(guī)模和數(shù)量上的增長,人群的安全監(jiān)控問題成為有關(guān)部門乃至整個(gè)社會的關(guān)注熱點(diǎn)。與人群密度估計(jì)相比較,學(xué)者們對于人群中人數(shù)統(tǒng)計(jì)技術(shù)的研究起步比較晚。

本文為了獲得大視角的監(jiān)控視頻,同時(shí)為了兼顧實(shí)時(shí)性和監(jiān)控成本,使用了魚眼鏡頭對人群進(jìn)行監(jiān)控。由于魚眼鏡頭成像原理、安裝方式都有別于普通相機(jī),同時(shí)結(jié)合適用于魚眼圖像的透視加權(quán)模型,本文提取出了人群目標(biāo)的4個(gè)加權(quán)特征,并利用多元線性回歸法對人群人數(shù)進(jìn)行了估計(jì)。

1 魚眼圖像的加權(quán)模型

魚眼的水晶體形狀呈圓球形,視野廣。為了實(shí)現(xiàn)在大視場下成像,需要選用合適的投影公式,市場上的魚眼鏡頭的成像方式大多都是利用式(1)等距公式:

d=fω

(1)

其中,d表示目標(biāo)點(diǎn)在CCD成像面上所成的像點(diǎn)距離成像面中心點(diǎn)的距離,f表示魚眼鏡頭的焦距,ω表示目標(biāo)點(diǎn)光線與鏡頭主光軸的夾角,即入射角。

在實(shí)際的監(jiān)控場景中,由于魚眼監(jiān)控圖像在半視場入射角將近90°的地方,桶形畸變達(dá)到最大,且有用的信息比較少,所以在進(jìn)行分析和處理之前,人為的在魚眼圖像中劃分出一個(gè)圓形的感興趣的區(qū)域,即ROI區(qū)域,對這個(gè)區(qū)域內(nèi)的監(jiān)控圖像進(jìn)行分析和研究。一般情況下,ROI的圓形半徑取值為原魚眼視頻圖像半徑的0.75倍～0.95倍。圖1中的QR點(diǎn)就是圖像中ROI的邊界點(diǎn)。

圖1 魚眼鏡頭透視成像模型示意圖

由于假定了魚眼圖像的中心點(diǎn)與攝像機(jī)的成像面的中心點(diǎn)在同一條直線上且垂直于成像面,所以dr與r之間滿足以下的關(guān)系式:

dr=rε

(2)

由圖1所示的幾何關(guān)系可知:

Dr=D|secω|

(3)

根據(jù)式(1)等距投影公式d=fω,結(jié)合式(2)得到:

ω=(rε)/f

(4)

故而根據(jù)式(3)和式(4)可以推導(dǎo)出:

Dr=D|sec[(rε)/f]|

(5)

在文獻(xiàn)[1]中提出可以直接利用物體到透鏡中心的距離來計(jì)算對應(yīng)像素點(diǎn)的權(quán)值。Q點(diǎn)是C點(diǎn)經(jīng)過投射和處理后得到的像素點(diǎn),其與透鏡中心點(diǎn)之間的距離為D,若令Q點(diǎn)的權(quán)值為wQ=1,那么距離Q點(diǎn)r處的點(diǎn)的權(quán)重即為:

wr=Dr/D=|sec[(rε)/f]|

(6)

魚眼視頻圖像采用透視加權(quán)模型后,可消除桶形畸變和距離引起的像素尺寸大小不一等情況對人群估計(jì)分析中特征提取時(shí)的影響。

2 基于魚眼視頻圖像的人群人數(shù)估計(jì)算法[5]

為了通過對人群監(jiān)控魚眼視頻圖像的處理,達(dá)到人群人數(shù)估計(jì)的目的,可將處理過程主要分為圖2所示的4個(gè)步驟,依次為:原始圖像預(yù)處理、人群目標(biāo)前景圖像分割、人群特征提取和人數(shù)估計(jì)。

圖2 基于魚眼視頻圖像的人群人數(shù)估計(jì)的算法流程圖

圖3 魚眼監(jiān)控圖像處理前后對比圖

2.1 圖像預(yù)處理

由于所采集到的監(jiān)控視頻圖像是彩色圖像,如圖3(a)所示,在圖像處理過程中需要對顏色的3個(gè)分量都進(jìn)行運(yùn)算處理,而本文中基于魚眼視頻圖像對人群進(jìn)行人數(shù)估計(jì)時(shí),后續(xù)流程各步驟均與圖像的顏色信息無關(guān),所以為了減少顏色分量產(chǎn)生的額外的時(shí)間耗費(fèi),本文首先對視頻中的圖像序列進(jìn)行灰度轉(zhuǎn)化,圖像灰度的轉(zhuǎn)化也就是圖像色彩到亮度的轉(zhuǎn)化,按照式(7)計(jì)算圖像中每個(gè)像素點(diǎn)的亮度,完成圖像的灰度轉(zhuǎn)化,如圖3(b)所示為灰度處理后的圖像。

I(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

(7)

下面就要?jiǎng)澐諶OI區(qū)域,僅對這個(gè)區(qū)域內(nèi)的監(jiān)控圖像進(jìn)行后續(xù)處理和研究。

劃分ROI的具體步驟如下:

(1)設(shè)定亮度閾值T,分別從圖像的上、下、左、右4個(gè)方向進(jìn)行掃描,找到圖像中亮度小于閾值的像素點(diǎn),從而標(biāo)定出感興趣區(qū)域的圓心和半徑。圖3(c)中可見比例系數(shù)k取0.8時(shí)的ROI圓心及其覆蓋區(qū)域,由紅色的點(diǎn)和圓標(biāo)識。

(2)將感興趣區(qū)域以外的無效區(qū)域的像素點(diǎn)變?yōu)楹谏?保持ROI內(nèi)圖像像素值不變。

(3)圖3(d)可見,在圖像的12點(diǎn)至3點(diǎn)方向上存在包括窗子、查詢桌、取款機(jī)等復(fù)雜背景,這些背景元素會使后續(xù)的特征提取變得復(fù)雜,因此將這一部分作為特殊區(qū)域進(jìn)行處理,圖3(e)和3(f)分別為無人群目標(biāo)和有人群目標(biāo)時(shí)的處理結(jié)果圖。

2.2 魚眼視頻圖像人群前景分割

圖像的前景分割是將圖像中需要處理的主要部分,或稱感興趣的部分,從背景中提取出來,為區(qū)分背景與前景區(qū)域,通常將二者以黑白二值的形式在圖像中對比表示出來。前景分割結(jié)果的好壞將直接影響著特征提取的速度和準(zhǔn)確性。本文在進(jìn)行前景分割時(shí)采用了固定閾值背景減法,利用它對魚眼視頻圖像進(jìn)行了人群前景圖像分割,得到了較好的分割效果。如圖4所示,就是對人群目標(biāo)前景分割的結(jié)果圖。

圖4 魚眼監(jiān)控圖像人群目標(biāo)分割結(jié)果

2.3 基于魚眼圖像加權(quán)模型的人群特征提取

由于魚眼鏡頭有別于普通相機(jī),本文重點(diǎn)研究了文獻(xiàn)[9]提出的魚眼透視加權(quán)模型,基于這種模型,提出一種加權(quán)特征提取的方法,利用新的人群目標(biāo)特征,即加權(quán)面積、加權(quán)周長、加權(quán)KLT角點(diǎn)數(shù)以及加權(quán)邊緣點(diǎn)數(shù)這4個(gè)特征,對人群中的人數(shù)這一屬性進(jìn)行研究和分析。

2.3.1 加權(quán)面積特征

由于魚眼視頻圖像的特殊性,本文在計(jì)算人群目標(biāo)面積時(shí),并不直接使用人群前景面積的像素總和,而是基于魚眼鏡頭的透視模型,計(jì)算出人群目標(biāo)的加權(quán)面積,并將計(jì)算結(jié)果作為人群的一個(gè)特征,用于之后的人數(shù)估計(jì)。

人群目標(biāo)加權(quán)面積的計(jì)算表達(dá)式如下:

(8)

式中的wr(i,j)表示坐標(biāo)為(i,j)的像素點(diǎn)的權(quán)值,F表示ROI區(qū)域內(nèi)的人群目標(biāo)前景,如圖5(b)中所示的白色區(qū)域,通過該式計(jì)算出加權(quán)前景像素點(diǎn)的總和,即可提取出用于人數(shù)估計(jì)的人群目標(biāo)的加權(quán)面積特征。

圖5 人群目標(biāo)前景分割區(qū)域圖

2.3.2 加權(quán)邊緣點(diǎn)數(shù)特征

由于垂直于圖像邊緣處的像素點(diǎn)的灰度不連續(xù),而這種變化可以用圖像的導(dǎo)數(shù)來表征,因此,可以利用求導(dǎo)數(shù)的方式來提取圖像的邊緣。本文采用Canny算子對人群目標(biāo)前景圖像進(jìn)行邊緣提取,圖6是對圖5(b)進(jìn)行邊緣檢測的結(jié)果圖。

圖6 對圖5(b)邊緣提取的結(jié)果

在提取人群目標(biāo)圖像邊緣點(diǎn)特征時(shí),本章對邊緣點(diǎn)進(jìn)行了加權(quán),將其結(jié)果作為人群特征,用于后續(xù)的人數(shù)估計(jì)過程。計(jì)算表達(dá)式如下:

(9)

式中的wr(i,j)表示坐標(biāo)為(i,j)的像素點(diǎn)的權(quán)值,E表示對人群目標(biāo)前景進(jìn)行Canny算子邊緣提取的結(jié)果,通過該式計(jì)算出加權(quán)前景邊緣像素點(diǎn)的總和,即提取出了用于人數(shù)估計(jì)的人群目標(biāo)的加權(quán)邊緣點(diǎn)特征。

2.3.3 加權(quán)輪廓周長特征

對于邊界輪廓圖像,傳統(tǒng)的輪廓周長特征是統(tǒng)計(jì)輪廓像素點(diǎn)的個(gè)數(shù),由于魚眼圖像成像的特殊性,以及本文采用的魚眼透視加權(quán)模型,在提取人群目標(biāo)圖像輪廓周長特征時(shí),對輪廓像素點(diǎn)進(jìn)行了加權(quán),將其結(jié)果作為人群特征之一,用于后續(xù)人數(shù)估計(jì)過程。計(jì)算表達(dá)式如下:

(10)

式中:wr(i,j)表示坐標(biāo)為(i,j)的像素點(diǎn)的權(quán)值,C表示基于八鄰域邊界跟蹤算法得到的人群目標(biāo)前景的輪廓,通過該式計(jì)算出加權(quán)人群目標(biāo)的輪廓周長,即提取出了用于人數(shù)估計(jì)的人群目標(biāo)的加權(quán)輪廓周長特征,如圖7所示。

圖7 對圖5(b)輪廓提取的結(jié)果

2.3.4 加權(quán)KLT角點(diǎn)數(shù)特征

角點(diǎn)是指圖像中局部灰度值變化劇烈的點(diǎn)或是邊緣曲線上具有較大曲率的像素點(diǎn)[6]。作為圖像的主要特征之一,能夠表征人群中的人數(shù)信息,通常人數(shù)較多時(shí),人群具有層次性,角點(diǎn)較多,反之,角點(diǎn)較少,且角點(diǎn)具有旋轉(zhuǎn)不變性,不隨光照情況發(fā)生變化,并能夠減少計(jì)算的數(shù)據(jù)量,因此,本文將角點(diǎn)也作為人群目標(biāo)的特征之一,用于人數(shù)的估計(jì)。

目前,圖像中應(yīng)用比較廣泛的角點(diǎn)檢測算法較多,本文采用KLT算法對人群圖像進(jìn)行角點(diǎn)檢測。

KLT角點(diǎn)檢測的算法原理基于一個(gè)N×N的Hessian對稱矩陣,如式(11)所示:

(11)

Hessian矩陣中特征值大的像素點(diǎn)所對應(yīng)的特征向量代表該點(diǎn)的曲率大的方向,當(dāng)圖像中某像素點(diǎn)的特征值滿足一定條件時(shí)就被可以被看作是角點(diǎn)。KLT角點(diǎn)檢測的具體過程如下[3]:

Step 1 計(jì)算圖像中各像素點(diǎn)(i,j)在水平和垂直兩個(gè)方向的差分值:

(12)

Step2 設(shè)以像素點(diǎn)(i,j)為中心的K·K鄰域R,計(jì)算區(qū)域R內(nèi)的2維Hessian矩陣H(R)的特征值λ1和λ2,并使λ(i,j)=MIN(λ1,λ2)。

(13)

Step3 記錄λ(i,j)大于閾值T的像素點(diǎn)的位置,將這些點(diǎn)作為候選點(diǎn)保存。

Step4 對各個(gè)候選點(diǎn)進(jìn)行局部非極大值抑制,窗口大小為H·H,去除偽特征角點(diǎn),保留鄰域內(nèi)存在的最大特征值的像素點(diǎn)。

Step5 將所有的特征點(diǎn)按最大特征值從大到小的順序進(jìn)行排序,選出響應(yīng)函數(shù)值大的若干個(gè)點(diǎn)作為最終的檢測角點(diǎn)。最后剩余的像素點(diǎn)就是所要求的角點(diǎn)。

選取K=5,H=8,T=1,圖8是角點(diǎn)檢測的示意圖,顯示了對圖5(a)進(jìn)行KLT角點(diǎn)檢測的檢測結(jié)果,圖中用紅色十字標(biāo)注明角點(diǎn)所在的位置。

圖8 對圖5(a)進(jìn)行KLT角點(diǎn)檢測的結(jié)果

由于文中采用的是魚眼透視加權(quán)模型,在提取人群目標(biāo)圖像角點(diǎn)特征時(shí),對角點(diǎn)數(shù)進(jìn)行了加權(quán),將其結(jié)果作為人群特征,用于后續(xù)人數(shù)估計(jì)過程。計(jì)算表達(dá)式如下:

(14)

式中的wr(i,j)表示坐標(biāo)為(i,j)的像素點(diǎn)的權(quán)值,H表示檢測到的人群目標(biāo)角點(diǎn)坐標(biāo)集合,通過該式計(jì)算出加權(quán)人群目標(biāo)的KLT角點(diǎn)數(shù),即提取出了用于人數(shù)估計(jì)的人群目標(biāo)的加權(quán)角點(diǎn)特征。

2.4 基于多元線性回歸的人數(shù)估計(jì)[4]

在建立一個(gè)多元線性回歸模型以統(tǒng)計(jì)魚眼監(jiān)控圖像人群人數(shù)時(shí),本文利用了已知的人群目標(biāo)的特征矢量以及每組特征矢量對應(yīng)的人數(shù),將它們分別作為自變量矢量和因變量矢量。

本文的回歸模型是四元線性模型,所用的自變量矢量是提取的人群目標(biāo)4個(gè)特征S、NEdge、Ncontour和NKLT值組成的特征矢量,四元回歸模型如式(15)所示:

yi=α0+α1x1i+α2x2i+α3x3i+α4x4i+ε i=1,2,…,N

(15)

(16)

圖9 基于透視加權(quán)模型的魚眼圖像人群人數(shù)估計(jì)結(jié)果圖

3 實(shí)驗(yàn)結(jié)果及分析

本文共有6段視頻用于實(shí)驗(yàn)驗(yàn)證,其中3段視頻用于回歸函數(shù)的訓(xùn)練,另外3段視頻用于測試,且視頻中多數(shù)樣本圖像的人群分別處于稀疏中等、中等密集、密集狀態(tài)。本文在訓(xùn)練和測試時(shí),對視頻進(jìn)行了采樣處理,每隔1 s采樣一次,即每隔25幀采樣一幀圖像作為訓(xùn)練或測試樣本,訓(xùn)練樣本數(shù)為300,3段測試視頻的圖像樣本數(shù)分別為99、99和100。

圖9(a)～9(c)分別是3段測試視頻的人群人數(shù)估計(jì)結(jié)果的曲線圖,從圖中可以看出,利用本章方法對魚眼監(jiān)控視頻段進(jìn)行的人數(shù)估計(jì),其結(jié)果與實(shí)際人數(shù)接近,曲線比較吻合。其中,視頻1樣本圖像中的人群大多處于稀疏中等狀態(tài),視頻2的人群樣本圖像多呈現(xiàn)中等密集狀態(tài),而視頻3的樣本圖像則較多的處于密集狀態(tài),3段測試視頻的估計(jì)誤差分別是7.39%、9.21%、4.98%,由于誤差計(jì)算公式中,實(shí)際人數(shù)作為分式的分母,而密集人群中實(shí)際人數(shù)值較大,因此人群處于密集狀態(tài)的視頻樣本是3段測試視頻中估計(jì)誤差最小的。

4 總結(jié)與展望

本文利用魚眼鏡頭對人群中人數(shù)進(jìn)行研究和分析。經(jīng)過對原始圖像預(yù)處理、人群目標(biāo)前景圖像分割處理,基于魚眼圖像的透視加權(quán)模型,提取出了人群目標(biāo)的4個(gè)特征,即加權(quán)面積、加權(quán)邊緣點(diǎn)、加權(quán)周長和加權(quán)KLT角點(diǎn)數(shù),并結(jié)合多元線性回歸法對人群人數(shù)進(jìn)行了估計(jì)。經(jīng)實(shí)驗(yàn)計(jì)算分析證實(shí):本文所用的人群人數(shù)估計(jì)方法是有效的,能夠很好地應(yīng)用到人群監(jiān)控領(lǐng)域。

[1]胡學(xué)敏. 基于視頻圖像的密集人群智能監(jiān)控關(guān)鍵技術(shù)的研究[D]. 武漢:武漢大學(xué),2012.

[2]萬纓,韓毅,盧漢清. 運(yùn)動目標(biāo)檢測算法的探討[J]. 計(jì)算機(jī)仿真,2006,23(10):221-226.

[3]鄒昌松. 基于KLT特征點(diǎn)的圖像檢索技術(shù)研究[D]. 大連:大連理工大學(xué),2010.

[4]柏超. 線性回歸模型回歸系數(shù)的平衡LS估計(jì)及預(yù)測[D]. 湖南大學(xué),2006.

[5]Chow W T S,Cho S Y. Industrial Neural Vision System for Underground Railway Station Platform Surveillance[J]. Advanced Engineering Informatics. 2002,16(1):73-83.

[6]Huang C,Ai H Z,LI Yuan,et al. High-Performance Rotation Invariant Multiview Face Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2007,29(9):1112-1123.

[7]Anthony C Davies,Yin J H,Velastin S A. Crowd Monitoring Using Image Processing[J]. Electronic and Communications Engineering Journal,1995,7(1):37-47.

[8]Fruin J J. Crowd Dynamics and the Design and Management of Public Place[C]//J Pauls(Ed. ),Int. Conf. on Building Use and Safety Technology. National Institute of Building Scenes,Washington DC,1985:110-11.

[9]Rahmalan H,Nixon M S,Carter J N. On Crowd Density Estimation for Surveillance[J]. The Institution of Engineering and Technology Conference on Crime and Security,2006:540-545.

韓迎輝(1973-),男,講師,主要研究方向?yàn)樾盘柼幚?圖形圖像處理。

ResearchonEstimationAlgorithmofCrowdCountingBasedonFisheyeVideoImage

HANYinghui1*,FULin2

(1.Changzhou Institute of Light Industry Technology,Changzhou Jiangsu 213164,China;2.Huaneng Geermu Photovolt Energy Development Co. Ltd,Qinhai Geermu 816099,China)

In some public places,the statistics about the number of people is an important problem in security field. In order to receive large perspective,to get more useful video information,considering real-time and monitoring costs,this paper used a fisheye lens to monitor population. In order to make all the field of view imaging features image in the finite size of the surface,the designer introduced the barrel distortion artificially. At the same time,because the actual scenery through a fisheye lens,will produce the pixels with different weight,in the process of crowd counting based on fisheye video image,four features including weighted area,weighted edge density,weighted KLT corner number and weighted contour perimeter are extracted based on the perspective weight model of fisheye camera,and polynary linear regression combined with these features is applied for crowd counting in fisheye images. The experimental results are quite good.

fisheye video image;counting;perspective weight model;polynary linear regression

2014-01-08修改日期:2014-03-08

TP391.41

:A

:1005-9490(2014)06-1111-05

10.3969/j.issn.1005-9490.2014.06.021