基于特征的地鐵門與安全門間隙異物檢測方法

張嘉超,張 偉

(1. 南京工程學(xué)院人工智能產(chǎn)業(yè)技術(shù)研究院, 江蘇 南京 211167;2. 南京康尼機(jī)電股份有限公司, 江蘇 南京 210009)

軌道交通作為公共交通的重要載體,是城市社會經(jīng)濟(jì)快速發(fā)展的堅(jiān)實(shí)基礎(chǔ)之一.隨著城市軌道交通線路的快速增長以及軌道行業(yè)的高速發(fā)展,一些問題逐漸顯現(xiàn),其中安全運(yùn)營問題最受關(guān)注.目前我國城市軌道交通站點(diǎn)安全門與地鐵車門間存在150～340 mm不等的間隙[1-2],當(dāng)乘客在客流量大或者非正常擁擠進(jìn)入即將關(guān)閉的地鐵車門時,此間隙存在人或物被夾擠/遺留在兩門之間的可能性.為避免上述事故發(fā)生,國內(nèi)軌道交通領(lǐng)域利用在安全門與地鐵車門之間增加防夾裝置進(jìn)行安全防范[3-4],除投入使用的防夾擋板、防爬架等物理防夾裝置外,還通過一些自動檢測技術(shù)進(jìn)行障礙物檢測.目前地鐵車門和安全門之間的異物入侵檢測主要采用基于紅外光幕探測儀、激光掃描儀以及計(jì)算機(jī)視覺的檢測方法等[5-7].

特征提取和匹配廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測、全景成像等實(shí)際應(yīng)用中[8].本文提出一種基于關(guān)鍵特征匹配的地鐵車門與安全門間隙的異物檢測方法,采用加速穩(wěn)健特征(speeded up robust features,SURF)算法對檢測圖像與參考圖像進(jìn)行特征提取與匹配后,對特征匹配對中的誤匹配點(diǎn)進(jìn)行有效剔除,提煉出用于后續(xù)異物檢測的關(guān)鍵匹配點(diǎn);借助關(guān)鍵匹配特征點(diǎn)相對數(shù)量及特征點(diǎn)分布面積等信息對檢測區(qū)域進(jìn)行異物檢測.

1 SURF算法原理

SURF 算法是一種穩(wěn)健的局部特征點(diǎn)檢測和描述算法,是對尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)算法的改進(jìn),在特征提取任務(wù)中具有較好性能[9].通過簡化Hessian矩陣行列式中的高斯二階微分模板以降低計(jì)算消耗[6],SURF算法在保持尺度和旋轉(zhuǎn)不變性的同時,降低了算法計(jì)算成本,為算法在實(shí)時計(jì)算機(jī)視覺系統(tǒng)中的應(yīng)用提供了可能.SURF算法大致分為特征點(diǎn)定位、特征描述子選取以及特征點(diǎn)匹配三部分.本文采用SURF算法對地鐵車門與安全門間隙的異物視頻監(jiān)控圖像進(jìn)行特征提取,進(jìn)而實(shí)現(xiàn)異物入侵檢測.

1.1 特征點(diǎn)定位

SURF算法采用Hessian矩陣進(jìn)行特征提取,Hessian矩陣可以生成穩(wěn)定的邊緣點(diǎn)以便于圖像特征提取.在進(jìn)行Hessian矩陣構(gòu)造前,需要先對圖像進(jìn)行高斯濾波,通常選用標(biāo)準(zhǔn)的二階高斯函數(shù)作為濾波器.對于圖像I中像素點(diǎn)(x,y),其對應(yīng)的Hessian矩陣為:

(1)

H(x,y,δ)的行列式值為:

(2)

為減小計(jì)算量、提高運(yùn)算速度,SURF算法采用盒式濾波器來近似代替高斯濾波器.盒式濾波器通過將高斯濾波器的濾波權(quán)重系數(shù)簡化,將圖像的卷積運(yùn)算簡化為計(jì)算圖像不同區(qū)域間像素和的加減運(yùn)算.具體而言,SURF算法只使用{-2,-1,0,1}集合中元素來設(shè)計(jì)盒式濾波器,將整體計(jì)算過程簡化.經(jīng)盒式濾波器濾波后,式(2)可簡化為:

det(Happrox)=DxxDyy-(wDxy)2

(3)

在獲得Hessian矩陣后,采用不斷增大盒式濾波模板尺寸的方法來獲得不同尺度的圖像,由此構(gòu)建尺度空間.SURF算法尺度空間分為四組,每組包含四層.每組四層的濾波模板尺寸按照給定的步長增加,第一組到第四組層間濾波模板尺寸分別按6、12、24、48的步長增加.具體而言,SURF算法采用9×9的濾波模板作為起始尺寸對圖像進(jìn)行濾波,其結(jié)果作為初始的尺度空間層,即第一組第一層濾波模板尺寸為9×9,根據(jù)第一組給定步長增量,第一組四層濾波模板尺寸分別為9×9、15×15、21×21、27×27;第二組第一層濾波模尺寸為第一組第二層板濾波模板大小,根據(jù)對應(yīng)的步長增量,第二組的四層濾波模板尺寸分別為15×15、27×27、39×39、51×51;以此類推,第三組和第四組的四層濾波模板尺寸分別為27×27、51×51、75×75、99×99和51×51、99×99、147×147、195×195.在該算法的尺度空間中,每組任意一層包含三種盒式濾波器.

對圖像I進(jìn)行濾波后,通過Hessian行列式計(jì)算式(3)可以得到對應(yīng)尺度坐標(biāo)下的Hessian行列式值,所有的行列式值可以構(gòu)成一幅Hessian行列式圖像.SURF算法在尺度空間中選取一個3×3×3的鄰域空間進(jìn)行特征點(diǎn)選取,中間層的每個Hessian行列式值作為特征候選點(diǎn).將每個特征候選點(diǎn)與本層及相鄰兩層點(diǎn)的Hessian行列式值進(jìn)行比較,若該點(diǎn)的值大于其他26個點(diǎn),則認(rèn)為該點(diǎn)是特征點(diǎn).在實(shí)際應(yīng)用中,為保證特征點(diǎn)的數(shù)量及準(zhǔn)確性,一般會選取一個給定閾值,行列式值高于閾值的點(diǎn)被認(rèn)定為特征點(diǎn).

1.2 特征描述子選取

每個特征點(diǎn)被分配一個主方向以保證特征向量的旋轉(zhuǎn)不變性,特征點(diǎn)主方向也是該點(diǎn)周圍灰度變化最明顯的方向.以特征點(diǎn)為中心,半徑為6ε(ε為特征點(diǎn)的尺度)的范圍內(nèi)計(jì)算水平與垂直方向上的Haar小波響應(yīng),并將水平與垂直方向上的Haar小波響應(yīng)值進(jìn)行加權(quán)求和.在此基礎(chǔ)上,以特征點(diǎn)為中心設(shè)置一個角度為π/6的扇形滑動窗口,隨著滑動窗口的移動,統(tǒng)計(jì)當(dāng)前窗口內(nèi)小波響應(yīng)累加值,構(gòu)成一個小波響應(yīng)矢量.總和最大的小波響應(yīng)矢量方向?yàn)樵撎卣鼽c(diǎn)的主方向.

特征點(diǎn)主方向確認(rèn)后,以特征點(diǎn)為中心選定邊長為20ε的正方形區(qū)域,沿著該特征點(diǎn)主方向?qū)⒄叫螀^(qū)域劃分為4×4的子區(qū)域.在每個子區(qū)域選取5×5個均勻分布的采樣點(diǎn),計(jì)算其沿主方向與垂直于主方向的Haar小波響應(yīng)值(濾波器大小2ε),并對相應(yīng)方向的小波響應(yīng)進(jìn)行高斯加權(quán)計(jì)算,每個子區(qū)域可得到一個4維特征矢量.因此,特征描述子由一個4×4×4維的特征矢量構(gòu)成.SURF特征描述子具備尺度和旋轉(zhuǎn)不變性,且對光照變化具有魯棒性.

1.3 特征點(diǎn)匹配

在進(jìn)行特征點(diǎn)定位時,將計(jì)算得到的Hessian矩陣的跡根據(jù)符號(正負(fù))特征點(diǎn)分為兩組.特征點(diǎn)只在同組內(nèi)進(jìn)行匹配,若待匹配的兩個特征點(diǎn)在同一組,則計(jì)算兩個特征點(diǎn)描述子的歐氏距離:

人民調(diào)解協(xié)議司法確認(rèn)，是我國《人民調(diào)解法》和《民事訴訟法》共同規(guī)定的一項(xiàng)法律制度，是指人民法院依據(jù)雙方當(dāng)事人的申請，對其在人民調(diào)解委員會主持調(diào)解下達(dá)成的調(diào)解協(xié)議進(jìn)行司法審查，依法賦予該人民調(diào)解協(xié)議司法強(qiáng)制執(zhí)行力的活動。根據(jù)相關(guān)法律和司法解釋的規(guī)定，申請人民調(diào)解協(xié)議司法確認(rèn)，雙方當(dāng)事人應(yīng)當(dāng)在達(dá)成調(diào)解協(xié)議后30天內(nèi)，共同向人民法院提出申請。人民法院受理后，指定一名審判人員進(jìn)行司法審查。經(jīng)審查，認(rèn)為符合法律規(guī)定的，予以司法確認(rèn)；不符合法律規(guī)定的，不予確認(rèn)。

(4)

式中:Xik為參考圖像第i個特征點(diǎn)描述子的第k個元素;Yjk為目標(biāo)圖像第j個特征描述子的第k個元素;n為描述子的維數(shù).

通常會將歐式距離與選定閾值比較,若小于選定閾值則認(rèn)為該組特征點(diǎn)為一組匹配點(diǎn),反之則剔除.但這種方法會導(dǎo)致產(chǎn)生大量誤匹配點(diǎn),可采取最鄰近距離比值法 (nearest neighbor distance ratio,NNDR)等方法來消除錯誤匹配[10].

2 基于特征的間隙異物檢測方法

本文提出一種基于SURF特征提取與匹配算法的地鐵車門與安全門間隙的異物檢測方法,算法框架如圖1所示.首先將參考圖像及待檢測視頻幀中的待檢測區(qū)域(地鐵車門與安全門間隙)劃分為N個子塊(一般而言,N=4或者N=8),分別對子塊進(jìn)行特征提取;然后將對應(yīng)子塊進(jìn)行特征匹配,得到的特征匹配點(diǎn)數(shù)及匹配點(diǎn)所處位置將用于后續(xù)異物檢測.由于直接通過SURF算法進(jìn)行特征匹配易產(chǎn)生誤匹配點(diǎn),因此提出一種簡單、有效的誤匹配點(diǎn)剔除方法,以得到較為準(zhǔn)確的特征點(diǎn)匹配對.

圖1 本文提出方法框架圖

2.1 誤匹配點(diǎn)剔除

NNDR算法依據(jù)局部區(qū)域臨近特征點(diǎn)區(qū)分度低理論,通過計(jì)算特征描述子之間的最小歐式距離Di,j與次小歐式距離Di,j′比值來篩除誤匹配點(diǎn),計(jì)算式為:

(5)

將得到的比值η與設(shè)定閾值ηε(一般而言,ηε為0.4～0.7)比較,若η>ηε,則該特征對為誤匹配對.在采用NNDR算法剔除誤匹配點(diǎn)后,會存在參考圖像中一個特征點(diǎn)和目標(biāo)圖像的多個特征點(diǎn)相匹配情況,在實(shí)際應(yīng)用過程中需進(jìn)一步對一對多中的誤匹配對進(jìn)行刪除.

假定參考圖像中的第t個特征點(diǎn)Xt在目標(biāo)圖像中對應(yīng)的匹配點(diǎn)有Ym、Ym+1、Ym+2、…、Ym+n.在NNDR算法中,已求取最小歐式距離匹配點(diǎn),Ys=argmin{dist(XtYm),dist(XtYm+1),…,dist(XtYm+n)}(s∈(m,m+n);同理,存在次小歐式距離匹配點(diǎn)Ys′(s′≠s∈(m,m+n)).進(jìn)行如下計(jì)算:

(6)

式中:(xs,ys)為Ys像素坐標(biāo);(xs′,ys′)為Ys′像素坐標(biāo);(xi,yi)為Yi像素坐標(biāo);i∈(m,m+n)且i≠s≠s′.

將所得比值θs,i與設(shè)定閾值θε進(jìn)行比較,若θs,j>θε,則該特征點(diǎn)為誤匹配點(diǎn);若θs,j≤θε,則該匹配點(diǎn)作為有效匹配點(diǎn).

2.2 異物檢測

分塊后的異物檢測區(qū)域經(jīng)過對應(yīng)的特征提取與匹配及誤匹配點(diǎn)刪除后進(jìn)行異物檢測,流程如圖2所示.對于參考圖像中的檢測塊Ao(o∈(1,N))和目標(biāo)圖像中的檢測塊Bo(o∈(1,N)),經(jīng)過特征提取與匹配以及誤匹配點(diǎn)刪除后可得到特征點(diǎn)數(shù)目po(也可稱之為匹配對數(shù)目),將其與標(biāo)準(zhǔn)參考值pκ進(jìn)行比較,pκ根據(jù)待檢測視頻初始幀(無異物狀態(tài))與參考圖像進(jìn)行特征匹配以及誤匹配點(diǎn)刪除后得出.若po<αpκ(α為可調(diào)系數(shù)),則認(rèn)定該匹配塊有異物,反之則進(jìn)行特征點(diǎn)面積分布檢測.

圖2 異物檢測流程

檢測塊中的特征點(diǎn)分布面積可以通過計(jì)算邊緣特征點(diǎn)組成的多邊形面積計(jì)算獲取,pk(k=1,2,…,M)為特征點(diǎn)邊界正向排列的頂點(diǎn),對應(yīng)的坐標(biāo)點(diǎn)為(x1,y1)、(x2,y2)、…、(xM,yM),計(jì)算公式為:

(7)

將所得的特征點(diǎn)分布面積PΩ與標(biāo)準(zhǔn)參考值PΩ′進(jìn)行比較,若PΩ<βPΩ′(其中:PΩ′為待檢測視頻初始無異物圖像與參考圖像進(jìn)行特征匹配以及誤匹配點(diǎn)刪除后所得到的特征點(diǎn)(特征匹配對)的分布面積;β為可調(diào)系數(shù)),則認(rèn)定該檢測塊存在異物,反之則表示該檢測塊不存在異物.

3 試驗(yàn)分析

為了驗(yàn)證所提出方法的有效性,采用本文方法對真實(shí)采集的圖像進(jìn)行異物檢測試驗(yàn).試驗(yàn)在Windows10系統(tǒng)的Matlab平臺進(jìn)行.試驗(yàn)對象地鐵車門和安全門1∶1仿真系統(tǒng)由南京康尼機(jī)電股份有限公司提供.捕獲檢測視頻的試驗(yàn)相機(jī)以30 fps拍攝,分辨率為1 920×1 080.為提升檢測效率,從視頻中每10幀均勻采樣1幀進(jìn)行檢測,即每1目標(biāo)幀的異物存在狀態(tài)代表相鄰10幀的檢測結(jié)果.

圖3為試驗(yàn)組一的參考圖像與目標(biāo)圖像,方形框內(nèi)為待檢測分塊區(qū)域,劃分為4個檢測子塊(N=4).表1為各檢測區(qū)域中的特征點(diǎn)數(shù)量比值與特征點(diǎn)面積分布比值.由表1可見,檢測塊1與檢測塊2的特征點(diǎn)數(shù)量比值與特征點(diǎn)面積分布比值均大于閾值0.7,因此該部分均判定為無異物入侵;檢測塊3與檢測塊4的特征點(diǎn)數(shù)量比值分別為0.422與0.102,均小于0.7,表明這兩部分的特征點(diǎn)對比初始無異物時匹配對發(fā)生了大幅縮減,存在異物入侵的可能性大,根據(jù)算法判定該目標(biāo)圖像有異物存在,且異物存在于第3和第4檢測塊.

(a) 參考圖像

(b) 目標(biāo)圖像

表1 試驗(yàn)組一異物檢測結(jié)果( α=0.7,β=0.7)

圖4為試驗(yàn)組二的參考圖像與目標(biāo)圖像,同樣將待檢測區(qū)域劃分為4個子塊.表2為各檢測區(qū)域中的特征點(diǎn)數(shù)量比值與特征點(diǎn)面積分布比值.由表2可見,檢測塊1和檢測塊4的特征點(diǎn)數(shù)量比值與面積分布比值均大于閾值,判定該區(qū)域無異物存在;檢測塊2特征點(diǎn)數(shù)量比值小于閾值,表示該部分特征點(diǎn)發(fā)生大幅縮減,存在異物入侵的可能;檢測塊3特征點(diǎn)數(shù)量比值大于閾值,但是特征點(diǎn)面積分布小于閾值,表明該部分特征點(diǎn)分布與無異物存在時分布差異較大,該目標(biāo)圖像的檢測結(jié)果為存在異物,且存在于第2和第3檢測塊中.試驗(yàn)過程中為便于比較,特征點(diǎn)面積分布比值已經(jīng)歸一化處理.

(a) 參考圖像

(b) 目標(biāo)圖像

表2 試驗(yàn)組二異物檢測結(jié)果(α=0.7,β=0.7)

由試驗(yàn)可知,本文算法可對地鐵車門與安全門系統(tǒng)間的縫隙進(jìn)行異物檢測并能夠完成初步定位,滿足實(shí)際工程需要.但本文方法也具有一定的局限性,僅對較為明顯的物體能夠進(jìn)行有效檢測,對于較小的物體無法實(shí)現(xiàn)檢測,這是由于算法依賴特征點(diǎn)檢測,當(dāng)異物相對于待檢測區(qū)域所占面積比例很小時,特征點(diǎn)數(shù)量及分布面積幾乎不會發(fā)生變化,因此無法進(jìn)行有效檢測.

4 結(jié)語

本文提出一種基于關(guān)鍵特征匹配的地鐵車門與安全門間隙的異物檢測方法.首先將待檢測圖像與參考圖像進(jìn)行特征提取與匹配;然后為提升匹配準(zhǔn)確率,對特征匹配對中的誤匹配點(diǎn)進(jìn)行有效剔除,從而提煉出關(guān)鍵匹配點(diǎn);最后借助匹配特征點(diǎn)相對數(shù)量及特征點(diǎn)面積分布對待檢測區(qū)域進(jìn)行異物檢測.試驗(yàn)結(jié)果表明,本文方法可有效地對地鐵車門與安全門間隙進(jìn)行異物入侵檢測,對于軌道交通安全運(yùn)營具有一定的實(shí)際應(yīng)用價值.