基于監(jiān)控視頻信號(hào)的電梯門運(yùn)動(dòng)軌跡識(shí)別算法

張 媛，李 巖，安婷婷，華志超，臧 坤，李雙全

(1.江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院無錫分院,江蘇 無錫 214174)(2.東南大學(xué)自動(dòng)化學(xué)院,江蘇 南京 210096)

資料顯示，居民小區(qū)中電梯安全事故頻繁發(fā)生，且由電梯門引起的安全事故占有較大的比重[1]。電梯門引起的故障主要包括電梯門開關(guān)異常以及電梯門開關(guān)不夠標(biāo)準(zhǔn)等[2]。與電梯門有關(guān)的故障會(huì)提前體現(xiàn)在電梯門的運(yùn)動(dòng)軌跡上[3]。使用計(jì)算視覺技術(shù)對(duì)電梯門的運(yùn)動(dòng)軌跡進(jìn)行識(shí)別能夠及時(shí)發(fā)現(xiàn)電梯門系統(tǒng)的異常。

針對(duì)電梯門運(yùn)動(dòng)軌跡識(shí)別的課題，文獻(xiàn)[4]提出了背景差分法，其基本思想是首先得到背景模型，然后把當(dāng)前采集到的圖像與背景模型進(jìn)行差分來識(shí)別電梯門邊緣，缺點(diǎn)是該算法受外界的光線、噪聲等影響較大；文獻(xiàn)[5]提出了幀間差分法，其基本思想是通過對(duì)視頻流中相鄰或相近的兩幅圖像進(jìn)行差分來獲取運(yùn)動(dòng)物體的輪廓，進(jìn)而識(shí)別出電梯門的邊框。該算法運(yùn)算量小、速度快，缺點(diǎn)是準(zhǔn)確度不高。文獻(xiàn)[6]提出了光流法，通過計(jì)算速度矢量來判別圖像的前景與背景，在背景變化的場(chǎng)合適用性較強(qiáng)，缺點(diǎn)是計(jì)算量較大，很難達(dá)到電梯門運(yùn)動(dòng)軌跡實(shí)時(shí)檢測(cè)的要求。文獻(xiàn)[7]～[9]提出的Mean-shift算法基于特征概率密度，以前一幀圖像中目標(biāo)的位置為起點(diǎn)進(jìn)行搜索，獲取到的特征概率密度最大的搜索框即為識(shí)別到的目標(biāo)。該算法的缺點(diǎn)是過分依賴前幀數(shù)據(jù)的信息，當(dāng)出現(xiàn)前幀數(shù)據(jù)丟失時(shí)會(huì)造成較大的識(shí)別誤差。以上算法對(duì)電梯門運(yùn)動(dòng)軌跡的識(shí)別效果均不夠理想。

本文以邊緣檢測(cè)和閾值分割的思想為基礎(chǔ)，提出了一種精度較高的電梯門運(yùn)動(dòng)軌跡識(shí)別算法，并對(duì)電梯門的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，依據(jù)預(yù)測(cè)軌跡構(gòu)建類高斯加權(quán)模型對(duì)原算法進(jìn)行改進(jìn)，使算法具有較強(qiáng)的魯棒性。

1 電梯門運(yùn)動(dòng)軌跡識(shí)別算法設(shè)計(jì)

1.1 基于邊緣檢測(cè)和閾值分割的電梯門識(shí)別算法設(shè)計(jì)

邊緣是圖像中亮度發(fā)生突變的像素點(diǎn)的集合，它是圖像的最基本特征之一[10]。針對(duì)電梯門的運(yùn)動(dòng)軌跡，可以使用簡(jiǎn)單的水平梯度來檢測(cè)電梯門邊框的效果。本文定義圖像I在第x列的水平梯度為D(I,x)：

(1)

式中：H為圖像高度。

水平梯度均值越大的地方存在電梯門邊緣的可能性越大，該方法對(duì)線狀噪聲干擾比較敏感，對(duì)于均勻的面狀噪聲抗干擾能力較強(qiáng)。 閾值分割方法的基本思想是確定一個(gè)或多個(gè)閾值，然后把像素劃分為兩類或多類。閾值分割結(jié)果的好壞主要依賴于分割閾值的選擇是否合適[11]。針對(duì)左右兩邊門運(yùn)動(dòng)軌跡分析，根據(jù)最大類間方差法閾值分割的原理，對(duì)于一個(gè)高H、寬W的圖像I，當(dāng)用水平位置為x的豎線將其分為左右兩類時(shí)，本文定義其類間方差函數(shù)為V(I,x,y):

V(I,x,y)=A+B+C

(2)

式中：

使得V(I,x,y)取得最大值的x，y值即為電梯門邊緣的位置。研究表明，基于閾值分割的電梯門識(shí)別算法對(duì)線性噪聲的抗干擾能力較強(qiáng)，但是對(duì)面狀噪聲比較敏感。

鑒于邊緣檢測(cè)和閾值分割兩種算法具有不同的優(yōu)勢(shì)，本文將二者進(jìn)行結(jié)合。針對(duì)一維的類間方差函數(shù)V(I,x)與一維的水平梯度函數(shù)D(I,x)，本文假定兩種算法所占權(quán)重相同，將類間方差函數(shù)V(I,x)除以其最大值得到百分化的類間方差函數(shù)V%(I,x)，同理得到百分化的水平梯度函數(shù)D%(I,x):

(3)

(4)

對(duì)于二維的類間方差函數(shù)V(I,x,y)和一維的水平梯度函數(shù)D(I,x)，將V(I,x,y)百分化得V%(I,x,y)，表示左右電梯門邊緣分別在x和y位置的可能性。

V%(I,x,y)=

(5)

類間方差函數(shù)和水平梯度函數(shù)二者取均值，得綜合性描述電梯門邊緣存在可能性的函數(shù)為：

(6)

1.2 以預(yù)測(cè)位置為中心進(jìn)行類高斯加權(quán)的電梯門運(yùn)動(dòng)軌跡識(shí)別算法設(shè)計(jì)

對(duì)電梯門運(yùn)動(dòng)軌跡識(shí)別有嚴(yán)重影響的干擾有3類：線狀噪聲、面狀噪聲、運(yùn)動(dòng)噪聲[12]。線狀噪聲為具有明顯豎直邊緣的噪聲；面狀噪聲為圖像中區(qū)域性干擾物；運(yùn)動(dòng)噪聲為圖像中其他的運(yùn)動(dòng)物體。本文構(gòu)建電梯門的運(yùn)動(dòng)模型對(duì)其運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，然后以預(yù)測(cè)位置為中心對(duì)下一幀圖像中的電梯門邊緣進(jìn)行識(shí)別，能夠有效地提高算法識(shí)別的準(zhǔn)確度和魯棒性。采用局部窗口多項(xiàng)式擬合模型對(duì)電梯門運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)：

x(k)=f[p,x(k-1),x(k-2),…,x(k-q)]

(7)

式中：離散序列x(1),x(2),…,x(k-1),x(k)為電梯門邊緣在每一幀視頻中的位置；p為待擬合的多項(xiàng)式的階數(shù)；q為選取的用來擬合的數(shù)據(jù)窗口長(zhǎng)度；f為計(jì)算下一序列的值的方法。依據(jù)p是否為1可將該模型分為線性模型和非線性模型，根據(jù)q是否是固定長(zhǎng)度可將模型分為固定窗口模型和變窗口模型。

當(dāng)運(yùn)動(dòng)預(yù)測(cè)模型為p階q幀窗口預(yù)測(cè)模型時(shí)，運(yùn)動(dòng)軌跡模型如下：

Fp(x)=a0+a1x+a2x2+…+apxp

(8)

電梯門在q幀視頻的位置可以得到q組待擬合數(shù)據(jù)(xi,yi),i=1,2,…,q。多項(xiàng)式系數(shù)a0,a1,…,ap使

(9)

取得極小值，因此有方程組：

(10)

整理可得：

(11)

式中：xi為視頻幀數(shù)；yi為第i幀電梯門的位移。當(dāng)q>p時(shí)，可根據(jù)高斯消元法求得運(yùn)動(dòng)軌跡模型的系數(shù)，從而預(yù)測(cè)出第(q+1)幀時(shí)電梯門的位移，即Fp(q+1)。

電梯門運(yùn)動(dòng)軌跡預(yù)測(cè)模型建立后，為了使用運(yùn)動(dòng)軌跡預(yù)測(cè)模型對(duì)電梯門邊緣識(shí)別結(jié)果進(jìn)行矯正，本文借鑒高斯函數(shù)提出一種類高斯加權(quán)函數(shù)來描述識(shí)別結(jié)果的置信度，公式如下：

(12)

式中：μ為預(yù)測(cè)得到的電梯門邊緣的位置；σ為視具體應(yīng)用環(huán)境而定的模型因子。在x=μ處峰值恒定為1，表示置信度最高。x越遠(yuǎn)離μ，置信度越低。因此，算法識(shí)別結(jié)果越靠近預(yù)測(cè)位置其結(jié)果置信度越高。使用類高斯加權(quán)模型對(duì)電梯門運(yùn)動(dòng)軌跡矯正，其一維描述和二維描述分別如下：

G(I,x)=W(x,μ,σ)F(I,x)=

(13)

G(I,x,y)=W(x,y,μ,σ)F(I,x,y)=

(14)

式中：μ，v分別為預(yù)測(cè)得到的電梯門左右邊緣的位置。

2 實(shí)驗(yàn)結(jié)果及分析

首先，對(duì)電梯監(jiān)控視頻信號(hào)進(jìn)行灰度化處理后，采集電梯門邊緣局部圖像。雙邊門邊緣如圖1所示。

圖1 電梯門局部圖像截取

基于水平梯度的邊緣檢測(cè)算法，雙邊門局部圖像的D(I,x)-x列平均梯度值分布及識(shí)別效果如圖2所示，其中兩個(gè)峰值即為雙邊電梯門邊框的識(shí)別結(jié)果。

將基于水平梯度的邊緣檢測(cè)算法應(yīng)用于電梯開關(guān)門的完整視頻中，運(yùn)動(dòng)軌跡識(shí)別效果如圖3所示?？梢钥闯鲭娞蓍T運(yùn)動(dòng)軌跡識(shí)別結(jié)果抖動(dòng)較大，容易受到外界線性噪聲的影響。

圖2 邊緣檢測(cè)算法的電梯門識(shí)別效果圖

圖3 基于水平梯度的邊緣檢測(cè)算法運(yùn)動(dòng)軌跡識(shí)別圖

基于閾值分割的電梯門運(yùn)動(dòng)軌跡識(shí)別算法， 其V(I,x,y)-(x,y)類間方差值與左右兩條分割線位置的關(guān)系及識(shí)別效果如圖4所示，其中圖4(a)橫縱坐標(biāo)值(x,y)即為識(shí)別出的電梯門邊緣的位置。

將基于閾值分割的電梯門運(yùn)動(dòng)軌跡識(shí)別算法應(yīng)用到電梯連續(xù)的開關(guān)門視頻中，識(shí)別效果如圖5所示。

由圖可知，圖中A處右門最終位移與圖3稍有偏差，分析原因發(fā)現(xiàn)是受到相近灰度背景干擾導(dǎo)致的誤識(shí)別造成(如圖6所示)?？梢娫撍惴▽?duì)灰度與電梯門相近的面狀噪聲的抗干擾能力較弱。圖中以B處為代表的線性噪聲波動(dòng)較小，可知基于閾值分割的電梯運(yùn)動(dòng)軌跡識(shí)別算法對(duì)線性噪聲的抗干擾能力較強(qiáng)。

圖4 閾值分割算法的電梯門識(shí)別效果圖

圖5 基于閾值分割的電梯門運(yùn)動(dòng)軌跡識(shí)別算法效果圖

圖6 閾值分割識(shí)別算法的誤識(shí)別

針對(duì)雙邊電梯門運(yùn)動(dòng)軌跡識(shí)別的二維疊加算法，F(xiàn)(I,x,y)-(x,y)關(guān)系如圖7所示，與圖4相比可以發(fā)現(xiàn)峰值更加明顯，橫縱坐標(biāo)即識(shí)別到的雙邊電梯門邊框。識(shí)別效果如圖8所示。

圖7 二維疊加F(I,x,y)-(x,y)圖像

圖8 F(I,x,y)函數(shù)識(shí)別兩條邊緣結(jié)果

將基于邊緣檢測(cè)與閾值分割的二維疊加算法應(yīng)用于電梯開關(guān)門視頻中，其運(yùn)動(dòng)軌跡識(shí)別效果如圖9所示?？梢钥闯觯撍惴葲]有出現(xiàn)圖5中誤識(shí)別的情況，識(shí)別效果也較圖3更穩(wěn)定。但邊緣門識(shí)別仍然受到噪聲的干擾，算法的魯棒性有待加強(qiáng)。

圖9 基于二維疊加算法的電梯門運(yùn)動(dòng)軌跡識(shí)別效果圖

將以預(yù)測(cè)位置為中心進(jìn)行類高斯加權(quán)的閾值分割與邊緣檢測(cè)混合算法應(yīng)用于完整視頻檢測(cè)中，得到了良好的效果，圖10展示了在預(yù)測(cè)模型中使用不同擬合階數(shù)和窗口長(zhǎng)度的電梯門運(yùn)動(dòng)軌跡識(shí)別結(jié)果，可看出該算法很好地克服了線性干擾和面性干擾，識(shí)別結(jié)果穩(wěn)定且準(zhǔn)確。

圖10 應(yīng)用不同參數(shù)預(yù)測(cè)模型的電梯門運(yùn)動(dòng)軌跡識(shí)別結(jié)果

鑒于電梯的使用環(huán)境，運(yùn)動(dòng)的乘客會(huì)對(duì)電梯門邊緣的識(shí)別產(chǎn)生干擾(如圖11所示)。因此使用類高斯加權(quán)函數(shù)(如圖12所示)對(duì)原始列灰度統(tǒng)計(jì)(如圖13所示)進(jìn)行加權(quán)，得到圖14，可見該算法能夠顯著地弱化運(yùn)動(dòng)噪聲的干擾，具有較高的魯棒性。

圖11 包含運(yùn)動(dòng)噪聲的幀間差分圖

圖12 原始列灰度統(tǒng)計(jì)圖

圖13 二維類高斯加權(quán)函數(shù)

圖14 加權(quán)后列灰度統(tǒng)計(jì)圖

3 結(jié)束語

本文將邊緣檢測(cè)、閾值分割和運(yùn)動(dòng)軌跡預(yù)測(cè)的思想相結(jié)合，提出了一種實(shí)用性較高的電梯門運(yùn)動(dòng)軌跡識(shí)別算法，該算法能夠有效地排除線性噪聲、面狀噪聲和運(yùn)動(dòng)噪聲的干擾，實(shí)現(xiàn)對(duì)電梯門運(yùn)動(dòng)軌跡準(zhǔn)確且穩(wěn)定的識(shí)別，充分的實(shí)驗(yàn)測(cè)試表明該算法具有良好的魯棒性。該算法能夠應(yīng)用到電梯開關(guān)門標(biāo)準(zhǔn)度識(shí)別、開關(guān)門防夾、電梯層門異常打開識(shí)別等實(shí)際應(yīng)用中。

[1] 陳真粱. 淺談電梯門系統(tǒng)事故及預(yù)防[J]. 中國(guó)新技術(shù)新產(chǎn)品, 2017(4):137,26.

[2] 萬林. 電梯設(shè)備安全性評(píng)估的研究[D]. 南京：東南大學(xué), 2016.

[3] 杜碧華, 張思宇, 楊順坤,等. 基于故障樹分析電梯門系統(tǒng)故障[J]. 設(shè)備管理與維修, 2015(3):27-28.

[4] QU Z, WEN L, TIAN N. A new video objects segmentation algorithm based on fusion of image segmentation and improved background difference[C]// Conference Anthology, IEEE. [S.l.]:IEEE, 2014:1-5.

[5] 薛麗霞, 羅艷麗, 王佐成. 基于幀間差分的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2011, 28(4):1551-1552.

[6] 肖軍, 朱世鵬, 黃杭,等. 基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法[J]. 東北大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 37(6):770-774.

[7] 李培華. 一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2009, 32(12):2454-2463.

[8] 劉惟錦, 章毓晉. 基于Kalman濾波和邊緣直方圖的實(shí)時(shí)目標(biāo)跟蹤[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2008, 48(7):1104-1107.

[9] ZHENG Y F, MA X R, ZHAO X L, et al. Mean shift target tracking algorithm based on color and edge features[J]. Journal of Optoelectronics Laser, 2011, 22(8):1231-1235.

[10] 張闖, 王婷婷, 孫冬嬌,等. 基于歐氏距離圖的圖像邊緣檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(2):176-183.

[11] 李玉峰, 李廣澤, 龍科慧. 基于自適應(yīng)邊緣閾值及方向加權(quán)的空間錯(cuò)誤隱藏算法[J]. 光學(xué)精密工程, 2016, 24(3):626-634.

[12] 劉少華, 張茂軍, 熊志輝,等. 一種魯棒高效的視頻運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法[J]. 自動(dòng)化學(xué)報(bào), 2009, 35(8):1055-1062.