張 媛,李 巖,安婷婷,華志超,臧 坤,李雙全
(1.江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院無錫分院,江蘇 無錫 214174)(2.東南大學(xué)自動(dòng)化學(xué)院,江蘇 南京 210096)
資料顯示,居民小區(qū)中電梯安全事故頻繁發(fā)生,且由電梯門引起的安全事故占有較大的比重[1]。電梯門引起的故障主要包括電梯門開關(guān)異常以及電梯門開關(guān)不夠標(biāo)準(zhǔn)等[2]。與電梯門有關(guān)的故障會(huì)提前體現(xiàn)在電梯門的運(yùn)動(dòng)軌跡上[3]。使用計(jì)算視覺技術(shù)對(duì)電梯門的運(yùn)動(dòng)軌跡進(jìn)行識(shí)別能夠及時(shí)發(fā)現(xiàn)電梯門系統(tǒng)的異常。
針對(duì)電梯門運(yùn)動(dòng)軌跡識(shí)別的課題,文獻(xiàn)[4]提出了背景差分法,其基本思想是首先得到背景模型,然后把當(dāng)前采集到的圖像與背景模型進(jìn)行差分來識(shí)別電梯門邊緣,缺點(diǎn)是該算法受外界的光線、噪聲等影響較大;文獻(xiàn)[5]提出了幀間差分法,其基本思想是通過對(duì)視頻流中相鄰或相近的兩幅圖像進(jìn)行差分來獲取運(yùn)動(dòng)物體的輪廓,進(jìn)而識(shí)別出電梯門的邊框。該算法運(yùn)算量小、速度快,缺點(diǎn)是準(zhǔn)確度不高。文獻(xiàn)[6]提出了光流法,通過計(jì)算速度矢量來判別圖像的前景與背景,在背景變化的場(chǎng)合適用性較強(qiáng),缺點(diǎn)是計(jì)算量較大,很難達(dá)到電梯門運(yùn)動(dòng)軌跡實(shí)時(shí)檢測(cè)的要求。文獻(xiàn)[7]~[9]提出的Mean-shift算法基于特征概率密度,以前一幀圖像中目標(biāo)的位置為起點(diǎn)進(jìn)行搜索,獲取到的特征概率密度最大的搜索框即為識(shí)別到的目標(biāo)。該算法的缺點(diǎn)是過分依賴前幀數(shù)據(jù)的信息,當(dāng)出現(xiàn)前幀數(shù)據(jù)丟失時(shí)會(huì)造成較大的識(shí)別誤差。以上算法對(duì)電梯門運(yùn)動(dòng)軌跡的識(shí)別效果均不夠理想。
本文以邊緣檢測(cè)和閾值分割的思想為基礎(chǔ),提出了一種精度較高的電梯門運(yùn)動(dòng)軌跡識(shí)別算法,并對(duì)電梯門的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),依據(jù)預(yù)測(cè)軌跡構(gòu)建類高斯加權(quán)模型對(duì)原算法進(jìn)行改進(jìn),使算法具有較強(qiáng)的魯棒性。
邊緣是圖像中亮度發(fā)生突變的像素點(diǎn)的集合,它是圖像的最基本特征之一[10]。針對(duì)電梯門的運(yùn)動(dòng)軌跡,可以使用簡(jiǎn)單的水平梯度來檢測(cè)電梯門邊框的效果。本文定義圖像I在第x列的水平梯度為D(I,x):
(1)
式中:H為圖像高度。
水平梯度均值越大的地方存在電梯門邊緣的可能性越大,該方法對(duì)線狀噪聲干擾比較敏感,對(duì)于均勻的面狀噪聲抗干擾能力較強(qiáng)。 閾值分割方法的基本思想是確定一個(gè)或多個(gè)閾值,然后把像素劃分為兩類或多類。閾值分割結(jié)果的好壞主要依賴于分割閾值的選擇是否合適[11]。針對(duì)左右兩邊門運(yùn)動(dòng)軌跡分析,根據(jù)最大類間方差法閾值分割的原理,對(duì)于一個(gè)高H、寬W的圖像I,當(dāng)用水平位置為x的豎線將其分為左右兩類時(shí),本文定義其類間方差函數(shù)為V(I,x,y):
V(I,x,y)=A+B+C
(2)
式中:
使得V(I,x,y)取得最大值的x,y值即為電梯門邊緣的位置。研究表明,基于閾值分割的電梯門識(shí)別算法對(duì)線性噪聲的抗干擾能力較強(qiáng),但是對(duì)面狀噪聲比較敏感。
鑒于邊緣檢測(cè)和閾值分割兩種算法具有不同的優(yōu)勢(shì),本文將二者進(jìn)行結(jié)合。針對(duì)一維的類間方差函數(shù)V(I,x)與一維的水平梯度函數(shù)D(I,x),本文假定兩種算法所占權(quán)重相同,將類間方差函數(shù)V(I,x)除以其最大值得到百分化的類間方差函數(shù)V%(I,x),同理得到百分化的水平梯度函數(shù)D%(I,x):
(3)
(4)
對(duì)于二維的類間方差函數(shù)V(I,x,y)和一維的水平梯度函數(shù)D(I,x),將V(I,x,y)百分化得V%(I,x,y),表示左右電梯門邊緣分別在x和y位置的可能性。
V%(I,x,y)=
(5)
類間方差函數(shù)和水平梯度函數(shù)二者取均值,得綜合性描述電梯門邊緣存在可能性的函數(shù)為:
(6)
對(duì)電梯門運(yùn)動(dòng)軌跡識(shí)別有嚴(yán)重影響的干擾有3類:線狀噪聲、面狀噪聲、運(yùn)動(dòng)噪聲[12]。線狀噪聲為具有明顯豎直邊緣的噪聲;面狀噪聲為圖像中區(qū)域性干擾物;運(yùn)動(dòng)噪聲為圖像中其他的運(yùn)動(dòng)物體。本文構(gòu)建電梯門的運(yùn)動(dòng)模型對(duì)其運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),然后以預(yù)測(cè)位置為中心對(duì)下一幀圖像中的電梯門邊緣進(jìn)行識(shí)別,能夠有效地提高算法識(shí)別的準(zhǔn)確度和魯棒性。采用局部窗口多項(xiàng)式擬合模型對(duì)電梯門運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè):
x(k)=f[p,x(k-1),x(k-2),…,x(k-q)]
(7)
式中:離散序列x(1),x(2),…,x(k-1),x(k)為電梯門邊緣在每一幀視頻中的位置;p為待擬合的多項(xiàng)式的階數(shù);q為選取的用來擬合的數(shù)據(jù)窗口長(zhǎng)度;f為計(jì)算下一序列的值的方法。依據(jù)p是否為1可將該模型分為線性模型和非線性模型,根據(jù)q是否是固定長(zhǎng)度可將模型分為固定窗口模型和變窗口模型。
當(dāng)運(yùn)動(dòng)預(yù)測(cè)模型為p階q幀窗口預(yù)測(cè)模型時(shí),運(yùn)動(dòng)軌跡模型如下:
Fp(x)=a0+a1x+a2x2+…+apxp
(8)
電梯門在q幀視頻的位置可以得到q組待擬合數(shù)據(jù)(xi,yi),i=1,2,…,q。多項(xiàng)式系數(shù)a0,a1,…,ap使
(9)
取得極小值,因此有方程組:
(10)
整理可得:
(11)
式中:xi為視頻幀數(shù);yi為第i幀電梯門的位移。當(dāng)q>p時(shí),可根據(jù)高斯消元法求得運(yùn)動(dòng)軌跡模型的系數(shù),從而預(yù)測(cè)出第(q+1)幀時(shí)電梯門的位移,即Fp(q+1)。
電梯門運(yùn)動(dòng)軌跡預(yù)測(cè)模型建立后,為了使用運(yùn)動(dòng)軌跡預(yù)測(cè)模型對(duì)電梯門邊緣識(shí)別結(jié)果進(jìn)行矯正,本文借鑒高斯函數(shù)提出一種類高斯加權(quán)函數(shù)來描述識(shí)別結(jié)果的置信度,公式如下:
(12)
式中:μ為預(yù)測(cè)得到的電梯門邊緣的位置;σ為視具體應(yīng)用環(huán)境而定的模型因子。在x=μ處峰值恒定為1,表示置信度最高。x越遠(yuǎn)離μ,置信度越低。因此,算法識(shí)別結(jié)果越靠近預(yù)測(cè)位置其結(jié)果置信度越高。使用類高斯加權(quán)模型對(duì)電梯門運(yùn)動(dòng)軌跡矯正,其一維描述和二維描述分別如下:
G(I,x)=W(x,μ,σ)F(I,x)=
(13)
G(I,x,y)=W(x,y,μ,σ)F(I,x,y)=
(14)
式中:μ,v分別為預(yù)測(cè)得到的電梯門左右邊緣的位置。
首先,對(duì)電梯監(jiān)控視頻信號(hào)進(jìn)行灰度化處理后,采集電梯門邊緣局部圖像。雙邊門邊緣如圖1所示。
圖1 電梯門局部圖像截取
基于水平梯度的邊緣檢測(cè)算法,雙邊門局部圖像的D(I,x)-x列平均梯度值分布及識(shí)別效果如圖2所示,其中兩個(gè)峰值即為雙邊電梯門邊框的識(shí)別結(jié)果。
將基于水平梯度的邊緣檢測(cè)算法應(yīng)用于電梯開關(guān)門的完整視頻中,運(yùn)動(dòng)軌跡識(shí)別效果如圖3所示??梢钥闯鲭娞蓍T運(yùn)動(dòng)軌跡識(shí)別結(jié)果抖動(dòng)較大,容易受到外界線性噪聲的影響。
圖2 邊緣檢測(cè)算法的電梯門識(shí)別效果圖
圖3 基于水平梯度的邊緣檢測(cè)算法運(yùn)動(dòng)軌跡識(shí)別圖
基于閾值分割的電梯門運(yùn)動(dòng)軌跡識(shí)別算法, 其V(I,x,y)-(x,y)類間方差值與左右兩條分割線位置的關(guān)系及識(shí)別效果如圖4所示,其中圖4(a)橫縱坐標(biāo)值(x,y)即為識(shí)別出的電梯門邊緣的位置。
將基于閾值分割的電梯門運(yùn)動(dòng)軌跡識(shí)別算法應(yīng)用到電梯連續(xù)的開關(guān)門視頻中,識(shí)別效果如圖5所示。
由圖可知,圖中A處右門最終位移與圖3稍有偏差,分析原因發(fā)現(xiàn)是受到相近灰度背景干擾導(dǎo)致的誤識(shí)別造成(如圖6所示)??梢娫撍惴▽?duì)灰度與電梯門相近的面狀噪聲的抗干擾能力較弱。圖中以B處為代表的線性噪聲波動(dòng)較小,可知基于閾值分割的電梯運(yùn)動(dòng)軌跡識(shí)別算法對(duì)線性噪聲的抗干擾能力較強(qiáng)。
圖4 閾值分割算法的電梯門識(shí)別效果圖
圖5 基于閾值分割的電梯門運(yùn)動(dòng)軌跡識(shí)別算法效果圖
圖6 閾值分割識(shí)別算法的誤識(shí)別
針對(duì)雙邊電梯門運(yùn)動(dòng)軌跡識(shí)別的二維疊加算法,F(xiàn)(I,x,y)-(x,y)關(guān)系如圖7所示,與圖4相比可以發(fā)現(xiàn)峰值更加明顯,橫縱坐標(biāo)即識(shí)別到的雙邊電梯門邊框。識(shí)別效果如圖8所示。
圖7 二維疊加F(I,x,y)-(x,y)圖像
圖8 F(I,x,y)函數(shù)識(shí)別兩條邊緣結(jié)果
將基于邊緣檢測(cè)與閾值分割的二維疊加算法應(yīng)用于電梯開關(guān)門視頻中,其運(yùn)動(dòng)軌跡識(shí)別效果如圖9所示??梢钥闯觯撍惴葲]有出現(xiàn)圖5中誤識(shí)別的情況,識(shí)別效果也較圖3更穩(wěn)定。但邊緣門識(shí)別仍然受到噪聲的干擾,算法的魯棒性有待加強(qiáng)。
圖9 基于二維疊加算法的電梯門運(yùn)動(dòng)軌跡識(shí)別效果圖
將以預(yù)測(cè)位置為中心進(jìn)行類高斯加權(quán)的閾值分割與邊緣檢測(cè)混合算法應(yīng)用于完整視頻檢測(cè)中,得到了良好的效果,圖10展示了在預(yù)測(cè)模型中使用不同擬合階數(shù)和窗口長(zhǎng)度的電梯門運(yùn)動(dòng)軌跡識(shí)別結(jié)果,可看出該算法很好地克服了線性干擾和面性干擾,識(shí)別結(jié)果穩(wěn)定且準(zhǔn)確。
圖10 應(yīng)用不同參數(shù)預(yù)測(cè)模型的電梯門運(yùn)動(dòng)軌跡識(shí)別結(jié)果
鑒于電梯的使用環(huán)境,運(yùn)動(dòng)的乘客會(huì)對(duì)電梯門邊緣的識(shí)別產(chǎn)生干擾(如圖11所示)。因此使用類高斯加權(quán)函數(shù)(如圖12所示)對(duì)原始列灰度統(tǒng)計(jì)(如圖13所示)進(jìn)行加權(quán),得到圖14,可見該算法能夠顯著地弱化運(yùn)動(dòng)噪聲的干擾,具有較高的魯棒性。
圖11 包含運(yùn)動(dòng)噪聲的幀間差分圖
圖12 原始列灰度統(tǒng)計(jì)圖
圖13 二維類高斯加權(quán)函數(shù)
圖14 加權(quán)后列灰度統(tǒng)計(jì)圖
本文將邊緣檢測(cè)、閾值分割和運(yùn)動(dòng)軌跡預(yù)測(cè)的思想相結(jié)合,提出了一種實(shí)用性較高的電梯門運(yùn)動(dòng)軌跡識(shí)別算法,該算法能夠有效地排除線性噪聲、面狀噪聲和運(yùn)動(dòng)噪聲的干擾,實(shí)現(xiàn)對(duì)電梯門運(yùn)動(dòng)軌跡準(zhǔn)確且穩(wěn)定的識(shí)別,充分的實(shí)驗(yàn)測(cè)試表明該算法具有良好的魯棒性。該算法能夠應(yīng)用到電梯開關(guān)門標(biāo)準(zhǔn)度識(shí)別、開關(guān)門防夾、電梯層門異常打開識(shí)別等實(shí)際應(yīng)用中。
[1] 陳真粱. 淺談電梯門系統(tǒng)事故及預(yù)防[J]. 中國(guó)新技術(shù)新產(chǎn)品, 2017(4):137,26.
[2] 萬林. 電梯設(shè)備安全性評(píng)估的研究[D]. 南京:東南大學(xué), 2016.
[3] 杜碧華, 張思宇, 楊順坤,等. 基于故障樹分析電梯門系統(tǒng)故障[J]. 設(shè)備管理與維修, 2015(3):27-28.
[4] QU Z, WEN L, TIAN N. A new video objects segmentation algorithm based on fusion of image segmentation and improved background difference[C]// Conference Anthology, IEEE. [S.l.]:IEEE, 2014:1-5.
[5] 薛麗霞, 羅艷麗, 王佐成. 基于幀間差分的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2011, 28(4):1551-1552.
[6] 肖軍, 朱世鵬, 黃杭,等. 基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法[J]. 東北大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 37(6):770-774.
[7] 李培華. 一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2009, 32(12):2454-2463.
[8] 劉惟錦, 章毓晉. 基于Kalman濾波和邊緣直方圖的實(shí)時(shí)目標(biāo)跟蹤[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2008, 48(7):1104-1107.
[9] ZHENG Y F, MA X R, ZHAO X L, et al. Mean shift target tracking algorithm based on color and edge features[J]. Journal of Optoelectronics Laser, 2011, 22(8):1231-1235.
[10] 張闖, 王婷婷, 孫冬嬌,等. 基于歐氏距離圖的圖像邊緣檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(2):176-183.
[11] 李玉峰, 李廣澤, 龍科慧. 基于自適應(yīng)邊緣閾值及方向加權(quán)的空間錯(cuò)誤隱藏算法[J]. 光學(xué)精密工程, 2016, 24(3):626-634.
[12] 劉少華, 張茂軍, 熊志輝,等. 一種魯棒高效的視頻運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法[J]. 自動(dòng)化學(xué)報(bào), 2009, 35(8):1055-1062.