視覺數(shù)控安全監(jiān)控技術研究

惠國保，李東波，童一飛，王引

(1.南京理工大學機械工程學院，江蘇南京210094;2.東南大學機械工程學院，江蘇南京211189)

隨著數(shù)控機床加工制造業(yè)的發(fā)展，以人為本的發(fā)展原則的深入貫徹，對數(shù)控加工安全性的要求不斷提高。一般數(shù)控機床加工安全方法有加機床防護罩或紅外線感應裝置。機床防護罩因其簡單有效而應用比較普遍，但缺點有不利于觀察加工情況、笨重、材料費和維修保養(yǎng)費較高。紅外線感應裝置近幾年應用較多，但易受熱源光源、環(huán)境溫度和射頻輻射等影響。隨著計算機視覺的發(fā)展，將視覺監(jiān)控技術應用于數(shù)控機床安全監(jiān)控是一個新的突破，不僅進一步提升了數(shù)控機床的自動化水平，而且視覺安全監(jiān)控不受環(huán)境的影響、成本低廉、效果明顯。

以傳統(tǒng)立柱式銑床為例，將CCD 相機安裝在主軸的前上方，實時捕獲工作臺、工件、刀具及周圍環(huán)境等信息，如圖1所示。

捕獲到圖像信息后，先將圖像分區(qū)，只對圖像中各個區(qū)域里的像素作為重點觀察對象。這些像素的像素值(灰度值或RGB 值)每幀是不一樣的，統(tǒng)計學上是服從正態(tài)分布。由于車間燈光和機床震動等因素，使得一個像素在不同的條件下有不同的正態(tài)分布。在一般情況下將這些分布疊加在一起就構成了該像素的背景模型，背景模型的參數(shù)就刻畫了這個像素特性［1］。

圖1 視覺監(jiān)控相機捕獲到的圖像及分區(qū)示意圖

通過算法，對每一幅所捕獲的圖像幀進行學習，得到每個像素背景模型的參數(shù)估計。利用這個像素的背景模型，就可以預測下一個幀的像素值，再與下一幀實際的像素值比較，根據(jù)判定準則，就可以判斷該像素值是屬于前景還是背景。無論是前景還是背景，新幀的像素值仍然可以作為該像素背景模型學習的材料，以更新背景模型。

這樣就能從復雜的背景中提取出前景。對分區(qū)好的圖像，在相應的區(qū)域里檢測到一定量的前景像素，則視覺系統(tǒng)就會給數(shù)控系統(tǒng)發(fā)送出相應的信號，實現(xiàn)計算機視覺對機床安全加工的監(jiān)控。下面首先簡單介紹視頻圖像分區(qū)，接著介紹背景模型建立，然后再對背景模型分析，最后通過實驗驗證。

1 圖像分區(qū)

對圖像劃分區(qū)域，是為了實現(xiàn)視覺監(jiān)控多級響應功能，方便對區(qū)域內的像素構建背景模型。假設圖像的坐標原點在左上角，在視頻圖像中劃分出自由區(qū)域、觸及危險報警區(qū)域和觸及運行停止區(qū)域，如圖1所示。

(1)自由區(qū)域

該區(qū)域是操作員可自由活動區(qū)域，這種情形下，視覺系統(tǒng)不會發(fā)送報警或停止運行等信號。數(shù)控加工過程中，大多數(shù)加工狀態(tài)是處在這種情形下。如圖2所示。

圖2 運動前景自由區(qū)域

(2)觸及報警區(qū)域

當人體某個部位觸及到該區(qū)域，視覺系統(tǒng)會發(fā)送危險報警信號給數(shù)控系統(tǒng)，數(shù)控系統(tǒng)收到信號后，立即執(zhí)行喇叭報警。這種情況下，機床加工仍在運行，但報警聲不斷，提示操作員注意安全。如圖3所示。

圖3 運出前景在危險報警區(qū)域

(3)觸及運動停止區(qū)域

在不聞報警的情況下，當人體某部位觸及到該區(qū)域時，視覺系統(tǒng)就會給數(shù)控系統(tǒng)發(fā)送停機信號，數(shù)控系統(tǒng)收到該信號，立即停機，并保存好當前加工狀況數(shù)據(jù)，處于待機狀態(tài)。有了這個監(jiān)控區(qū)域，才能徹底地避免人員的傷亡。如圖4所示。

圖4 運動前景在運動停止區(qū)域

總之，通過對監(jiān)控視頻圖像分區(qū)后，能使數(shù)控系統(tǒng)具有多級控制功能，只需重點觀察各分區(qū)內像素的變化，大大提高計算效率。實際上，只建立觸及報警區(qū)域和觸及運行停止區(qū)域兩個背景模型。為了實現(xiàn)對區(qū)域的靈活監(jiān)控，每塊區(qū)域的大小都是可以調整。

2 背景模型

2.1 背景模型建立

主要在監(jiān)控區(qū)域(報警區(qū)域和運行停止區(qū)域)對每個像素背景學習，構造背景模型。在該區(qū)域的每個像素值都是隨時間變化的，是一個序列。在不考慮燈光和機床震動影響的情況下，像素值雖然是變化的，但是方差較小。若是黑白相機，像素值就是灰度值;若是彩色相機，則像素值是RGB 組成的向量。這里采用彩色圖像，而且假定RGB 三色相互獨立。對某一像素p 在任一時刻t 可以知道它的歷史像素值序列Sp，t，Sp，t= {Zp，1，Zp，2，…，Zp，t}，其中Zi是像素值，1≤i≤t。認為這些數(shù)值服從高斯分布，其均值和方差分別為:

若考慮燈光、機床震動等因素，就會有多個高斯分布，將這些高斯分布根據(jù)權重疊加在一起就構成了該像素最終的背景模型，也即混合高斯模型［2］?；旌细咚鼓Ｐ偷母咚狗植紓€數(shù)由以下兩種情況確定:

(1)燈光變化。假設燈光照度穩(wěn)定的話，不開機床燈和開機床燈的兩種情況，就產生了兩個高斯分布。

(2)機床震動。每臺機床震動頻率不同，這種情況是客觀存在的。對一種機床，有其固定震動頻率nm。相機拍攝圖片也有頻率(比如普通攝像機1 s 有30 幀)nc。當然當nm=nc是理想情況，攝像頭每次拍攝的照片都是機床相同位置，即每幀像素反映的背景是同一點。但實際上，這種理想情況幾乎不可能出現(xiàn)，要么nm＞nc，要么nm＜nc。下面分兩種情況進行討論:

①當nm＞nc時，機床震動頻率大于拍攝頻率，一幀拍攝期間機床已經震動了幾個周期了，所以可以認為每幀拍攝的圖片相同。這種情況下，最后背景模型總共有3 個高斯分布疊加。

②當nm＜nc時，機床震動頻率小于拍攝頻率，機床震動一個周期期間拍攝了幾個幀。假如機床振幅為A，攝像機在一個震動周期里的震速為在一個幀拍攝期間，振幅上移動的距離為那么在機床一個震動周期里拍攝了幀，取s 整數(shù)為[ s] 。這種情況下，最后背景模型總共有[ s] +2 個高斯分布疊加。

綜上分析，背景模型高斯分布個數(shù)為:

在實際中，像素的刷新值可能會改變高斯分布的個數(shù)，但最少不會低于K 個。

攝像機的每個幀都會刷新某像素點的值，這個新值要么是服從混合高斯模型的某個高斯分布，要么是不服從混合高斯模型的任一高斯分布。這時，就要以該像素值確定一個新的高斯分布，并疊加到混合高斯模型里。

所以就需要將像素值與這K 個高斯分布進行匹配。所謂新像素值與某個高斯分布匹配是指該像素值在這個高斯分布標準偏差β 以內。β 是指某個新數(shù)對某個高斯分布擾動很小的閾值［3］。像素的新值是否能在背景模式里找到匹配的高斯分布，就要對新像素值Zp，t+1與這K 個高斯分布進行匹配，直到與這K 個高斯分布匹配完為止。

如果Zp，t+1在背景模型里找不到一個分布與其匹配，由該像素值確定一個新的分布。這個新的高斯分布的均值為該新像素值，開始時方差較大，權重較低，與其他新像素值能匹配上的概率很低。若這時混合高斯分布個數(shù)為K，且K =K +1，如果Zp，t+1能與背景模型中的一個高斯分布匹配起來，則背景模型高斯分布的權重就要重新定義。根據(jù)EM 算法［4］，在時刻t，假設第K 個分布的優(yōu)先權重為ωi，t(1 ＜i ＜K)，定義如下:

其中:σt是在時刻t 的協(xié)方差，而且∑iωi，t= 1 。

定義增量學習效率為ε，指某個分布與一個新像素值匹配的話，該分布的權重的變化值與原權重值的比值，即。

經過一次學習，匹配上的分布的權重增加，未匹配上的其余分布權重相應都有減少，同時改變了該像素背景模型。未匹配上的分布的均值和方差都不變，匹配上的第i 個分布的均值和方差更新如下:

其中:T 是確定背景模型的閾值。如果T 值越小，背景模型為單峰，指由權重最大的M 個分布組合為背景模型。如果T 值越大，反復的背景變化會引起多峰分布，這表示背景接受更大范圍色度的分割。

2.2 背景模型分析

這個背景模型的主要特點是當某個前景變成背景時，它不會對已有背景模型造成改變。最初像素色度值被保留在混合背景模型里，直到這個像素值匹配的高斯分布的權重低于第K 個分布的權重時，或觀察到像素色度有新的變化時，背景模型才會變化［5］。所以，只要有足夠長時間的背景學習，一個前景就會變?yōu)楸尘?或者，一個背景產生了運動，它就變成了前景，但仍然是以過去背景的均值和方差來描述分布的。新的前景權重越低，將會迅速地再次融入到背景中。與文獻［2］所提的方法不同的是高斯混合模型的分布個數(shù)是不固定的，根據(jù)新像素值與高斯分布匹配的結果確定新的混合模型高斯分布個數(shù)，而且，每個分布的權重也不是固定的，是根據(jù)排序自動調整的。

當某個分布趨于明顯，那么方差就會減小，權重值就會增大，在背景分布的排序中會趨向前列。背景模型高斯分布序列是一個有序的、開放式的列表，其中最有可能成為背景的高斯分布仍保留前列，低概率不穩(wěn)定的背景分布排在后列，或許最終被新的分布取代而不能成為背景的分布。

在這個背景模型中，將影響背景模型的光度變化和機械振動兩個因素考慮進去了，所以該背景模型能適應光度變化和機械振動因素的影響。

3 實驗

3.1 實驗方法

為驗證視覺監(jiān)控效果，模擬了簡單的實驗環(huán)境，如圖5所示。左邊圖像是分區(qū)后攝像機拍攝的圖像，右邊是左邊的視頻圖像經過前景－背景處理后的效果圖，只對前景的像素進行標記，下面有模擬數(shù)控系統(tǒng)控制的兩個燈:危險報警燈和運行停止燈。

(1)當手未觸及淺白色區(qū)域，即在自由區(qū)域內時，視覺系統(tǒng)不發(fā)送任何信號給數(shù)控系統(tǒng)，即不做任何反應，下面兩個燈為白色，如圖5所示。

圖5 自由區(qū)域活動

(2)當手觸及到危險報警區(qū)域時，視覺系統(tǒng)發(fā)送危險信號給數(shù)控系統(tǒng)，數(shù)控系統(tǒng)立即進行報警，下面報警燈變紅，如圖6所示。

圖6 危險報警區(qū)域活動

(3)當手觸及到運行停止區(qū)域時，視覺系統(tǒng)會發(fā)送停止信號給數(shù)控系統(tǒng)，數(shù)控系統(tǒng)立即控制機床暫停加工，同時下面報警燈和停止等都亮，所圖7所示。

圖7 運行停止區(qū)域活動

在這種實驗環(huán)境下，又對光照變化和機床震動影響做了幾個實驗，來論證視覺數(shù)控監(jiān)控技術在光照變化和機床震動影響下的監(jiān)控效果，具體結果分析請見下節(jié)。

3.2 實驗分析

下面對光照變化和機床震動影響下的監(jiān)控效果進行分析。

當燈光變化大于CCD 感光臨界時，燈光亮度的變化幾乎對報警率沒有影響，即燈光亮度在CCD 感光臨界點以上的變化，并不影響已成的背景模型對前景和背景的判定，而且這種判定的準確率還是相當高的，能完全地將運動的前景辨別出來;當燈光亮度在CCD 感光臨界點以下，這種前景辨別就會有誤差，直到完全黑暗下不能辨別出前景來。通過實驗數(shù)據(jù)得到亮度對報警率的影響，如圖8所示。

另一方面，當機床震動幅度大于分區(qū)尺寸時，分辨出的前景就會產生誤差，以至于震動猛烈的機床前景分辨準確率是零;當機床震動幅度小于圖像分區(qū)尺寸時，可以很好地分辨出前景來，而且準確率也很高。通過實驗數(shù)據(jù)得到機床震動幅度對報警率的影響，如圖9所示。

圖8 亮度變化對報警率的影響

圖9 機床振幅度變化對報警率影響

通過以上分析，燈光亮度和機床震動幅度能造成前景分辨較大誤差的范圍是十分狹小的，大多數(shù)機床加工的燈光亮度和震動幅度分別是在前景可分辨的范圍內，所以可以認為該視覺監(jiān)控數(shù)控系統(tǒng)不受光度變化和震動幅度影響。

4 結論

提出的通過視覺監(jiān)控技術來實現(xiàn)數(shù)控安全機加工的方法，經過實驗論證，是可行的。建立好的背景模型是實現(xiàn)該技術的關鍵，而且能很好地適應光度變化和機械震動的影響，所以該技術具有能適應一定環(huán)境影響的安全監(jiān)控功能。為了更好地將該技術應用于實際，可以從像素值與高斯分布匹配角度繼續(xù)研究，建立更好的背景模型。

【1】SZELISKI R.Computer Vision-algorithms and Applications［M］.Springer，2010.

【2】KAEWTRAKULPONG P，BOWDEN R.An Improved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection［C］//Proceedings of the Second European Workshp on Advanced Video-Based Surveillance Systems，2001:135－14.

【3】OLIENSIS J.A Critique of Structure-from-motion Algorithms［J］.Computer Vision and Image Understanding，2000，80:172－214.

【4】BILMES J.A Gentle Tutorial of the EM Algorithm and Its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models［R］.Technical Report 97021，International Computer Science Institute，Berkeley，CA，USA，1997.

【5】BRADSKI G，KAEHLER Adrian.Learning OpenCV［M］.O＇REILLY Media Inc，2008.