謝發(fā)忠 鄒華東 吳年祥
(安徽國防科技職業(yè)學院,安徽 六安 237011)
目標的輪廓涵蓋了目標的主要形狀信息,因此,對目標的輪廓測量有助于對目標進行更全面、更深刻的認識。傳統(tǒng)的接觸式測量方法主要存在與目標的接觸有可能帶來的損傷、測量速度慢、測量精度低以及結構復雜等問題。因此,近些年來,基于計算機視覺的目標檢測技術得到了研究者的關注。
黃桂平等[1]人利用單目視覺對目標進行檢測和測量,但由于單目視覺系統(tǒng)本身存在的缺陷,無法得到較高的精度。在此基礎上,管業(yè)鵬等[2]人引入了雙目視覺,利用三維建模技術得到更高精確的測量系統(tǒng)。孫雙花等[3]人在工業(yè)系統(tǒng)中引入計算機視覺技術,使得無觸式測量成為可能。吳鳳和[4]和席斌等[6]人將自動化測量方法分別應用到圖像分割和工業(yè)實時檢測中,獲得了較好的拓展應用。劉建偉等[5]人利用高景深的相機,增加了目標場景的范圍,完成了大尺寸工件的實時測量。
本文設計了一種適合于大視場目標的高精度、快速自動檢測系統(tǒng),圖1為系統(tǒng)框架圖。為了達到高精度的目的,本系統(tǒng)采用雙目相機測距。首先,利用若干張棋盤格圖像進行相機標定,得到雙目相機各自的內參數(shù)和相機間的外參數(shù);其次,對原始圖進行背景建模,當采集到含有目標的大視場圖像時,可以完成目標的快速檢測;再次,本系統(tǒng)設計了相應的Kalman濾波器對目標結果進行濾波,進而精確分離出目標輪廓;最后,利用標定參數(shù)和目標的實際結果進行映射,從而完成目標的自動測量。
圖1 系統(tǒng)框架圖
為了從相機采集的圖像中計算出目標的真實長度,需要對相機和待檢測目標進行建模,利用標準圖像和真實目標圖像的比例關系來完成測量。因此,需要對雙目相機進行標定,確定出相機本身的內參數(shù)和相機間的外參數(shù)。
(1)內參數(shù)的標定
現(xiàn)有的相機模型多為針孔模型,即空間中的任何一點M在圖像中的投影位置m,為光心O與點M連線與圖像平面的交點。用公式描述如下:
式中:x、y—點m的圖像坐標;X、Y、Z—空間點M在攝像機坐標系下的坐標;f—相機的焦距。
利用齊次坐標和矩陣表示上述透射投影關系為:
相機中存在的量化器會將連續(xù)的圖像坐標轉化為一個二維數(shù)組,即轉化為數(shù)字圖像的像素塊。設(u,v)表示以像素為單位的坐標,其滿足
式中:dx、dy—分別表示每一個像素在X軸和Y軸上的物理長度。空間坐標系、相機坐標系以及圖像坐標系之間的關系見圖2。
圖2 空間坐標系、相機坐標系及圖像坐標系之間的關系
內參數(shù)的標定即為計算出相機的焦距、長度和像素的映射關系。
(2)外參數(shù)的標定
利用單相機進行測量,與雙目相機相比,其精度和速度都有一定的差距。因此,本文選擇雙目相機進行目標的測量。需要確定相機間的外參數(shù),即計算出2個相機間的相對空間位置(包括右相機相對于左相機的三維平移矢量T和旋轉矩陣R)。要計算目標上的空間點在左右2個視圖上形成的視差,首先需要將該點在左右視圖上的對應像素點匹配起來。然而,在二維空間上尋找匹配點面臨的計算復雜度較大,為了減少匹配搜索的范圍,可以利用極線約束將二維空間上的匹配降為一維。圖3給出了一個極線矯正的結果,不難看出,目標上的空間點在左右視圖上的差異僅存在于X軸上。
利用立體匹配技術可以得到相機間的外參數(shù)。當計算出相機的內參數(shù)和相機間的外參數(shù)后,即可測量視場中的目標。首先,利用經(jīng)過極線矯正過的雙目相機同時采集目標的左右視圖;其次,從采集的左右視圖中分別精確提取出目標輪廓;最后,將橫向坐標存在差異的像素寬度映射到空間坐標系中,即可完成目標的測量。
圖3 極線矯正前后的結果比較
(3)背景建模與目標檢測
傳統(tǒng)的背景建模的方法包括背景減法(即背景差)、多幀平均法以及光流法等。但由于其背景固定,所以無法處理光照變化以及噪聲等問題,而光照變化又是大視場中存在的一般現(xiàn)象。因此,本系統(tǒng)設計了基于混合高斯模型(GMM,Gaussian Mixture Model)的背景建模方法,可以完成目標的準確定位與檢測。對于視頻幀中每個像素點i來說,都可以認為是由前景和背景分量組成的,即:
式中:δi—該像素點如果屬于前景,其值為1;否則為0。
在實際環(huán)境中,背景可能有多個取值,因此需要對背景實時取值進行跟蹤。假設為像素點i建立的背景的高斯混合模型包含H個分量,記為:
那么像素點i屬于背景的概率為:
傳統(tǒng)的工作中將H個模型分量的均值均初始化為0,但這樣會導致高斯分布需要多次更新后才能接近背景值。因此,本系統(tǒng)將第一個模型分量的均值取為視頻第一幀對應像素點的取值,而剩余高斯模型的均值均為0。對于每個模型分量的先驗概率,由于第一個模型分量可信度更高,因此這里將第一個模型分量的先驗概率設為一個較高的常量γ,剩余模型分量的概率均為(1-γ)/(H-1)。
下面即可對每一視頻幀進行檢測,識別其中存在的目標。每次都將像素點i的取值與其對應的高斯混合模型進行匹配檢驗,只要其與某一個模型分量均值的差異小于其標準差的thr倍(‖‖≤thr·),即將該像素點判為背景,反之則為前景,即完成目標的檢測??紤]到目標進入后,背景光照有可能發(fā)生變化,因此本系統(tǒng)還利用了新的視頻幀中的背景部分實時更新高斯混合模型,更新方式如下:2
基于高斯混合模型的背景建模能夠捕捉并識別目標,但無法精確分離出目標的輪廓;另外,由于前景和背景顏色值可能發(fā)生混疊,從而導致上述檢測過程中存在大量噪聲野點。在本文中,系統(tǒng)利用Kalman濾波器濾除可能的噪聲和野點精化檢測結果。
Kalman濾波器是線性無偏最小均方誤差遞推濾波器,與維納濾波器相比,它主要依靠前一個估計值和最近的一次觀測值來估計當前信號值,更加適合于動態(tài)目標的跟蹤,對于復雜背景和噪聲更加穩(wěn)定。為了提高算法的精度和速度,本文對分割出來的輪廓進行形態(tài)學操作,利用腐蝕壓縮前景區(qū)域和背景區(qū)域,將擴大出來的區(qū)域都作為搜索空間。以目標的重心為中心進行極坐標變化,將2D濾波簡化為1D濾波。本文定義Kalman濾波器為:
式中:lt+1—輪廓的位置;A,B,H—分別表示輪廓變換矩陣,輪廓平移矩陣,觀測變換矩陣;ut+1—狀態(tài)噪聲;wt+1—觀測噪聲。
狀態(tài)方程對應的是空域上的連續(xù)性,即本次估計不能偏離鄰域點的估計太多;而觀測方程對應的是灰度域上的連續(xù)性,即相同區(qū)域的像素點的灰度值應當接近。這其實與馬爾科夫隨機場模型也是匹配的,其中狀態(tài)方程表示平滑項而觀測方程表示數(shù)據(jù)項。系統(tǒng)采用的Kalman濾波器能夠得到圖分割算法類似的結果,但速度卻大大優(yōu)于圖分割技術。
在準確的目標檢測結果與高精度標定參數(shù)的基礎上,利用正比映射即可完成目標的快速測量:
式中:m—在標定時采用度量工具的實際長度;M—占用的像素數(shù)目;l、L—分別表示待檢測目標某個維度的實際長度和對應的像素數(shù)目。
將上述系統(tǒng)的性能進行驗證,實驗環(huán)境為Window7主機,Intel Core i3四核處理器,主頻2.6 GHz。實驗主要對系統(tǒng)的主要模塊和整體性能進行測試。
(1)雙目相機標定
系統(tǒng)使用的標定板以及雙目相機采集的左右視圖如圖4所示。由于左右視圖都是經(jīng)過極線矯正過的,因此在邊緣上會出現(xiàn)部分畸變的現(xiàn)象。
圖4 棋盤格和左右視圖矯正后的結果
系統(tǒng)計算出的內參數(shù)和外參數(shù)分別為:
圖5中給出了12張標定圖像和相機之間的空間對應關系。
圖5 標定圖像和左右相機的空間對應關系
(2)背景建模和Kalman濾波
利用背景建??梢缘玫侥繕说拇州喞?,設定的前景目標(人物)可以從復雜的背景中提取出來,即可完成目標的檢測。但背景建模無法得到準確的分割結果,這會極大地限制后續(xù)測量的精度。因此,系統(tǒng)引入了Kalman濾波器將輪廓部分進行極坐標轉換后再進行去噪,圖6(b)給出了濾波后的檢測結果。
準備4組不同大小的目標進行測量,每組實驗重復10次,并計算相應的均值和標準差:
實驗測試結果見表1。
圖6 背景建模和Kalman濾波后的結果
表1 實驗測試結果
本系統(tǒng)能夠處理多種尺寸目標的測量,且對應的測量誤差限制在0.01 mm以內,精度很高。計算時間包括了目標檢測、精化和測量,都在1s左右,滿足一般測量系統(tǒng)的要求。同時,系統(tǒng)能夠從光照變化、復雜背景中精確提取目標,具有很好的穩(wěn)定性。實驗經(jīng)過了重復驗證,表明本系統(tǒng)魯棒性較好。
針對傳統(tǒng)接觸式測量存在的附帶損傷、精度低以及速度慢等問題,本文設計了一種適合大視場中目標的高精度快速自動檢測系統(tǒng)。首先,利用雙目相機標定技術,精確計算出相機的內參數(shù)和外參數(shù),完成目標和相機的空間定位;其次,對背景進行實時建模,通過重構背景的影像實時提取出目標的輪廓,完成目標的穩(wěn)定檢測,對光照和噪聲魯棒性好;最后,引入了Kalman濾波器對輪廓進行精化,從而保證了測量的高精度。實驗和分析證明本系統(tǒng)的精度高、速度快,能夠穩(wěn)定地檢測出大視場中存在的目標。
[1]黃桂平,李廣云,王保豐,等.單目視覺測量技術研究[J].計量學報,2005,25(4):314-317.
[2]管業(yè)鵬,童林夙.雙目立體視覺測量方法研究[J].儀器儀表學報,2004,24(6):581-584.
[3]孫雙花.視覺測量關鍵技術及在自動檢測中的應用[D].天津:天津大學,2007:21-25.
[4]吳鳳和.基于計算機視覺測量技術的圖像輪廓提取方法研究[J].計量學報,2008,28(1):18-22.
[5]劉建偉,梁晉,梁新合,等.大尺寸工業(yè)視覺測量系統(tǒng)[J].光學精密工程,2010,18(1):126.
[6]席斌,錢峰.機器視覺測量系統(tǒng)在工業(yè)在線檢測中的應用[J].工業(yè)控制計算機,2006,18(11):75-76.