安勃翰,裴 亮,楊文將
(1.遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院,遼寧 阜新 123000;2.北京航空航天大學(xué) 宇航學(xué)院,北京 100000)
隨著機(jī)器視覺技術(shù)的發(fā)展,基于視覺的目標(biāo)測速在智能交通、工業(yè)生產(chǎn)和軍事等領(lǐng)域有著越來越廣泛的應(yīng)用和發(fā)展空間。傳統(tǒng)測速方式中利用雷達(dá)、地感線圈和激光等測速,需要提前安裝精密的傳感器設(shè)備,且測量時對周圍環(huán)境有嚴(yán)苛的要求。相比之下,基于視覺測速具有設(shè)備安裝簡便、應(yīng)用條件相對寬松等優(yōu)勢。但缺點(diǎn)在于其易受復(fù)雜背景和光照變化的影響。所以如何對測速算法進(jìn)行優(yōu)化以提高視覺測速算法的魯棒性和精度是目前熱門的研究方向。
基于視覺的測速方法利用相機(jī)以非接觸方式采集目標(biāo)的運(yùn)動圖像,通過目標(biāo)檢測算法從每幀圖像中識別目標(biāo),并計算兩幀之間目標(biāo)的位移以實現(xiàn)測速的目的。主流的運(yùn)動目標(biāo)檢測算法中,光流法運(yùn)算復(fù)雜,易受光照干擾,實際應(yīng)用較少。幀差法應(yīng)用廣泛,不易受環(huán)境的干擾,但不適用于檢測速度較慢的目標(biāo)。目前改進(jìn)的幀差法包括三幀差法、五幀差法等,但“空洞”現(xiàn)象仍難以消除。背景差分法能夠準(zhǔn)確提取運(yùn)動目標(biāo),但對背景環(huán)境的變化敏感。改進(jìn)的背景差分法通過在背景建模的基礎(chǔ)上結(jié)合幀差法分離前景目標(biāo),但仍無法實現(xiàn)精確檢測。
針對上述問題,本文提出利用混合高斯模型背景建模與參數(shù)優(yōu)化的模板匹配法相結(jié)合,實現(xiàn)復(fù)雜背景下快速而精確的目標(biāo)識別定位?;旌细咚鼓P徒鉀Q復(fù)雜背景下的目標(biāo)識別問題,提取出前景目標(biāo)區(qū)域再進(jìn)行搜索匹配,提升算法的魯棒性。避免目標(biāo)表面產(chǎn)生反射光斑或者背景相似形狀物體干擾而導(dǎo)致的錯誤匹配,使模板匹配法更有效地對目標(biāo)搜索定位。之后本文提出改進(jìn)的二維測量模型法,通過精確求取目標(biāo)像素尺寸以降低速度解算時像素位移轉(zhuǎn)換成物理位移造成的誤差。
混合高斯模型背景建模算法本質(zhì)是利用混合高斯模型描述運(yùn)動目標(biāo)圖像序列中所有像素點(diǎn)的樣本灰度值序列的分布情況。
通過個高斯模型對運(yùn)動圖像序列中每個像素點(diǎn)的像素值進(jìn)行加權(quán)和建模,并計算得出當(dāng)前像素值出現(xiàn)的概率,如式(1)所示:
(1)
式中,表示時刻像素值,,表示權(quán)重,,為均值向量,∑,為協(xié)方差矩陣。式(2)是高斯分布的密度函數(shù):
(,,,∑,)=
(2)
若時刻像素值與其對應(yīng)的高斯分布的關(guān)系滿足式(3),則該像素點(diǎn)與高斯分布匹配。
|-,-1|≤25
(3)
當(dāng)像素點(diǎn)無法找到匹配的高斯分布時,則重新構(gòu)建分布替代權(quán)值最小的分布,根據(jù)式(4)計算權(quán)值的更新,式中表示更新速率:
,=(1-),-1+,
(4)
隨著背景建模的不斷更新,匹配次數(shù)最多的分布擁有最大的權(quán)重。由于權(quán)重越大越可能是背景點(diǎn),故將像素點(diǎn)按權(quán)重從大到小排序后,用前個分布作為背景,如式(5)所示:
(5)
式中:表示構(gòu)成背景的最小權(quán)重比例,若個高斯分布中有至少一個與當(dāng)前像素匹配,則判定其為背景點(diǎn),否則為前景點(diǎn)。
模板匹配通過在待搜索圖像中尋找與所創(chuàng)建模板最相似的區(qū)域并通過仿射變換函數(shù)實現(xiàn)目標(biāo)的像素定位?;诨叶鹊哪0迤ヅ浜突谛螤畹哪0迤ヅ湓趯嶋H應(yīng)用中較為常見。
基于灰度的方法是根據(jù)模板圖像與待搜索圖像之間的相關(guān)性在圖像中定位模板。該方法容易實現(xiàn),但是當(dāng)目標(biāo)內(nèi)部的灰度值有劇烈變化或是有噪聲干擾時,匹配效果不佳。
基于形狀的模板匹配是通過提取目標(biāo)的形狀輪廓特征來檢測并識別目標(biāo),在光照等條件不穩(wěn)定的情況下仍能取得較好的匹配效果,應(yīng)用較為廣泛?;谛螤钅0迤ヅ浞ǖ闹饕襟E包括圖像預(yù)處理、創(chuàng)建模板和待搜索圖像的匹配。在搜索時使用相似性度量函數(shù)來判定當(dāng)前形狀與模板間的相似性,從而確定是否完成匹配。
測速算法流程如圖1所示,主要包括:
(1)預(yù)處理:采集原始運(yùn)動圖像序列后,利用中值濾波去除噪聲影響,并進(jìn)行圖像增強(qiáng),提升圖像中目標(biāo)邊緣和拐角區(qū)域的對比度,使圖像更加清晰。
(2)識別:利用混合高斯模型背景建模提取前景目標(biāo)區(qū)域并轉(zhuǎn)換成圖像輸出,在復(fù)雜的背景中分離出僅包含目標(biāo)輪廓信息的前景區(qū)域圖像序列。
(3)定位:基于目標(biāo)輪廓創(chuàng)建形狀模板,并在前景區(qū)域圖像序列中搜索,優(yōu)化匹配參數(shù)確保匹配效果良好,通過仿射變換函數(shù)得到每一幀圖像中目標(biāo)的質(zhì)心像素坐標(biāo)。
(4)轉(zhuǎn)換:假設(shè)目標(biāo)物理尺寸已知,利用改進(jìn)的二維測量模型法求取目標(biāo)對應(yīng)的像素尺寸,獲得此相機(jī)位姿下像素位移與物理位移的比例,實現(xiàn)轉(zhuǎn)換的目的。
圖1 算法流程圖
基于Halcon平臺利用模板匹配法對目標(biāo)進(jìn)行高精度定位,主要關(guān)心的是匹配成功率,所以需要對相關(guān)參數(shù)的設(shè)置進(jìn)行優(yōu)化以提升匹配的成功率。
在創(chuàng)建模板時對參數(shù)的設(shè)置進(jìn)行以下優(yōu)化:設(shè)置較低的金字塔層數(shù),以保證充足的信息來完成匹配,不同金字塔層級效果如圖2所示;模板圖像較小時,要設(shè)置較大的步長;模板的點(diǎn)存儲模式設(shè)置中等,并設(shè)置預(yù)處理步驟;調(diào)整對比度的最大和最小閾值,使模板形狀完整,并通過設(shè)置合適的最小組件尺寸去除干擾點(diǎn)。
圖2 不同金字塔層級對比圖
在搜索模板時對參數(shù)的設(shè)置進(jìn)行以下優(yōu)化:優(yōu)先設(shè)置較低的最小匹配分?jǐn)?shù);匹配個數(shù)設(shè)置為目標(biāo)的個數(shù);選擇較高的亞像素優(yōu)化方法;最低金字塔層數(shù)設(shè)為最小值;將貪心算法設(shè)置為0并增加公差公式,增強(qiáng)質(zhì)量較差的待匹配圖像。
模板匹配得到一系列目標(biāo)質(zhì)心點(diǎn)像素坐標(biāo)后,可以得到目標(biāo)在兩幀之間的像素位移,但是要計算速度,還需將像素位移換算成物理位移。
通過傳統(tǒng)相機(jī)標(biāo)定獲取的內(nèi)外參數(shù)能夠解算像素位移與物理位移的比例。通過借助Halcon軟件中的相機(jī)標(biāo)定助手完成標(biāo)定。在固定相機(jī)位姿下,采集15張左右不同位姿擺放的標(biāo)定板圖像。加載并檢查圖像質(zhì)量,剔除不滿足要求的圖像并重新拍攝。選擇其中一張圖片作為參考位姿,得到標(biāo)定結(jié)果。
但是傳統(tǒng)標(biāo)定的過程煩瑣,同時會引入一些誤差,直接影響測速結(jié)果的精度。據(jù)此提出一種利用目標(biāo)本身物理尺寸與圖像中目標(biāo)像素尺寸比例關(guān)系來換算位移的改進(jìn)二維測量模型法。
2.3.1 改進(jìn)二維計量模型法
其原理如式(6)所示,假設(shè)獲取的目標(biāo)物理尺寸準(zhǔn)確,求得的圖像中目標(biāo)所對應(yīng)的像素尺寸越精確,則換算物理位移的精度就越高。
(6)
Halcon軟件中定義了一種測量模型來獲取圖像中某物體的像素尺寸。首先,構(gòu)建矩形ROI測量區(qū)域并在區(qū)域內(nèi)畫出垂直于區(qū)域輪廓線的等距線。其次,計算每條等距線的平均灰度值,得出輪廓線的灰度直方圖,并將其一階導(dǎo)數(shù)的極值點(diǎn)作為邊緣的亞像素精度候選點(diǎn)。最后,通過人為設(shè)定閾值從候選點(diǎn)中確定邊緣點(diǎn)。
改進(jìn)測量模型法是在建立測量模型的基礎(chǔ)上,融合邊緣提取和最小二乘法擬合的思想解決測量模型中邊緣判定困難的問題,并依據(jù)模板匹配得到的目標(biāo)質(zhì)心像素坐標(biāo)為初始模型的創(chuàng)建提供更準(zhǔn)確的模型中心點(diǎn)坐標(biāo),精確求解目標(biāo)的像素尺寸。具體步驟如下:
(1)選取預(yù)處理后圖像序列中目標(biāo)較為清晰的一幀,并記錄其經(jīng)過模板匹配得到的目標(biāo)質(zhì)心像素坐標(biāo)。
(2)目標(biāo)圖像邊緣提?。簽樘崛〕鲂Ч^好的目標(biāo)邊緣,分別用Prewitt算子、Sobel算子和Canny算子對圓環(huán)工件圖像進(jìn)行邊緣提取對比實驗,結(jié)果如圖3所示??梢钥闯鯟anny算子性能較強(qiáng),提取的邊緣輪廓清晰且連續(xù)。
圖3 不同算子的圖像邊緣提取結(jié)果對比圖
(3)最小二乘法邊緣擬合:邊緣提取得到的邊緣輪廓線一般情況下是不完整的,利用最小二乘法對邊緣輪廓線進(jìn)行擬合操作補(bǔ)全;
(4)二維測量模型求像素尺寸:首先,將目標(biāo)的XLD邊緣輪廓線轉(zhuǎn)換成IMAGE圖像。得到的邊緣輪廓圖像僅強(qiáng)調(diào)顯示了目標(biāo)輪廓信息,其圖像灰度值是0或255,也就是非黑即白,在后續(xù)測量中不受最小邊緣幅度、平滑系數(shù)(sigma)以及插值方式的影響。其次,輸入當(dāng)前幀目標(biāo)質(zhì)心像素坐標(biāo),創(chuàng)建測量模型并調(diào)整參數(shù)。最后,完成目標(biāo)像素尺寸的測量,結(jié)果如圖4所示。
圖4 二維測量模型圖
測速方法的實驗驗證平臺構(gòu)建如圖5所示。實驗中使用2000萬像素卷簾快門的CCD工業(yè)相機(jī),搭配焦距為35mm的鏡頭,設(shè)置快門速度為千分之一,幀率為16。為獲取清晰的邊緣細(xì)節(jié),減輕目標(biāo)的運(yùn)動拖影現(xiàn)象,設(shè)置了環(huán)形LED直射式光源,從而顯著提高圖像質(zhì)量。通過程序驅(qū)動交叉軸步進(jìn)電機(jī),實現(xiàn)二維平面內(nèi)的高精度定速運(yùn)動。
圖5 實驗平臺
為驗證文中算法在換算像素位移與物理位移時精度較高的優(yōu)勢,與傳統(tǒng)標(biāo)定方法進(jìn)行對比實驗。分別利用本文算法和傳統(tǒng)標(biāo)定法求得此平臺上換算比例。在平臺上采集不同物理尺寸和形狀的工件圖像并分別解算工件實際尺寸,實驗結(jié)果如表1所示。
表1 換算精度對比表
表中結(jié)果顯示,文中算法的換算結(jié)果相較于傳統(tǒng)標(biāo)定方法,相對誤差更低,更加穩(wěn)定。
為驗證文中提出的測速方法能夠精確測速,利用本文提出的基于混合高斯模型和模板匹配結(jié)合的方法,對不同形狀的目標(biāo),分別設(shè)定步進(jìn)電機(jī)以1 mm/s、5 mm/s和10 mm/s的運(yùn)行速度進(jìn)行測速實驗。得到該平臺上不同形狀目標(biāo)的定位情況,如圖6所示。通過換算得到不同形狀目標(biāo)的速度變化情況,如圖7所示。
圖6 目標(biāo)定位結(jié)果圖
圖7 測速結(jié)果圖
表2 測速精度表
表中結(jié)果顯示,對于不同形狀和不同運(yùn)動速度的目標(biāo),測速結(jié)果的相對誤差均在5%以內(nèi),證明了該算法的有效性和準(zhǔn)確性。
提出了一種模板匹配融合混合高斯模型的測速方法。針對復(fù)雜背景,混合高斯模型通過自動更新背景模型能得到相較于傳統(tǒng)背景差分更穩(wěn)定的前景提取效果。然后對模板匹配的參數(shù)設(shè)置進(jìn)行優(yōu)化,進(jìn)一步提高匹配的成功率。最后使用改進(jìn)的二維測量模型法精確獲取目標(biāo)對應(yīng)的像素尺寸,通過目標(biāo)物理尺寸與像素尺寸的比例關(guān)系來換算實際速度。
該算法也存在一些尚需思考解決的問題。雖然本文算法對光照的魯棒性有所提高,但仍需要較為穩(wěn)定的光照條件。相機(jī)視野中心附近所測量的數(shù)據(jù),精度更佳,越靠近相機(jī)視野周邊位置,受成像畸變的影響,測量誤差相對較大。未來要提升該測速算法的精度以及穩(wěn)定性,還需要對這些因素進(jìn)一步分析和優(yōu)化。