基于雙目視覺(jué)的玻璃料滴體積測(cè)量方法①

方 陳, 鄒光明, 侯 宇, 劉源泂, 肖 灑, 許家旺

1(武漢科技大學(xué) 冶金裝備及其控制教育部重點(diǎn)實(shí)驗(yàn)室, 武漢 430081)

2(武漢科技大學(xué) 機(jī)械傳動(dòng)與制造工程湖北省重點(diǎn)實(shí)驗(yàn)室, 武漢 430081)

目前, 在工業(yè)領(lǐng)域中玻璃制品具有衛(wèi)生、外形美觀、耐高溫、耐腐蝕等特點(diǎn), 已在醫(yī)藥、衛(wèi)生、化工等領(lǐng)域中有十分廣泛的應(yīng)用[1]. 玻璃制造過(guò)程中的第一步就是將玻璃配合料熔制成均勻無(wú)氣泡且符合成型要求的玻璃料滴, 玻璃料滴的質(zhì)量控制直接影響產(chǎn)品成品率.玻璃料滴質(zhì)量的檢測(cè)以往多是由人工檢測(cè), 不僅效率低還易受環(huán)境影響, 穩(wěn)定性較差[2]. 因此, 研究一種非接觸式的測(cè)量方法有利于提高生產(chǎn)效率和產(chǎn)品合格率. 雙目立體視覺(jué)是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法. 吳琪波[3]通過(guò)半全局匹配算法獲得圖片的深度信息, 提取目標(biāo)高度信息和上表面積, 得到目標(biāo)物體體積. 丁嗣禹等[4]通過(guò)插值算法填充視差圖中的空洞, 用閾值分割算法提取出了堆料區(qū)域的結(jié)構(gòu)信息. 梁樂(lè)[5]通過(guò)最小切割算法提升了立體匹配算法精度, 更加完整的重建出待測(cè)物體的三維坐標(biāo)信息. 料滴經(jīng)過(guò)剪刀剪切后, 在下落過(guò)程中會(huì)發(fā)生空間上的偏轉(zhuǎn). 利用外截面面積和視差填充[6]測(cè)量料滴體積及質(zhì)量會(huì)產(chǎn)生較大誤差, 三維重建方法[7]計(jì)算較為復(fù)雜, 不能滿足實(shí)時(shí)測(cè)量需求. 本文通過(guò)搭建冷態(tài)玻璃料滴測(cè)量系統(tǒng), 基于雙目立體視覺(jué)獲得料滴的三維信息, 提出一種空間校正切片法來(lái)完成玻璃料滴的非接觸式測(cè)量.

1 實(shí)驗(yàn)系統(tǒng)及雙目視覺(jué)測(cè)量模型

1.1 實(shí)驗(yàn)系統(tǒng)及算法流程

實(shí)驗(yàn)裝置如圖1所示. 主要包括料滴接受裝置、料滴模擬運(yùn)動(dòng)裝置和CCD攝像頭, 用密度均勻的黏土來(lái)模擬玻璃料滴, 測(cè)量采用?？低暤?2 臺(tái)型號(hào)為MV-CE060-10UC攝像頭進(jìn)行采集, 采集下落過(guò)程中的料滴圖像進(jìn)行處理并獲取結(jié)果.

圖1 實(shí)驗(yàn)裝置

圖像處理算法主要包括5個(gè)模塊: 攝像機(jī)標(biāo)定、圖像校正、特征輪廓提取、立體匹配和空間校正切片法求體積. 處理流程如圖2所示.

圖2 圖像處理算法流程圖

1.2 雙目視覺(jué)測(cè)量模型

雙目立體視覺(jué)模型如圖3所示. 世界坐標(biāo)系中任意點(diǎn)A(X,Y,Z)在雙目攝像機(jī)采集的左右圖像的投影分別為al(ul,vl)和ar(ur,vr). 這兩個(gè)像素點(diǎn)坐標(biāo)結(jié)合攝像機(jī)內(nèi)外參數(shù), 通過(guò)計(jì)算獲得空間中待測(cè)點(diǎn)A的三維空間坐標(biāo).

圖3 雙目視覺(jué)測(cè)量原理

綜上所述, 整個(gè)成像系統(tǒng)可用式(1)表示:

2 圖像處理及立體匹配

2.1 攝像機(jī)標(biāo)定

首先通過(guò)張正友平面標(biāo)定法[8]得到攝像機(jī)的內(nèi)外參數(shù), 可計(jì)算求得兩攝像機(jī)之間的旋轉(zhuǎn)平移矩陣, 標(biāo)定過(guò)程如下: 若棋盤(pán)格上有任意一點(diǎn)P在世界坐標(biāo)系中為PW, 則點(diǎn)P點(diǎn)在左右兩個(gè)攝像機(jī)坐標(biāo)系中的坐標(biāo)分別為:

選擇左攝像機(jī)坐標(biāo)系為雙目立體視覺(jué)系統(tǒng)的基準(zhǔn)坐標(biāo)系, 因此,Pr和Pl應(yīng)滿足:

聯(lián)立式(2), 式(3)可以得到左右攝像機(jī)坐標(biāo)之間的變換關(guān)系:

其中,R和T分別為旋轉(zhuǎn)矩陣和平移向量. 本次采集的標(biāo)定板圖像如圖4所示, 拍攝多組不同位置的標(biāo)定板圖像, 基于Matlab中的Stereo CameraCalibration工具箱對(duì)左右相機(jī)采集到的棋盤(pán)格標(biāo)定板圖片完成左右相機(jī)的標(biāo)定, 對(duì)多組外參數(shù)進(jìn)行非線性優(yōu)化, 得到立體標(biāo)定最優(yōu)的外參數(shù)R和T.

圖4 實(shí)驗(yàn)標(biāo)定板圖像

2.2 圖像校正

由于兩個(gè)相機(jī)的安裝不可能完全平行, 使得左右相機(jī)獲取的圖片存在細(xì)微的角度偏差, 為了保證雙目圖像在同一平面上使左右圖像對(duì)應(yīng)極線平行, 以提高立體匹配速度及精度, 需要對(duì)左右相機(jī)采集到的圖像進(jìn)行校正. 圖像的畸變使用BOUGUET校正算法對(duì)采集的圖像對(duì)進(jìn)行校正, 能夠很好地消除相機(jī)產(chǎn)生的畸變和誤差[9].

2.3 特輪廓提取

中值濾波是一種空間濾波方法, 能有效抑制圖像中的噪聲, 料滴圖像采用中值濾波能較好地保護(hù)邊緣信息[10]. 圖5為料滴輪廓提取的過(guò)程, 濾波后圖像如圖5(b). 迭代式閾值分割是自動(dòng)計(jì)算閾值, 實(shí)現(xiàn)簡(jiǎn)單且計(jì)算量小, 便于實(shí)時(shí)檢測(cè). 本文選擇使用迭代式閾值分割算法來(lái)分割圖像. 閾值分割后后圖像如圖5(c)所示.

圖5 料滴輪廓提取過(guò)程

2.4 融合梯度信息的Census變換立體匹配算法

Census變換的基本原理是: 在一個(gè)變換窗口內(nèi), 將窗口中每個(gè)像素的灰度值與領(lǐng)域像素的灰度值進(jìn)行比較并映射到一個(gè)比特串. 選擇一個(gè)5×5 的矩形窗口遍歷整個(gè)圖像, 具體定義為:

用 ⊕ 來(lái)表示漢明距離算子, 則基于Census變換的匹配代價(jià)計(jì)算:

圖像梯度信息包含了豐富結(jié)構(gòu)信息, 能反映圖像灰度變化的速度, 灰度變化較大的區(qū)域經(jīng)常發(fā)生在圖像的邊緣位置[11]. 在Census算法的基礎(chǔ)上, 融入圖像的梯度信息, 能夠更清晰地表現(xiàn)圖像邊緣的信息, 能夠增強(qiáng)立體匹配在邊緣匹配的準(zhǔn)確度. 融合梯度信息的Census匹配代價(jià)計(jì)算方法為:

視差圖如圖6所示.

圖6 料滴視差圖

3 料滴體積測(cè)量方法

3.1 垂直下落狀態(tài)方法分析

通過(guò)觀察常見(jiàn)料滴形狀具有回轉(zhuǎn)體特征, 因此可利用其任意橫截面為圓形的特征求取料滴體積并計(jì)算其質(zhì)量[12]. 如圖7所示, 按水平切片法原理沿垂直方向掃描料滴圖像,re、rs分別為料滴頂端和底端像素所在的行向量坐標(biāo), 切片厚度Δy為 1 pixel;dr為切片的直徑.料滴的體積可由式(9)求得:

圖7 料滴投影水平分割示意圖

利用m=ρv計(jì)算料滴質(zhì)量(g); ρ為 料滴的密度(g /cm3).

3.2 空間校正切片法

料滴經(jīng)過(guò)剪刀剪切后, 在下落過(guò)程中會(huì)發(fā)生空間上的偏轉(zhuǎn), 此時(shí)將偏轉(zhuǎn)方向分解為相機(jī)平面方向和相機(jī)景深方向. 當(dāng)料滴對(duì)稱軸發(fā)生相機(jī)平面偏轉(zhuǎn)時(shí), 料滴水平截面發(fā)生變形, 影響水平切片法計(jì)算精度. 利用最小外接矩形算法[13]確定對(duì)稱軸和偏轉(zhuǎn)角度, 然后將料滴校正至水平方向. 如圖8(a)所示, 圖像最小外接矩形的高邊角度可以反映出料滴圖像的方向信息. 如圖8(b)所示, 過(guò)對(duì)稱軸線AB的中點(diǎn)O作垂線交輪廓線于E,F點(diǎn), 再分別過(guò)AO,BO的中點(diǎn)作垂線交輪廓線于點(diǎn)C,D,G和H.

圖8 最小外接矩形實(shí)驗(yàn)

為了驗(yàn)證最小外接矩形算法選取對(duì)稱軸的準(zhǔn)確度,引入判斷料滴關(guān)于軸線是否對(duì)稱的變量Lλ:

其中,L1,L2,L3,L4,L5和L6, 分別為C,D,E,F,G和H到掃描直線的距離. 若Lλ的值越小, 則料滴關(guān)于對(duì)稱軸的對(duì)稱性越好. 選擇合適的對(duì)稱軸按切片法原理計(jì)算料滴體積.

相機(jī)景深方向的偏轉(zhuǎn)如圖9所示, 景深方向的偏轉(zhuǎn)影響了對(duì)稱軸的高度, 料滴真實(shí)高度為l2, 圖像上投影高度為l1, 其對(duì)稱軸高度影響的是切片的數(shù)量, 影響結(jié)果的準(zhǔn)確性. 在三角形ABC中, 利用視差變化計(jì)算出景深方向偏轉(zhuǎn)的距離BC, 結(jié)合投影對(duì)稱軸高度AC,計(jì)算出料滴真實(shí)對(duì)稱軸高度AB. 表達(dá)式如下:

圖9 相機(jī)景深方向偏轉(zhuǎn)示意圖

如圖10雙目視覺(jué)橫向模式成像示意圖, 景深與視差成反比, 其公式為:

圖10 雙目橫向模式成像示意圖

其中,f為焦距,b為 左右攝像機(jī)之間的距離,xl,xr分別為左右圖像的像素點(diǎn)距離各自中心點(diǎn)的距離. 對(duì)于左圖像的任意一個(gè)像素點(diǎn)xl, 都在右圖中找到相對(duì)應(yīng)的極線, 然后掃描極線找到最匹配的點(diǎn)xr, 最后計(jì)算視差, 并根據(jù)公式xl-xr求取景深.

聯(lián)立式(11), 式(12)可以得真實(shí)對(duì)稱軸高度l2表達(dá)式如下:

其中,Za,Zb分別為料滴圖像上下頂點(diǎn)景深.

料滴對(duì)稱軸高度變化產(chǎn)生了如圖11所示隱式切片,隱式切片高度為l2-l1, 隱式切片的直徑dr可計(jì)為料滴切片直徑的算術(shù)平均數(shù). 隱式切片體積Vs計(jì)算公式如下:

圖11 隱式切片示意圖

隱式切片體積可補(bǔ)償在最小外接矩形切片法中因料滴發(fā)生相機(jī)景深方向偏轉(zhuǎn)產(chǎn)生的影響.

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證空間校正切片法在發(fā)生空間偏轉(zhuǎn)狀態(tài)下的準(zhǔn)確性及實(shí)用性, 在實(shí)驗(yàn)過(guò)程中模擬3種下落狀態(tài), 分為垂直下落、發(fā)生相機(jī)平面方向偏轉(zhuǎn)下落、發(fā)生空間偏轉(zhuǎn)下落. 選取質(zhì)量分布均勻且在常用質(zhì)量區(qū)間的3個(gè)料滴分別模擬在3種狀態(tài)的圖像如圖12所示, 其中, 編號(hào)a、d、g為垂直下落狀態(tài), 編號(hào)b、e、h為發(fā)生相機(jī)平面方向偏轉(zhuǎn)下落狀態(tài), 編號(hào)c、f、i為發(fā)生空間偏轉(zhuǎn)下落狀態(tài). 利用水平切片法、最小外接矩形切片法、空間校正切片法分別計(jì)算3組料滴在3種狀態(tài)的測(cè)量體積, 表1所示為實(shí)驗(yàn)測(cè)量數(shù)據(jù). 將由表1得到的3種方法測(cè)量體積相對(duì)誤差進(jìn)行比較, 結(jié)果如圖13.

圖12 不同狀態(tài)料滴圖像

圖13 3種方法對(duì)不同料滴的測(cè)量誤差比

表1 實(shí)驗(yàn)料滴體積測(cè)量數(shù)據(jù)

垂直下落的3組料滴a、d和g三種方法的相對(duì)誤差均在1%以內(nèi). 對(duì)于發(fā)生相機(jī)平面方向偏轉(zhuǎn)的料滴b、e和h, 水平切片法相對(duì)誤差達(dá)到5%以上, 而最小外接矩形切片法相對(duì)誤差降至1%–2%, 最小外接矩形切片法對(duì)發(fā)生相機(jī)平面方向偏轉(zhuǎn)的料滴精確度有明顯提高. 發(fā)生空間偏轉(zhuǎn)的料滴c、f和i, 水平切片法誤差較大, 其中料滴i相對(duì)誤差達(dá)到9.25%, 最小外接矩形切片法可提高測(cè)量準(zhǔn)確度, 其測(cè)量相對(duì)誤差可降至3%左右, 而空間校正切片法可進(jìn)一步測(cè)量精度, 其相對(duì)誤差降至1%以內(nèi). 空間校正切片法對(duì)發(fā)生空間偏轉(zhuǎn)的料滴有較為穩(wěn)定的測(cè)量精度, 基本能控制在1%以內(nèi). 3種測(cè)量方法測(cè)量的平均誤差與標(biāo)準(zhǔn)差如表2所示. 水平切片法測(cè)量發(fā)生偏轉(zhuǎn)的料滴相對(duì)誤差誤差較大, 最小外接矩形切片法測(cè)量穩(wěn)定性有一定提高, 空間校正切片法具有較高穩(wěn)定性.

表2 不同方法測(cè)量料滴體積的平均誤差與標(biāo)準(zhǔn)差

5 結(jié)論

料滴經(jīng)剪刀剪切在下落過(guò)程中會(huì)發(fā)生空間偏轉(zhuǎn),當(dāng)料滴發(fā)生相機(jī)平面方向偏轉(zhuǎn)后, 切片形狀發(fā)生變化,水平切片法平均誤差明顯上升, 最小外接矩形算法對(duì)相機(jī)平面方向偏轉(zhuǎn)的料滴圖像進(jìn)行校正, 提高了測(cè)量精度. 當(dāng)料滴發(fā)生相機(jī)景深方向偏轉(zhuǎn), 影響切片高度,最小外接矩形切片法對(duì)有相機(jī)景深方向偏轉(zhuǎn)的料滴仍具有較大誤差, 空間校正切片法適用于發(fā)生空間偏轉(zhuǎn)的料滴, 空間校正切片法測(cè)量的平均誤差與標(biāo)準(zhǔn)差分別為0.81%和0.19. 對(duì)于發(fā)生空間偏轉(zhuǎn)的料滴, 空間校正切片法具有較高的測(cè)量精度和穩(wěn)定性.