基于機(jī)器視覺(jué)的非透明筆芯尾塞油高度檢測(cè)技術(shù)?

胡東紅 郭亨長(zhǎng) 王香華 曹祥楊 陳 廣

（1.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院 武漢 430062）（2.上海晨光文具股份有限公司 上海 201406）

1 引言

制造業(yè)在國(guó)民經(jīng)濟(jì)發(fā)展中扮演了重要的角色［1］。從制筆行業(yè)來(lái)看，我國(guó)制筆工業(yè)的發(fā)展開(kāi)始于建國(guó)初期，至今已走過(guò)六十多年的發(fā)展歷程，大體經(jīng)歷了萌芽初期、調(diào)整改組、滯產(chǎn)短缺、高速發(fā)展四個(gè)階段［2］。國(guó)內(nèi)主流的制筆廠，年產(chǎn)筆芯在十億支以上，盡管筆芯內(nèi)灌注油墨和尾油的工藝已經(jīng)十分發(fā)達(dá)，但是總有5%左右的筆芯油墨和尾油灌注量未達(dá)到要求?，F(xiàn)實(shí)的問(wèn)題是，市場(chǎng)每年對(duì)芯管材質(zhì)完全不透明的筆芯需求大約有1億支，對(duì)一個(gè)主流的制筆企業(yè)來(lái)說(shuō)，每年大約需要生產(chǎn)3千萬(wàn)支不透明的筆芯，這其中大約有150萬(wàn)支筆芯存在油墨和尾油灌裝不合格。

對(duì)于芯管材質(zhì)透明、半透明的筆芯，可以采用筆芯側(cè)面透光自動(dòng)檢測(cè)油墨和尾油高度。這種檢測(cè)方式簡(jiǎn)便快捷，易于實(shí)現(xiàn)，成本低。但是對(duì)于完全不透明的筆芯，現(xiàn)在主要依靠熟練的技術(shù)工人，在強(qiáng)光照射下采用目測(cè)的方式，從筆芯尾部觀察油墨和尾塞油高度，從而將不合格筆芯挑選出來(lái)。這種檢測(cè)方式主要通過(guò)看點(diǎn)的顏色和大小來(lái)判斷筆芯中油墨和尾塞油的高度是否合格，從而篩選出不合格筆芯。這種依賴(lài)人工的檢測(cè)方式，極易引起視覺(jué)疲勞，并且存在看臺(tái)能力低、勞動(dòng)強(qiáng)度大、可靠性差、實(shí)時(shí)性差、效率低等問(wèn)題，不能滿(mǎn)足自動(dòng)化生產(chǎn)的需要。因此，本文針對(duì)筆芯油墨高度檢測(cè)提出一種基于機(jī)器視覺(jué)的筆芯油墨高度快速檢測(cè)方法和裝置。

2 筆芯油墨高度檢測(cè)的機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)

檢測(cè)裝置主要組成部分包括工業(yè)相機(jī)、鏡頭、光源、觸發(fā)器和工控機(jī)。其中，工業(yè)相機(jī)和觸發(fā)器的選型是該檢測(cè)裝置的核心。由于要求檢測(cè)精度高，而筆芯傳送帶的速度又很快，需要選擇分辨率和幀率較高的工業(yè)相機(jī)。綜合考慮成本及各項(xiàng)因素，最終選擇了大恒圖像型號(hào)為MER-131-210U3M的工業(yè)相機(jī)。這是一款采用CMOS感光器的數(shù)字相機(jī)，能采用外部觸發(fā)的方式進(jìn)行圖像采集，通過(guò)USB-3.0數(shù)據(jù)接口傳輸圖像數(shù)據(jù)。選擇了基恩士的型號(hào)為PR-FB30N3的超小型放大器內(nèi)置型光電傳感器對(duì)流水線上的筆芯進(jìn)行觸發(fā)，為相機(jī)提供觸發(fā)信號(hào)。

為了滿(mǎn)足自動(dòng)化檢測(cè)的需求，需要在不影響現(xiàn)有筆芯流水生產(chǎn)線的運(yùn)行的情況下，將圖像采集裝置與工業(yè)流水線生產(chǎn)結(jié)合起來(lái)。檢測(cè)裝置總體架構(gòu)頂視圖如圖1所示，筆芯放置在流水線傳送裝置上，同軸光源和相機(jī)對(duì)準(zhǔn)筆芯尾部，光源光線方向和相機(jī)光軸與筆芯軸線平行，傳感器安裝在相機(jī)鏡頭前的筆芯上方。傳感器與工業(yè)相機(jī)相連，工業(yè)相機(jī)與工控機(jī)相連。

圖1 筆芯尾塞油快速圖像檢測(cè)裝置頂視圖

將筆芯尾塞油灌裝量合格的筆芯放置在流水線上，對(duì)準(zhǔn)相機(jī)鏡頭，調(diào)節(jié)相機(jī)焦距，直到筆芯尾部中心圖像清晰，保持當(dāng)前焦距不變；然后開(kāi)動(dòng)流水線，讓筆芯尾塞油灌裝量合格的筆芯隨流水線移動(dòng)，從鏡頭前通過(guò)，觸發(fā)傳感器，相機(jī)和計(jì)算機(jī)在接收到傳感器信號(hào)后，采集筆芯尾部圖像，并作為標(biāo)準(zhǔn)圖像存儲(chǔ)在計(jì)算機(jī)內(nèi)，采集的圖像如圖2所示。

圖2 從筆芯尾部采集的圖像

在實(shí)際生產(chǎn)過(guò)程中，流水線上筆芯從相機(jī)鏡頭前經(jīng)過(guò)，筆芯觸發(fā)傳感器信號(hào)，傳感器向相機(jī)和計(jì)算機(jī)發(fā)出信號(hào)，表示筆芯到達(dá)相機(jī)鏡頭前；相機(jī)和計(jì)算機(jī)在接收到該傳感器信號(hào)后，相機(jī)拍攝圖像，并傳送給計(jì)算機(jī)；計(jì)算機(jī)將該筆芯尾部圖像與標(biāo)準(zhǔn)筆芯尾部圖像進(jìn)行比對(duì)，從而判斷該筆芯尾塞油灌裝量是否合格。

3 基于離焦模糊的筆芯油墨高度檢測(cè)

3.1 離焦測(cè)距

1987年，Penland首次提出利用離焦圖像來(lái)估計(jì)深度的算法［3］，離焦測(cè)距逐漸被應(yīng)用于視覺(jué)測(cè)量領(lǐng)域。Subbarao M和Gurumoorthy N改進(jìn)了Pent?land的算法，通過(guò)擴(kuò)展函數(shù)的參數(shù)關(guān)系來(lái)表示鏡頭與被測(cè)物體之間的關(guān)系，從而求出物體的深度［4］。Subbarao利用不同散焦程度圖像的頻譜來(lái)檢測(cè)物體深度［5］。Klarquist和 Geisler提出了其他新的思路，算法的主要核心是在多張不同的散焦圖像上，根據(jù)最大似然估計(jì)法求得物體的深度［6］。但是這些方法存在局限性，不能廣泛應(yīng)用于實(shí)際的工業(yè)生產(chǎn)檢測(cè)當(dāng)中。

圖3表示的是一個(gè)邊界景物經(jīng)過(guò)光學(xué)成像系統(tǒng)成像之后，變得模糊的過(guò)程。成像過(guò)程可以看作是點(diǎn)擴(kuò)展函數(shù)對(duì)景物進(jìn)行卷積［7］?？梢钥闯銮逦木拔镞吔缭诰矸e后，變得模糊。一般情況下，如果求出點(diǎn)擴(kuò)展函數(shù)，就可以通過(guò)逆向工程，由卷積后的模糊邊界推算出景物的真實(shí)邊界。雖然可以通過(guò)手動(dòng)對(duì)焦，多次拍攝不同尾塞油高度的筆芯圖像來(lái)統(tǒng)計(jì)分析，進(jìn)而利用卷積、去卷積或反卷積等逆向工程算法［8］來(lái)估算筆芯尾塞油高度，但是計(jì)算量大、效果得不到保證。但是，對(duì)于成像系統(tǒng)來(lái)說(shuō)，所獲取的圖像的清晰程度可以直接反應(yīng)其離焦程度［9］。可以通過(guò)計(jì)算筆芯尾端圖像中心位置的像斑模糊程度來(lái)估算筆芯尾塞油在筆芯管中所處高度。

圖3 景物邊界經(jīng)過(guò)成像后變模糊示意圖

3.2 清晰度評(píng)價(jià)函數(shù)

圖像清晰度評(píng)價(jià)函數(shù)一般被用在基于數(shù)字圖像處理的自動(dòng)調(diào)焦方法中，它通過(guò)圖像清晰度評(píng)價(jià)函數(shù)來(lái)判斷所拍攝的圖像是否聚焦［10］，來(lái)達(dá)到自動(dòng)調(diào)焦的目的。在本文中，通過(guò)檢測(cè)中心圓斑的清晰度來(lái)反映其散焦的程度，從而達(dá)到筆芯管中油墨高度檢測(cè)的目標(biāo)。所以設(shè)計(jì)的清晰度評(píng)價(jià)函數(shù)是否準(zhǔn)確有效決定著高度檢測(cè)是否準(zhǔn)確。一般而言，評(píng)價(jià)函數(shù)要具備良好的單峰性、無(wú)偏性、抗噪性、靈敏性［11］。下面將介紹幾種常見(jiàn)的清晰度評(píng)價(jià)函數(shù)。

3.2.1 灰度變化函數(shù)

因?yàn)榫劢箞D像有著更多的灰度變化，所以對(duì)比散焦圖像，它表現(xiàn)得更加清晰，所以通過(guò)計(jì)算圖像的灰度變化，也能對(duì)圖像清晰度做出評(píng)估。其中灰度方差函數(shù)通過(guò)計(jì)算圖像的灰度方差來(lái)評(píng)價(jià)圖像清晰度。可表示為

其中I為整個(gè)圖像的平均灰度值。也可以通過(guò)累積圖像相鄰像素灰度值來(lái)估計(jì)圖像清晰度?？杀硎緸?/p>

3.2.2 梯度函數(shù)

圖像梯度經(jīng)常用于圖像處理中檢測(cè)圖像邊緣，聚焦圖像的邊緣比離焦圖像更加鋒利，所以會(huì)有更大的圖像梯度值，因此也能作為評(píng)價(jià)圖像清晰度的依據(jù)。其中平方梯度聚焦評(píng)價(jià)函數(shù)通過(guò)差分計(jì)算微分，將微分值平方來(lái)凸顯梯度。可表示為

TenenGrad聚焦評(píng)價(jià)函數(shù)通過(guò)Sobel算子求取圖像在水平和垂直方向的梯度［12］。表示為

其中 Gx(x，y)、Gy(x，y)分別是圖像與Sobel算子的卷積。四鄰域微分法通過(guò)拉普拉斯算子得到四鄰域微分來(lái)表征圖像清晰度［13］?？杀硎緸?/p>

3.2.3 差的平方和

差的平方和（SSD）是一種最簡(jiǎn)單的對(duì)比計(jì)算方法，計(jì)算對(duì)應(yīng)位置像素的差值來(lái)衡量圖像的差異，可以表示為

SSD值越大，表示差異度越大。

3.2.4 峰值信噪比

峰值信噪比（PSNR）是最普遍、使用最為廣泛的一種圖像客觀評(píng)價(jià)指標(biāo)。它是一種全參考的圖像評(píng)價(jià)指標(biāo)，能夠衡量圖像失真程度和噪聲水平，不考慮人眼對(duì)低頻對(duì)比差異敏感的特性，只考慮對(duì)應(yīng)像素點(diǎn)間的誤差［14］?？梢员硎緸?/p>

其中max表示是圖像顏色的最大數(shù)值，一般灰度圖像取255。MSE表示均方差，可以定義為

PSNR的單位是dB，數(shù)值越大表示失真越小。

3.2.5 結(jié)構(gòu)相似性

結(jié)構(gòu)相似性（SSIM）是用方程和均方差來(lái)計(jì)算兩幅圖像的相似程度［15］。設(shè)有X、Y兩個(gè)圖像，uX、uy分別表示兩個(gè)圖像各自的均值，σx、σy分別表示其方差，σxy表示它們的協(xié)方差，結(jié)構(gòu)相似性分別從亮度、對(duì)比度、結(jié)構(gòu)三個(gè)方面來(lái)衡量?jī)蓚€(gè)圖像的相似程度，可以用下面三個(gè)式子表示：

其中c1、c2、c3是3個(gè)常數(shù)，用來(lái)避免分母為0的情k1、k2、b分別取0.01、0.03和255。

結(jié)構(gòu)相似性表示為

它的取值范圍為［0，1］，取值越大，圖像越相似。

3.2.6 基于邊緣梯度的清晰度檢測(cè)

圓斑的中心像素點(diǎn)灰度值最大，然后灰度值以圓環(huán)的形式依次向外遞減，即以中心點(diǎn)為出發(fā)點(diǎn)向任意方向發(fā)散的像素點(diǎn)灰度值呈單調(diào)遞減的趨勢(shì)。邊緣保持濾波在濾除噪聲的情況下，很大程度上保持了這種遞減趨勢(shì)，但是沒(méi)有濾除的噪聲導(dǎo)致的灰度下降也可能被認(rèn)作邊緣。

基于上述討論，為了克服噪聲影響并減少計(jì)算量，可以在每個(gè)發(fā)散方向上每隔幾個(gè)像素點(diǎn)取一個(gè)像素，這樣可以減少平坦區(qū)域的影響。由于每個(gè)方向可能會(huì)有多個(gè)灰度的階躍變換，如果將所有像素點(diǎn)都計(jì)入考慮，那么將使得最終的灰度梯度值平坦化。通過(guò)觀察圖像，可以看到亮斑中間有個(gè)較為清晰的圓斑，呈現(xiàn)出明顯的梯度變化。為了滿(mǎn)足檢測(cè)結(jié)果的單峰性要求，可以只計(jì)算出這個(gè)梯度下降。具體步驟如下：

1）對(duì)圖像使用邊緣保持濾波，濾除噪聲的同時(shí)保持邊緣梯度；

2）以中心點(diǎn)為圓心，按半徑的方向等角度取多條路徑。為了簡(jiǎn)化計(jì)算，降低孤立噪聲的干擾，可以等間隔在路徑上選取多個(gè)像素點(diǎn)，找出這些像素點(diǎn)中的灰度值連續(xù)下降點(diǎn)；

3）使用直線擬合的方法計(jì)算出連續(xù)下降點(diǎn)的斜率，以此來(lái)表示對(duì)應(yīng)路徑的梯度下降；

4）對(duì)所有路徑的梯度下降排序，選擇中間的幾個(gè)做求和平均運(yùn)算，以此來(lái)表示整個(gè)圖像的清晰度。

4 不同油墨高度筆芯的檢測(cè)試驗(yàn)

通過(guò)定位筆芯尾端中心，取得反映筆芯油墨高度的矩形區(qū)域，通過(guò)評(píng)估矩形區(qū)域中圓斑的模糊程度來(lái)估量油墨高度。如圖4所示，分別為靜態(tài)條件下測(cè)得的筆芯尾端中心圖像，筆芯油墨高度依次下降1mm，其中第5張為標(biāo)準(zhǔn)油墨高度的筆芯圖像。通過(guò)直接觀察，可以看出油墨高度偏離標(biāo)準(zhǔn)高度越遠(yuǎn)，那么得到的圖像越模糊。

對(duì)于以上實(shí)際采集的圖像分別使用灰度方差法、差的平方和法、結(jié)構(gòu)相似性法和邊緣梯度法的歸一化結(jié)果如圖5所示?？梢钥闯鍪褂没叶确讲罘ê徒Y(jié)構(gòu)不滿(mǎn)足單峰性，差的平方和法無(wú)偏性較差，邊緣梯度法的效果較好。通過(guò)設(shè)置合適的閾值，可以利用此方法和檢測(cè)裝置剔除掉油墨偏多或者偏少的筆芯。

圖4 尾塞油高度位置為16mm～25mm時(shí)的筆芯尾端圖像

圖5 筆芯尾塞油圖像清晰度評(píng)價(jià)結(jié)果

5 結(jié)語(yǔ)

自動(dòng)化生產(chǎn)是制造業(yè)發(fā)展的一種趨勢(shì)。隨著制筆行業(yè)的快速發(fā)展，生產(chǎn)自動(dòng)化程度的日益提高，機(jī)器視覺(jué)技術(shù)已受到越來(lái)越多的青睞，對(duì)于制筆行業(yè)來(lái)說(shuō)，推進(jìn)機(jī)器視覺(jué)技術(shù)在制筆加工檢測(cè)中的應(yīng)用，加速自動(dòng)化發(fā)展也是勢(shì)在必行。本文提出的筆芯油墨高度快速檢測(cè)裝置基于機(jī)器視覺(jué)技術(shù)，通過(guò)不同油墨高度的筆芯具有不同散焦模糊程度這一特征實(shí)現(xiàn)了不合格灌墨量筆芯的剔除。同傳統(tǒng)的檢測(cè)方法做對(duì)比，它具有非接觸、精度高、效率高的優(yōu)勢(shì)，展現(xiàn)出了光學(xué)機(jī)器視覺(jué)技術(shù)在制筆行業(yè)加工檢測(cè)領(lǐng)域中很好的應(yīng)用前景。