基于微流控的油液動(dòng)態(tài)磨粒目標(biāo)檢測(cè)方法

蔣志強(qiáng),左洪福,王 涵,郭家琛

(南京航空航天大學(xué)民航學(xué)院，南京 211106)

隨著機(jī)械系統(tǒng)和設(shè)備的復(fù)雜化，故障檢測(cè)的難度也隨之增加。潤(rùn)滑系統(tǒng)作為機(jī)械設(shè)備中極其重要的組成部分，油液檢測(cè)技術(shù)在機(jī)械磨損狀態(tài)監(jiān)測(cè)與故障診斷中發(fā)揮著越來越重要的作用。機(jī)械設(shè)備故障磨損會(huì)產(chǎn)生不同的磨損顆粒[1]，而對(duì)油液中磨粒的識(shí)別檢測(cè)也是一個(gè)重要的研究方向。

近年來國(guó)內(nèi)開始研究在線式油液磨粒監(jiān)測(cè)技術(shù)，但是很多方法無法識(shí)別磨粒的幾何特征信息，對(duì)于粒徑小的顆粒也無法檢測(cè)[2]。為了彌補(bǔ)現(xiàn)在的在線油液監(jiān)測(cè)技術(shù)的不足和缺點(diǎn)，圖像處理技術(shù)的應(yīng)用提供了很好的思路，成為一個(gè)重要的研究方向。基于在線鐵譜圖像的磨粒識(shí)別系統(tǒng)最先是由陶輝等[3]和武通海等[4]提出，此方法將磨粒先沉積下來后進(jìn)行識(shí)別研究，但會(huì)使磨粒堆積過多，影響在線監(jiān)測(cè)效果?；谖⒘黧w與圖像識(shí)別技術(shù)的在線潤(rùn)滑油磨粒分析方法是由郝延龍等[5]提出，此方法能檢測(cè)油液的污染程度，但在線監(jiān)測(cè)的實(shí)時(shí)性不強(qiáng)，功能不完善。本文結(jié)合高速攝像機(jī)，實(shí)現(xiàn)了基于微流控顯微圖像分析技術(shù)的油液動(dòng)態(tài)監(jiān)測(cè)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)，研究了微流動(dòng)顆粒的圖像模糊恢復(fù)方法并且將模糊顆粒圖像恢復(fù)；提出一種基于微流控的油液動(dòng)態(tài)磨粒檢測(cè)方法，首次實(shí)現(xiàn)了磨粒目標(biāo)的單目標(biāo)檢測(cè)，縮短了傳統(tǒng)方法對(duì)磨粒識(shí)別的時(shí)間，保證圖像處理算法的實(shí)時(shí)在線分析。

1 實(shí)驗(yàn)平臺(tái)

分析實(shí)驗(yàn)中結(jié)合的微流控芯片技術(shù)和高速視覺技術(shù)，利用已有的基礎(chǔ)實(shí)現(xiàn)基于微流控顯微圖像分析技術(shù)的油液動(dòng)態(tài)監(jiān)測(cè)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)，系統(tǒng)結(jié)構(gòu)如圖1所示。此系統(tǒng)由單筒顯微鏡、圖像傳感器、高速成像軟件、微量泵、油液微流管路等組成，完成系統(tǒng)在線供油及磨粒圖像的在線采集分析。

圖1 基于微流控顯微圖像分析技術(shù)的油液動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)結(jié)構(gòu)框圖

隨著高速視覺技術(shù)的發(fā)展，高速成像技術(shù)能通過高速攝像機(jī)將過程和細(xì)節(jié)記錄下來并且分析。實(shí)驗(yàn)設(shè)備選用的是大恒高速視覺產(chǎn)品，此數(shù)字?jǐn)z像機(jī)是由大恒圖像最新研發(fā)的緊湊型數(shù)字?jǐn)z像機(jī)，具有高清晰度、高精度、低噪聲等特點(diǎn)。高速成像軟件采用加拿大Norpix公司開發(fā)的高速視頻存儲(chǔ)軟件StreamPix。

采用本系統(tǒng)采集圖像數(shù)據(jù)時(shí)，傳感器和場(chǎng)景之間的均勻線性運(yùn)動(dòng)會(huì)產(chǎn)生圖像模糊現(xiàn)象。本文分析研究圖像的退化模型，應(yīng)用基于退化函數(shù)的方法恢復(fù)磨粒模糊圖像；再采用一種基于視覺顯著性的目標(biāo)檢測(cè)方法，實(shí)現(xiàn)磨粒目標(biāo)檢測(cè)。

2 微流動(dòng)顆粒運(yùn)動(dòng)模糊恢復(fù)

圖像的退化過程被建模為一個(gè)退化函數(shù)H和一個(gè)加性噪聲項(xiàng)n(x,y)，圖像f(x,y)為此過程原圖像，圖像g(x,y)為此過程后的圖像，如圖2所示[6]。

圖2 退化過程模型示意圖

g(x,y)=H[f(x,y)]+n(x,y)=

f(x,y)*h(x,y)+n(x,y)

(1)

式中：*表示卷積；h(x,y)是該退化函數(shù)的空間表示。而且，h(x,y)就是點(diǎn)擴(kuò)散函數(shù)PSF。

此實(shí)驗(yàn)中，由于在獲取圖像時(shí)，傳感器與場(chǎng)景之間是均勻線性運(yùn)動(dòng)而產(chǎn)生圖像模糊，圖像模糊可以使用函數(shù)fspecial來建模。

PSF=fspecial(′motion′,len,theta)

(2)

式中：len表示線性移動(dòng)的尺度，theta表示運(yùn)動(dòng)模糊角度。在此實(shí)驗(yàn)中，磨粒在高速拍攝過程中運(yùn)動(dòng)速度較慢，本文認(rèn)為磨粒短時(shí)間內(nèi)作勻速直線運(yùn)動(dòng)。即theta參數(shù)為0。

計(jì)算退化模型中的運(yùn)動(dòng)模糊尺度len是顆粒模糊圖像復(fù)原的關(guān)鍵。假設(shè)在曝光時(shí)間內(nèi)，磨粒在芯片通道的軸線方向上移動(dòng)len個(gè)像素。如果利用曝光時(shí)間和流速來計(jì)算模糊尺度len的大小，難度較大且誤差很大。因?yàn)槲⒘骺匦酒鞯纼?nèi)的速度分布不均勻，各個(gè)磨粒的流速差異較大且計(jì)算困難，所以本文運(yùn)用基于自相關(guān)函數(shù)的方法估算運(yùn)動(dòng)模糊圖像中的len大小。在勻速直線運(yùn)動(dòng)模糊圖像的頻譜圖中會(huì)出現(xiàn)平行暗條紋，理論和實(shí)驗(yàn)證明暗條紋的方向與模糊方向垂直，模糊尺度就是條紋之間的距離，本文利用此方法，計(jì)算原模糊圖像的自相關(guān)函數(shù)[8]，能較為準(zhǔn)確地計(jì)算出模糊尺度。對(duì)實(shí)驗(yàn)后的磨粒圖像進(jìn)行預(yù)處理，首先需要圖像灰度化處理。采用轉(zhuǎn)換公式如下

G=0.299r+0.587g+0.114b

(3)

式中:G表示圖像的彩色特征量；r表示紅色分量；g表示綠色分量；b表示藍(lán)色分量。使用Sobel算子和得到的灰度圖像做卷積運(yùn)算，卷積需要先將Sobel模板旋轉(zhuǎn)180度。因此Sobel的卷積模板是：

(4)

得到卷積后圖像，再求每行的自相關(guān)函數(shù)：

(5)

其中:l(i)代表第k行中第i+1個(gè)像素的灰度值；N是圖像的行像素?cái)?shù)；m表示整數(shù)；m∈[-N-1,N-1]。

自相關(guān)函數(shù)可以由卷積后的圖像求出，圖像每行對(duì)應(yīng)一個(gè)自相關(guān)函數(shù)，曲線上都有兩個(gè)最低值，這就是共軛相關(guān)峰，分別對(duì)稱分布在最高值的兩側(cè)，如圖4所示。模糊尺度len是兩峰橫坐標(biāo)差值的1/2。根據(jù)圖像的行數(shù)，求得max(k)個(gè)模糊尺度的值，此圖像的模糊尺度就是max(k)個(gè)值中頻率最高的那個(gè)值。此方法的優(yōu)點(diǎn)是能抑制噪聲干擾，提高模糊尺度可靠性與識(shí)別精度。在得出自相關(guān)函數(shù)共軛相關(guān)峰的橫坐標(biāo)差值后，然后求得模糊尺度len，最后對(duì)圖像進(jìn)行復(fù)原。

圖3 磨粒模糊圖像原圖

運(yùn)用前面描述的求圖像自相關(guān)函數(shù)的方法求得圖像的自相關(guān)函數(shù)圖，如圖4，得到兩峰橫坐標(biāo)差值出現(xiàn)頻率最高的值為4，求出整幅圖像的模糊尺度為2pixels。

利用Matlab中的圖像處理函數(shù)實(shí)現(xiàn)維納濾波，得到的磨?；謴?fù)圖像如圖5。

將圖3和圖5對(duì)比分析可知，恢復(fù)圖像中的磨粒的邊界輪廓更加清晰，邊緣的信息相比于原圖更加豐富，此方法也對(duì)圖像基于顯著性目標(biāo)檢測(cè)和磨粒的三維重建奠定了基礎(chǔ)。

圖4 自相關(guān)函數(shù)

圖5 磨粒恢復(fù)圖像

3 基于顯著性的磨粒目標(biāo)檢測(cè)

人類視覺系統(tǒng)在面對(duì)自然場(chǎng)景時(shí)具有快速搜索和定位感興趣目標(biāo)的潛在能力[9]，視覺顯著性檢測(cè)是經(jīng)過某些算法模仿人的視覺，標(biāo)記某些圖像中的感興趣區(qū)域ROI(Region of Interest)[10]，進(jìn)而進(jìn)行某些目標(biāo)的精準(zhǔn)定位與檢測(cè)。本文首次在磨粒圖像上借鑒頻域殘差顯著性[11]的計(jì)算，提取磨粒圖像ROI區(qū)域，然后構(gòu)建磨粒檢測(cè)評(píng)價(jià)指標(biāo)，完成目標(biāo)檢測(cè)。此方法計(jì)算簡(jiǎn)單、有效且速度較快，對(duì)實(shí)現(xiàn)微流顆粒的在線監(jiān)測(cè)具有較大意義。

3.1 顯著性分析

國(guó)內(nèi)外基于顯著性方法已有研究，Achanta等[12]利用局部顏色和亮度特征的對(duì)比多尺度方法求出像素點(diǎn)顯著值，最終得到顯著性圖。Hou等[13-14]提出一種基于頻域的顯著性檢測(cè)方法，將圖像轉(zhuǎn)化到頻譜域進(jìn)行分析，利用離散余弦變換及反變換得到顯著性圖。此方法對(duì)原圖像進(jìn)行離散余弦變換及卷積運(yùn)算，算法簡(jiǎn)單有效、計(jì)算速度快，得到的顯著圖對(duì)后續(xù)處理有較大意義，而且不需要其他對(duì)目標(biāo)識(shí)別的知識(shí)信息。所以，本文將以該方法為基礎(chǔ)研究微流顆粒目標(biāo)的檢測(cè)問題。

令I(lǐng)作為存在磨粒目標(biāo)的灰度圖，那么它能用下面的形式表示出來

I=f+b,I,f,b∈RM×N

(6)

其中：f代表此圖像的前景信息；b表示圖像的背景信息；M，N表示矩陣I，f，b的維度。

王敬凱琢磨，張小波11時(shí)20分放學(xué)，李桂明12時(shí)55分在單位大門口碰到張秋，其間有95分鐘時(shí)間，那么，作案需要多少時(shí)間呢？20分？10分？甚至還短一些？如果真是李桂明作的案，那么，時(shí)間之謎又如何解開呢？王敬凱決定親自試一試。

ImageSignature(I)=sign(DCT(I))

(7)

式中，DCT為離散余弦變換，將圖像變換到頻率域中，sign運(yùn)算定義：

(8)

所得的結(jié)果中包含圖像的前景信息，然后再通過余弦反變換

(9)

(10)

其中：“*”是卷積運(yùn)算；“° ”代表Hadamard乘積；g可以平滑磨粒圖像的顯著圖S，是一種高斯濾波器。

這就是本文基于顯著性理論的磨粒目標(biāo)檢測(cè)方法，這種方法的優(yōu)點(diǎn)是計(jì)算過程不復(fù)雜且目標(biāo)檢測(cè)準(zhǔn)確，正好在基于微流控領(lǐng)域的磨粒識(shí)別方法上能有重要的借鑒意義，對(duì)于此方向的研究也具有重要的現(xiàn)實(shí)意義。

3.2 顯著性檢測(cè)

本文基于此方法首次將微流中磨粒圖像進(jìn)行檢測(cè)實(shí)驗(yàn)，圖6、圖7分別為同一磨粒兩種不同姿態(tài)的顯著性檢測(cè)效果圖。

圖6 姿態(tài)一磨粒的顯著性檢測(cè)效果圖

圖6(a)為磨粒姿態(tài)一的原始圖。圖6(b)是其所對(duì)應(yīng)的三維圖，已將彩色值轉(zhuǎn)化為0-1的漸變值，圖中顏色最深的部分就是磨粒目標(biāo)的所在區(qū)域，周圍區(qū)域也有雜質(zhì)干擾但目標(biāo)相比于背景更加突出。將灰度圖經(jīng)兩次變換后可以得到重構(gòu)圖為圖6(c)。圖6(d)為此算法求出的磨粒目標(biāo)顯著圖，圖中磨粒目標(biāo)區(qū)域明顯突出于其他背景區(qū)域。圖6(e)為磨粒目標(biāo)顯著圖經(jīng)過閾值處理得到的二值圖像，有效地排除了圖像中雜質(zhì)的干擾，識(shí)別確定了圖像中磨粒的位置并且為磨粒的識(shí)別奠定了基礎(chǔ)。圖7中磨粒姿態(tài)二的檢測(cè)過程與圖6同理。

針對(duì)兩種不同姿態(tài)、位置的磨粒圖像進(jìn)行顯著性檢測(cè)效果對(duì)比分析，體現(xiàn)出此算法的可靠性和適用性。

圖7 姿態(tài)二磨粒的顯著性檢測(cè)效果圖

為了精準(zhǔn)和更快地檢測(cè)出油液中磨粒的位置、完成磨粒圖像目標(biāo)檢測(cè)識(shí)別。本文借助顯著性方法，即求出存在磨粒目標(biāo)的圖像的重構(gòu)圖和顯著圖，然后檢測(cè)出磨粒的位置。實(shí)現(xiàn)的基本原理是基于磨粒目標(biāo)相對(duì)于油液背景顯著的特點(diǎn)。

頻域變換過程后，圖像中存在大量顯著性相關(guān)信息。而經(jīng)過兩次變換后的重構(gòu)圖中不但包括大量目標(biāo)信息，而且還有效地抑制了油液背景信息，讓磨粒目標(biāo)更加明顯，此方法可以更有效地避免了背景圖像中雜質(zhì)和噪聲的干擾。

在二值化處理后，圖像中只有少數(shù)明顯突出區(qū)域出現(xiàn)，這些區(qū)域就是磨粒目標(biāo)的潛在區(qū)域，其中就包括磨粒目標(biāo)所在的位置，正是這個(gè)過程提高了磨粒目標(biāo)的檢測(cè)效率。

4 實(shí)驗(yàn)結(jié)果及分析

本文定義檢測(cè)率和誤警率，定量地評(píng)價(jià)此算法性能，目的是更加客觀地反映本文磨粒的檢測(cè)效果。微流道磨粒監(jiān)測(cè)數(shù)據(jù)為大量視頻序列幀圖像，考慮到立體磨粒在流道中的姿態(tài)、位置變化以及噪聲的影響，應(yīng)用檢測(cè)率和誤警率能夠作為磨粒目標(biāo)檢測(cè)效果評(píng)價(jià)指標(biāo)，其中，檢測(cè)率(DR)和誤警率(FA)的計(jì)算如下：

(11)

采用含有不同粒徑大小磨粒視頻序列幀作為實(shí)驗(yàn)數(shù)據(jù)，每種粒徑磨粒視頻序列幀按照平均時(shí)間間隔取20幀作為整個(gè)視頻序列幀的樣本，分別計(jì)算各種粒徑磨粒的整個(gè)視頻序列幀圖像檢測(cè)率，進(jìn)行磨粒目標(biāo)檢測(cè)分析。作為實(shí)驗(yàn)數(shù)據(jù)的磨粒圖像都是基于微通道直徑和長(zhǎng)度相同背景下拍攝的，圖像的分辨率為852×648，圖像中存在不同的噪聲干擾。

由表1可見，等效粒徑大于50 μm的磨粒圖像基于顯著性的目標(biāo)檢測(cè)結(jié)果為100%，說明了此算法的有效性和適用性。等效粒徑小于50 μm的磨粒，考慮到立體磨粒在流道中的姿態(tài)變化，會(huì)出現(xiàn)磨粒圖像丟失現(xiàn)象，由于微流控芯片加工工藝問題使通道背景圖像產(chǎn)生噪聲，也會(huì)造成檢測(cè)率降低。表1中數(shù)據(jù)還表明，此算法能有效地排除背景圖像中噪聲雜質(zhì)的干擾。

表1 幾種粒徑大小磨粒目標(biāo)檢測(cè)率

本文借助顯著性的概念，大大減少了用于目標(biāo)檢測(cè)的窗口數(shù)量。此方法先確定磨粒圖像中的顯著區(qū)域，得到顯著圖，然后再實(shí)現(xiàn)后續(xù)計(jì)算完成目標(biāo)檢測(cè)，這很大程度提高了磨粒圖像中目標(biāo)檢測(cè)的效率。

本文使用Intel Core i5-6300HQ 2.30GHz CPU計(jì)算機(jī)中Matlab平臺(tái)，對(duì)分辨率為852×648的磨粒原圖像展開實(shí)驗(yàn)，目的是定量準(zhǔn)確地評(píng)價(jià)出磨粒的識(shí)別效率。運(yùn)用本文方法在Matlab平臺(tái)中計(jì)算單幀圖像的平均檢測(cè)時(shí)間，檢測(cè)效果如圖8所示。得到單幀圖像檢測(cè)并且標(biāo)記需要1.15 s，滿足磨粒檢測(cè)的高效需求。所以本文方法能準(zhǔn)確檢測(cè)出磨粒目標(biāo)并且檢測(cè)效率較高，對(duì)微流控磨粒監(jiān)測(cè)技術(shù)的研究有重要意義。

圖8 大小為852×648的磨粒圖像檢測(cè)效果

5 結(jié)論

1)提出了基于微流控的油液磨粒目標(biāo)檢測(cè)算法，實(shí)現(xiàn)了對(duì)微通道磨粒圖像的單目標(biāo)檢測(cè)，通過對(duì)5種粒徑大小的磨粒圖像進(jìn)行算法識(shí)別實(shí)驗(yàn)，驗(yàn)證了算法的適用性。

2)實(shí)驗(yàn)結(jié)果表明，基于微流控的動(dòng)態(tài)磨粒目標(biāo)檢測(cè)算法效果比較好，但檢測(cè)率會(huì)受磨粒圖像丟失和圖像背景噪聲影響；該算法效率較高，但受圖像大小和處理設(shè)備平臺(tái)影響。