基于Haar-PP混合特征提取的沉降顆粒識(shí)別研究

周 冉,宋華珠,劉 翔

(武漢理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,武漢 430070)

0 概述

顆粒粒度檢測(cè)方法因能夠測(cè)試顆粒粒徑,已成為材料在制作加工或使用過(guò)程中控制粒徑大小的重要手段,在材料粒度分析領(lǐng)域有極大的研究與應(yīng)用價(jià)值[1-2]。傳統(tǒng)的粒度測(cè)試方法有篩分法和激光法,前者靈活方便,后者精度較高,但同時(shí)前者精度難以達(dá)到要求,后者依賴(lài)于精密儀器導(dǎo)致成本高昂[3-4]。因此,研究人員提出了基于圖像分析顆粒粒度測(cè)試方法,該類(lèi)方法簡(jiǎn)單便捷、對(duì)儀器要求不高,且能通過(guò)算法改良來(lái)提高結(jié)果可靠性、精度等。同時(shí),該類(lèi)方法還擁有非入侵式的特點(diǎn),能夠在不影響實(shí)驗(yàn)結(jié)果的前提下,反映顆粒的沉降情況,對(duì)液體內(nèi)部的顆粒進(jìn)行識(shí)別、跟蹤、粒度分析等。

近年來(lái),許多國(guó)內(nèi)外專(zhuān)家致力于研究顆粒圖像的識(shí)別與分割。文獻(xiàn)[5]提出一種無(wú)參數(shù)回歸方法來(lái)為3D圖像信息降噪。文獻(xiàn)[6]改良了傳統(tǒng)非局部均值濾波(Non-local Mean Filtering,NMF)并結(jié)合粒子概率(Particle Probability,PP)還原被泊松-高斯噪音污染過(guò)的圖像。上述方法的圖像識(shí)別結(jié)果較好,但顆粒與背景區(qū)分度不高，并且灰度模糊。針對(duì)該問(wèn)題,本文通過(guò)分析顆粒消失、聚合以及分散運(yùn)動(dòng)對(duì)成像灰度的影響,對(duì)識(shí)別圖像進(jìn)行灰度增強(qiáng)、像素特征轉(zhuǎn)換、像素點(diǎn)連通性判斷等處理,并在此基礎(chǔ)上提出一種基于Haar-PP混合特征的沉降顆粒識(shí)別策略。

1 識(shí)別策略及形態(tài)運(yùn)動(dòng)、灰度分析

1.1 沉降顆粒激光散射像點(diǎn)識(shí)別策略

沉降顆粒的識(shí)別、跟蹤是一種顆粒運(yùn)動(dòng)的動(dòng)態(tài)捕捉過(guò)程。由于在實(shí)際過(guò)程中無(wú)法有效觀測(cè)到沉降顆粒的運(yùn)動(dòng)過(guò)程,因此本文采用激光散射的方法實(shí)現(xiàn)對(duì)顆粒重量、尺寸、分布及聚集態(tài)結(jié)構(gòu)等信息的捕捉[7-8]。通過(guò)在顆粒運(yùn)動(dòng)過(guò)程中不斷地捕捉瞬態(tài)圖像,可得到一幀一幀的激光散射像點(diǎn)圖。實(shí)現(xiàn)顆粒跟蹤的重點(diǎn)在于完成運(yùn)動(dòng)狀態(tài)下顆粒狀態(tài)的有效識(shí)別?？紤]到顆?；叶却嬖诘膭?dòng)態(tài)變化且有較多灰度值低(灰度模糊)的沉降顆粒,因此在識(shí)別上需要實(shí)現(xiàn)動(dòng)態(tài)判定有效目標(biāo)。本文制定的沉降顆粒激光散射像點(diǎn)識(shí)別策略如圖1所示。

圖1 沉降顆粒激光散射像點(diǎn)識(shí)別策略

針對(duì)灰度模糊及運(yùn)動(dòng)帶來(lái)的灰度變化問(wèn)題,首先需要完成對(duì)每一幀中像點(diǎn)的灰度增強(qiáng),改變圖像前景與背景的灰度對(duì)比度,降低噪聲影響;其次為了更好地進(jìn)行PP特征的判斷,則必須對(duì)識(shí)別窗口進(jìn)行規(guī)格大小的確定,并根據(jù)區(qū)域像素連通性計(jì)算顆粒面積;最后對(duì)特殊處理后所得的Haar特征像素點(diǎn)增加粒子概率屬性,普遍認(rèn)為粒子概率越高的像素點(diǎn)被識(shí)別通過(guò)的概率越高。為了進(jìn)一步提高準(zhǔn)確率,本文在粒子概率的基礎(chǔ)上,通過(guò)概率加權(quán)的方法得到最終的識(shí)別結(jié)果。

1.2 沉降顆粒形態(tài)與運(yùn)動(dòng)分析

對(duì)于顆粒特征的提取與識(shí)別研究,首先需要完成對(duì)顆粒群中不同個(gè)體的形態(tài)、運(yùn)動(dòng)分析。粒子形態(tài)特征的選取需要根據(jù)粒子本身的狀態(tài)來(lái)決定,如圖2(a)所示,在顆粒沉降視頻中,絕大多數(shù)沉降顆粒雖然大小相近,但其周長(zhǎng)、面積、極軸、極軸夾角和質(zhì)心位置等各種數(shù)據(jù)特征卻不盡相同[9-10]。除了上述所提及的一般化的形態(tài)特征,也有小部分的沉降顆粒與一般顆粒因本身物理性質(zhì)或者拍攝原因會(huì)產(chǎn)生較大差別,主要體現(xiàn)在大顆粒與長(zhǎng)尾顆粒上。在顆粒沉降視頻中,一般沉降顆粒的形態(tài)特征與圖2(a)相符,但是也有個(gè)別沉降顆粒的大小會(huì)大于圖2(a)中顆粒。如圖2(b)所示,沉降顆粒在沉降液體中發(fā)生結(jié)塊現(xiàn)象,因此整個(gè)顆粒的大小會(huì)大于一般顆粒的大小。由于攝像機(jī)清晰度的問(wèn)題,在拍攝的顆粒沉降視頻中,顆?？赡軙?huì)帶有較長(zhǎng)的尾跡。沉降顆粒中的長(zhǎng)尾顆粒如圖2(c)所示。

圖2 沉降顆粒的不同形態(tài)

顆粒運(yùn)動(dòng)的軌跡是無(wú)規(guī)則的,但在平面運(yùn)動(dòng)上可分解為水平與垂直方向。在大量的激光散射采樣中,通過(guò)對(duì)個(gè)體運(yùn)動(dòng)狀態(tài)的分析得出一般情況下的顆粒運(yùn)動(dòng)過(guò)程,如圖3(a)所示。圖3(a)為沉降顆粒在150幀內(nèi)發(fā)生的位移圖,實(shí)線(xiàn)末端表示顆粒的始末位置,虛線(xiàn)表示垂直移動(dòng)距離。2條實(shí)線(xiàn)的差距代表沉降顆粒在150幀之后,水平方向移動(dòng)距離?？梢钥闯鲆话闱闆r下,沉降顆粒一直做沉降運(yùn)動(dòng)并伴隨著水平方向上的微小位移。但如果受到外界擾動(dòng),則顆粒群會(huì)表現(xiàn)出明顯的類(lèi)圓運(yùn)動(dòng)。譬如沉降環(huán)境中加入了新的沉降物質(zhì),顆粒的沉降運(yùn)動(dòng)就會(huì)明顯波動(dòng),如圖3(b)所示。圖3(b)左圖的沉降顆粒的總體沉降軌跡類(lèi)似于圓弧。這2種現(xiàn)象可能同時(shí)發(fā)生,都屬于類(lèi)圓運(yùn)動(dòng)的范疇。

圖3 顆粒的不同運(yùn)動(dòng)狀態(tài)

1.3 沉降顆粒動(dòng)態(tài)灰度分析

沉降顆粒的實(shí)際運(yùn)動(dòng)過(guò)程為空間三維運(yùn)動(dòng),而表現(xiàn)在圖像識(shí)別中卻只能為二維運(yùn)動(dòng),但這并不影響圖像處理對(duì)三維運(yùn)動(dòng)的判斷。在成像過(guò)程中,顆粒的遠(yuǎn)近程度實(shí)質(zhì)上表現(xiàn)在像點(diǎn)的灰度值上。因此，沉降顆粒的散射像點(diǎn)圖中的灰度值是動(dòng)態(tài)的,具體可以表現(xiàn)在2個(gè)方面:同一幀圖像中不同顆粒呈現(xiàn)不同灰度值,不同幀圖像中同一顆粒呈現(xiàn)不同灰度值。

對(duì)于單幀圖像中的顆粒群而言,由于遠(yuǎn)近程度、大小、角度等因素,其灰度值是不同的。圖4(a)為圖3(b)中隨機(jī)2個(gè)沉降顆粒及其像素分布圖,可以看出左邊的顆?；叶戎递^小,右邊較大,具體表現(xiàn)在對(duì)應(yīng)的灰度直方圖中的曲線(xiàn)也明顯不同。本文同時(shí)進(jìn)行了對(duì)同一顆粒不同幀的灰度分析,如圖4(b)所示。圖4(b)中為2種顆粒在不同4幀圖像中的灰度表現(xiàn),結(jié)果表明顆粒會(huì)隨著運(yùn)動(dòng)而表現(xiàn)出不同的灰度值。

圖4 2種形式的灰度特征

2 Haar-PP混合特征策略實(shí)現(xiàn)

2.1 各階段圖像預(yù)處理

圖像預(yù)處理步驟如下：

1)灰度增強(qiáng)階段

顆粒識(shí)別前的圖像預(yù)處理策略,是為了使得識(shí)別環(huán)境更加友好,降低圖像噪音,增強(qiáng)顆粒信號(hào),以達(dá)到改變前景與背景之間的對(duì)比度、凸顯沉降顆粒等目的[11]?；旌现亓Τ两迪到y(tǒng)環(huán)境簡(jiǎn)單,噪音干擾較少,因此只在識(shí)別前進(jìn)行灰度增強(qiáng)處理,使得:

(1)

2)像素特征轉(zhuǎn)換

在像素轉(zhuǎn)換階段,核心內(nèi)容是確定識(shí)別窗口的大小。為了防止單一識(shí)別窗口效果不佳,本文以7×7為基礎(chǔ),每次增強(qiáng)1.5倍并設(shè)立多個(gè)識(shí)別窗口。共選擇7×7,11×11,17×17,25×25和37×37,5個(gè)識(shí)別窗口來(lái)綜合計(jì)算Haar特征信息,圖5為窗口確定示意圖?？紤]到沉降顆粒的背景因素,在綜合運(yùn)用多規(guī)格識(shí)別窗口的Harr特征信息時(shí),將對(duì)5個(gè)窗口的Haar特征值進(jìn)行加權(quán)處理。

圖5 以像素點(diǎn)d為中心的3個(gè)識(shí)別窗口

3)PP特征轉(zhuǎn)換

在PP特征轉(zhuǎn)換階段,根據(jù)像素概率理論,以像素點(diǎn)d為中心的局部區(qū)域內(nèi),將連通區(qū)域與局部區(qū)域面積之比作為概率值,因此需要對(duì)連通區(qū)域面積進(jìn)行合理的算法設(shè)計(jì)。該算法從像素點(diǎn)d開(kāi)始,向上下左右4個(gè)方向延伸,判斷鄰近像素點(diǎn)e是否符合連通條件,符合則以e為基礎(chǔ)繼續(xù)朝4個(gè)方向搜索,直至沒(méi)有其他像素點(diǎn)符合條件,或達(dá)到圖像邊界。該算法時(shí)間復(fù)雜度為O(n),n為連通區(qū)域內(nèi)像素個(gè)數(shù)。圖6為連通性示意圖。

圖6 像素點(diǎn)連通性判斷

算法1連通區(qū)域搜索算法

輸入輸入沉降顆粒灰度圖像I,輸入像素點(diǎn)d坐標(biāo)(x,y)

輸出連通區(qū)域Ω

ConnectivitySearch(I,d)

Step 1:x0←x+1得到新像素點(diǎn)d0

if fh(d0)≥λh

then

d0計(jì)入連通區(qū)域Ω

Ω←Ω+ConnectivitySearch(I,d0)

else return φ

Step 2:x1←x-1得到新像素點(diǎn)d1

同Step 1

Step 3:y0←y-1得到新像素點(diǎn)d3

同Step 1

Step 4:y2←y+1得到新像素點(diǎn)d4

同Step 1

2.2 Haar-PP混合特征算法

Haar特征是一種基于矩形區(qū)域灰度強(qiáng)度差來(lái)進(jìn)行識(shí)別的特征描述算子[12-15]。本文建立3個(gè)Haar特征作為識(shí)別顆粒的條件之一,如圖7所示。以d為中心的識(shí)別窗口被劃分成黑色和白色2個(gè)子區(qū)域,白色區(qū)域被標(biāo)記為A區(qū)域,黑色區(qū)域被標(biāo)記為B區(qū)域。

圖7 3個(gè)不同的用于沉降顆粒識(shí)別的Haar特征

約定Haar特征函數(shù)為fh(·),fh(d,l)為像素點(diǎn)d在特征l下的Haar特征值,有

fh(d,l)=Bl-Al

(2)

其中,d為像素中心,l=1,2,3,代表圖7所示的7×7規(guī)格的沉降顆粒識(shí)別窗口(Haar特征識(shí)別窗口),Al代表白色區(qū)域的灰度值之和,Bl代表黑色區(qū)域灰度值之和。

最終的Haar特征值為3個(gè)不同大小Haar特征值中最大的一個(gè),即：

(3)

當(dāng)Haar特征值fh(d)高于所定閾值,則代表該像素點(diǎn)位于沉降顆粒中。

當(dāng)算法遍歷完圖像中所有像素點(diǎn),原圖像就轉(zhuǎn)化為Haar特征圖像,則有:

(4)

(5)

其中,thh為用于區(qū)分沉降顆粒的閾值。像素點(diǎn)d粒子概率的大小取決于識(shí)別窗口本身以及周?chē)袼攸c(diǎn)Haar特征值的大小。如果周?chē)^(guò)Haar特征值閾值λh的像素越多,且與像素點(diǎn)d以區(qū)域Ω鄰近,那么像素點(diǎn)d越可能是沉降顆粒的一部分。如圖8所示,經(jīng)過(guò)計(jì)算可得fpp(d)>fpp(e),從圖8可以看出,像素點(diǎn)d的識(shí)別窗口內(nèi)基本是沉降顆粒,而像素點(diǎn)e的識(shí)別窗口內(nèi)只有很少量的顆粒是沉降顆粒,因此判斷像素點(diǎn)d為沉降顆?？赡苄愿蟆?/p>

圖8 像素點(diǎn)d與e之間的粒子概率對(duì)比

(6)

(7)

沉降顆粒識(shí)別算法如算法2所示,該算法的時(shí)間復(fù)雜度為O(Height×Width)。其中,Height為沉降顆粒圖像高度,Width為寬度。

算法2沉降顆粒識(shí)別

輸入沉降顆?；叶仍鰪?qiáng)圖像I,二值化閾值thpw

輸出概率加權(quán)圖像Ipw

Do while l←1:3

Do while h←1:Height

Do while w←1:Width

Step1:得到對(duì)應(yīng)像素點(diǎn)d,

Step2:計(jì)算

end

end

end

Do while h←1:Height

Do while w←1:Width

Step3:得到對(duì)應(yīng)像素點(diǎn)d

Step4:計(jì)算像素點(diǎn)d的連通區(qū)域

Step5:計(jì)算fpp(d)

end

end

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于“異相顆粒共沉降裝置”中的顆粒沉降實(shí)驗(yàn)。顆粒沉降實(shí)驗(yàn)在混合重力沉降系統(tǒng)上完成,系統(tǒng)內(nèi)的激光與沉降顆粒碰撞形成反射,通過(guò)系統(tǒng)外部的攝像機(jī)在側(cè)面拍攝得到沉降顆粒激光散射像點(diǎn)視頻。實(shí)驗(yàn)所得視頻共2個(gè),視頻1長(zhǎng)27 min 37 s,視頻2長(zhǎng)20 min 7 s,包含25 frame/s,分辨率為576像素×960像素。對(duì)該視頻的解析以及對(duì)顆粒沉降圖像的分析借助于OpenCV3的視頻解析模塊與圖像分析模塊。在OpenCV3模塊的基礎(chǔ)上將本文算法形成代碼,識(shí)別沉降顆粒,跟蹤顆粒沉降過(guò)程,具體實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

為了能識(shí)別到盡可能多的沉降顆粒,將Haar特征閾值λh確定為典型粒子區(qū)域與典型背景區(qū)域灰度平均值的20%,經(jīng)過(guò)計(jì)算,thh=21。

通過(guò)Haar-pp混合特征策略得到的最終識(shí)別結(jié)果如圖9所示。圖9第2行和第3行為原圖像經(jīng)過(guò)灰度增強(qiáng)、Haar特征轉(zhuǎn)換、PP特征轉(zhuǎn)換后對(duì)比度增強(qiáng)的結(jié)果。圖9第1行和第4行分別為經(jīng)過(guò)Haar特征圖像和PP特征轉(zhuǎn)換得到概率加權(quán)圖像。從圖9第2行第3個(gè)圖像可以發(fā)現(xiàn),圖像從灰度增強(qiáng)圖像中識(shí)別出更多灰度值低的沉降顆粒,但是同時(shí)帶來(lái)的問(wèn)題是噪音的增多。通過(guò)PP特征轉(zhuǎn)換來(lái)降低噪音帶來(lái)的干擾,處理結(jié)果如圖10所示。

圖9 沉降顆粒識(shí)別結(jié)果

圖10 轉(zhuǎn)換過(guò)程中的降噪結(jié)果

圖11描述各方法真正類(lèi)率(True Positive Rate,TPR)和假正類(lèi)率(False Positive Rute,FPR)的接受者操作特性曲線(xiàn)(Receiver Operating Characteristic Curve,ROC)。從圖11可以看出,較高的TPR代表本文算法從圖像中選出真的沉降顆粒的能力較高,且本文算法和文獻(xiàn)[6]算法優(yōu)于高斯混合模型與Ostu閾值分割算法。

圖11 不同方法的ROC曲線(xiàn)

本文算法在計(jì)算Haar特征方面做了簡(jiǎn)化,需要的計(jì)算量為Harr特征轉(zhuǎn)換后識(shí)別的粒子的0.2倍,較文獻(xiàn)[6]算法提升22.3 s,且特征提取效果略?xún)?yōu)于文獻(xiàn)[6]算法。表2描述了各種方法的平均計(jì)算時(shí)間。

表2 各算法平均計(jì)算時(shí)間對(duì)比 s

4 結(jié)束語(yǔ)

本文通過(guò)研究灰度變化與顆粒追蹤的關(guān)系,分析沉降顆粒形態(tài)、運(yùn)動(dòng)對(duì)其灰度的影響,并運(yùn)用識(shí)別圖像進(jìn)行灰度增強(qiáng)、像素特征轉(zhuǎn)換、像素點(diǎn)連通性判斷等消除灰度模糊的方法,提出一種基于Haar-PP混合特征的沉降顆粒識(shí)別算法。實(shí)驗(yàn)結(jié)果表明，該算法能有效降低灰度模糊帶來(lái)的誤差,為粒子追蹤方面的研究提供理論依據(jù)。