基于OpenCV的圖像信息處理系統(tǒng)的開(kāi)發(fā)與應(yīng)用

摘要：本論文工作針對(duì)移動(dòng)床內(nèi)顆粒物料卸料特性的CCD攝像圖片，開(kāi)發(fā)了基于OpenCV的圖像識(shí)別處理程序和顆粒追蹤測(cè)速程序，以刻畫(huà)移動(dòng)床卸料過(guò)程中的流型演化和顆粒運(yùn)動(dòng)信息。為檢驗(yàn)程序的準(zhǔn)確性，以離散單元法數(shù)值模擬得到的顆粒圖像為對(duì)象，對(duì)比了所開(kāi)發(fā)圖像后處理程序分析結(jié)果與離散單元法數(shù)值模擬數(shù)據(jù)，發(fā)現(xiàn)兩者能定量吻合。

關(guān)鍵詞：OpenCV；圖像識(shí)別；信息處理；顆粒流

一、前言

本研究工作的研究目的之一是基于CCD高速攝像技術(shù)來(lái)研究移動(dòng)床卸料過(guò)程中床層內(nèi)顆粒物料的流動(dòng)特征，進(jìn)而得到流動(dòng)區(qū)輪廓以及顆粒速度隨時(shí)間的變化。針對(duì)這一研究目的，開(kāi)發(fā)了圖片后處理程序來(lái)對(duì)圖片進(jìn)行處理，以得到相關(guān)顆粒運(yùn)動(dòng)信息。程序開(kāi)發(fā)引用了OpenCV視覺(jué)庫(kù)里的API，基于粒子圖像測(cè)速法（PIV）的思想，監(jiān)測(cè)流場(chǎng)內(nèi)所有顆粒的瞬時(shí)運(yùn)動(dòng)狀態(tài)，使用最近鄰法算法來(lái)匹配批量圖像上的同一個(gè)顆粒，實(shí)現(xiàn)對(duì)移動(dòng)床內(nèi)顆粒物料的宏觀流動(dòng)區(qū)的演化以及微觀單個(gè)顆粒的運(yùn)動(dòng)狀態(tài)的監(jiān)測(cè)。為此編寫(xiě)了兩套程序，一為流動(dòng)區(qū)識(shí)別程序，二為顆粒識(shí)別追蹤測(cè)速程序。

二、實(shí)驗(yàn)裝置

本論文工作所開(kāi)展實(shí)驗(yàn)的主要目的是探究移動(dòng)床厚度對(duì)床層內(nèi)顆粒卸料行為包括流動(dòng)區(qū)輪廓、顆粒速度分布等參數(shù)的影響。參考文獻(xiàn)中所報(bào)道的移動(dòng)床實(shí)驗(yàn)裝置，結(jié)合工業(yè)項(xiàng)目需求，搭建了移動(dòng)床，安裝了CCD高速攝像儀、LED燈、電腦等圖像拍攝和記錄裝備，用于研究顆粒物料卸料過(guò)程。實(shí)驗(yàn)中通過(guò)CCD高速攝像儀拍攝一系列不同卸料時(shí)刻床層物料照片，然后用自主開(kāi)發(fā)的流動(dòng)區(qū)識(shí)別程序以及顆粒追蹤測(cè)速程序來(lái)處理這些照片，監(jiān)測(cè)提取卸料過(guò)程中床層物料內(nèi)流動(dòng)區(qū)輪廓的變化以及單個(gè)顆粒的運(yùn)動(dòng)狀態(tài)等信息，以探究床層厚度對(duì)顆粒物料卸料特性的影響。

設(shè)計(jì)搭建的移動(dòng)床卸料實(shí)驗(yàn)平臺(tái)如圖1所示。移動(dòng)床裝置被固定在鋁合金支架上，移動(dòng)床壁面的材質(zhì)是亞克力板，鋁合金支架下方預(yù)留自由空間以接取卸料后的顆粒。高速攝像儀鏡頭用的是尼康A(chǔ)F Nikkor 50mm f/1.4D，最高幀頻可達(dá)每秒120000幀，燈源為Godox的LED308，電腦是聯(lián)想品牌電腦，操作系統(tǒng)使用的是Windows10操作系統(tǒng)。

三、程序開(kāi)發(fā)

（一）流動(dòng)區(qū)識(shí)別程序

所編寫(xiě)的流動(dòng)區(qū)識(shí)別程序?qū)崿F(xiàn)邏輯如下：用CCD高速攝像儀拍攝的移動(dòng)床卸料的原始圖片為灰度圖像，顏色值為單通道，在0到255之間。imread讀取相鄰的兩張圖片，灰度值做差之后result_img得到新的灰度圖像[1]。如果前后兩張圖片上同一位置的灰度值相同，代表兩張圖片中該位置處顆粒未發(fā)生運(yùn)動(dòng)或者改變。由于兩張圖片同一位置處灰度值無(wú)差別，在生成的新圖片上，這個(gè)位置的灰度值相減變?yōu)?，用黑色表示，代表靜止區(qū)。如果前后兩張圖片上同一位置的灰度值不同，則代表該位置處顆粒發(fā)生改變或者產(chǎn)生運(yùn)動(dòng)。新生成圖片的灰度值為兩張圖片的灰度值之差，用非黑色，即不同顏色的灰色（1到255）表示，代表流動(dòng)區(qū)。

因?yàn)轭A(yù)處理圖片較為模糊，且有噪聲，所以采用threshold調(diào)節(jié)閾值，使圖片變?yōu)楹诎讏D像。實(shí)際操作中選定一個(gè)閾值，灰度值大于這一閾值時(shí)，顏色值設(shè)置為1，是白色，反之為0，即黑色。經(jīng)過(guò)測(cè)試，閾值為33時(shí)，流動(dòng)區(qū)整體輪廓最為清晰。選取前后兩張顏色值做差的圖片的時(shí)間間隔也很重要。如果時(shí)間間隔取得比較密，例如0.01s，最終流動(dòng)區(qū)與后文分析的速度場(chǎng)相匹配，可以看到最明顯的速度波現(xiàn)象；如果時(shí)間間隔取得稍微大一些，例如0.05s，則看不到速度波現(xiàn)象，而是整體輪廓最為清晰的流動(dòng)區(qū)。獲得流動(dòng)區(qū)之后，為進(jìn)一步監(jiān)測(cè)統(tǒng)計(jì)流動(dòng)區(qū)的具體演化，需要對(duì)流動(dòng)區(qū)的輪廓進(jìn)行提取。

圖2是提取顆粒流動(dòng)區(qū)整體輪廓的示意圖。獲得流動(dòng)區(qū)輪廓坐標(biāo)的程序?qū)崿F(xiàn)方法如下：首先調(diào)用OpenCV的庫(kù)函數(shù)morphologyEx，對(duì)圖2中左圖的流動(dòng)區(qū)做開(kāi)運(yùn)算處理，使得流動(dòng)區(qū)內(nèi)部的空隙以及孔洞完全被填充，成為一個(gè)整體，進(jìn)而得到如圖2中間圖片所示的白色區(qū)域。形態(tài)學(xué)運(yùn)算中有腐蝕，膨脹，開(kāi)運(yùn)算和閉運(yùn)算幾種常見(jiàn)的方法，其中腐蝕方法可以抹除輪廓邊界像素點(diǎn)，消除毛邊，毛刺，以及一些無(wú)意義的擾動(dòng)點(diǎn)。對(duì)輪廓邊界使用腐蝕，會(huì)使得輪廓邊界減小，向內(nèi)收縮。膨脹方法是將輪廓所臨近相接的所有像素點(diǎn)吸收到該輪廓里，使得輪廓邊界向外延展。它可以使得輪廓邊界內(nèi)部的孔洞斑點(diǎn)得以填充。將這兩種方法結(jié)合，可以先使用腐蝕后使用膨脹，稱(chēng)為開(kāi)運(yùn)算，它的功能是去掉離散的小斑點(diǎn)、分開(kāi)接近的兩個(gè)斑點(diǎn)、消除大輪廓邊界的毛糙點(diǎn)并且盡可能保證輪廓面積不變。先使用膨脹后使用腐蝕，稱(chēng)為閉運(yùn)算，它的功能是去掉大輪廓內(nèi)部的小斑點(diǎn)、連接靠近的幾個(gè)斑點(diǎn)、消除大輪廓邊界的毛糙點(diǎn)并且盡可能保證輪廓面積不變[2]。本論文工作采用開(kāi)運(yùn)算策略。得到圖2中的中間圖片后，調(diào)用OpenCV的庫(kù)函數(shù)findContours，對(duì)該圖片中的白色區(qū)域進(jìn)行輪廓識(shí)別，可以得到大致的輪廓坐標(biāo)信息，如圖2中右圖的紅色閉合曲線。

得到流動(dòng)區(qū)輪廓坐標(biāo)后，可以進(jìn)一步對(duì)流動(dòng)區(qū)的一些幾何信息進(jìn)行提取，來(lái)具體描述流動(dòng)區(qū)的演化。圖3是提取流動(dòng)區(qū)寬度、高度等信息的示意圖。獲得自由表面高度h、流動(dòng)區(qū)高度H、流動(dòng)區(qū)寬度W、特征區(qū)寬度W（1/2h）的程序?qū)崿F(xiàn)思路如下：遍歷輪廓縱坐標(biāo)，當(dāng)輪廓縱坐標(biāo)Y1最小時(shí)，得到此時(shí)的橫坐標(biāo)X，即為卸料口的橫坐標(biāo)，接著尋找橫坐標(biāo)為X時(shí)，縱坐標(biāo)的最大值Y2，Y2減去Y1得到H。因?yàn)榱鲃?dòng)區(qū)從卸料口處發(fā)展至顆粒初始堆積高度（自由表面處）時(shí)流動(dòng)區(qū)高度會(huì)有一個(gè)先增高的變化，之后隨著自由表面高度的降低而降低，所以自由表面高度h的變化是流動(dòng)區(qū)高度H發(fā)展到顆粒初始堆積高度后開(kāi)始降低的部分。得到流動(dòng)區(qū)高度后，從卸料口位置往上檢索縱坐標(biāo)相同的輪廓坐標(biāo)，它們的橫坐標(biāo)相減即可得到流動(dòng)區(qū)的寬度W，當(dāng)輪廓縱坐標(biāo)的值為h的一半時(shí)，可得到特征區(qū)寬度W（1/2h）。

流動(dòng)區(qū)輪廓信息提取的關(guān)鍵代碼如下：

for （int j = 0; j lt; contours[row].size（）; j++）

{

if （contours[row][j].y gt; maxY）

{

maxY = contours[row][j].y;

X = contours[row][j].x;

}

}

cout lt;lt; \"x = \" lt;lt; X" lt;lt; endl;

for （int j = 0; j lt; contours[row].size（）; j++）

{

if （X == contours[row][j].x amp;amp; contours[row][j].y lt; minY）

minY = contours[row][j].y;

}

h = maxY - minY;

W = 0.5*h + minY;

獲得流動(dòng)區(qū)寬度、高度等的信息后，有一個(gè)拐點(diǎn)值得注意，就是靜止區(qū)與移動(dòng)床邊壁交界的最高點(diǎn)，即有效轉(zhuǎn)捩點(diǎn)（ETP）。ETP點(diǎn)的高度會(huì)隨著卸料的進(jìn)行發(fā)生改變。根據(jù)流動(dòng)區(qū)輪廓坐標(biāo)提取獲得ETP點(diǎn)信息的邏輯：確定流動(dòng)區(qū)輪廓的最大寬度widthMAX，遍歷不同縱坐標(biāo)下的流動(dòng)區(qū)寬度W，當(dāng)W等于widthMAX時(shí)，并且此時(shí)的縱坐標(biāo)最小，縱坐標(biāo)的高度即為ETP點(diǎn)的位置，ETP點(diǎn)是靜止區(qū)與床層交界處的最高點(diǎn)的位置。

從而得到ETP點(diǎn)的位置隨自由表面高度h的變化曲線，曲線的變化趨勢(shì)分為三個(gè)階段：（1）當(dāng)自由表面的高度隨著卸料的進(jìn)行從最高處開(kāi)始降低，有效轉(zhuǎn)捩點(diǎn)縱坐標(biāo)位置y處于相對(duì)平穩(wěn)期，在某一值附近波動(dòng)，對(duì)坐標(biāo)y進(jìn)行累計(jì)平均得到ETP點(diǎn)；（2）一段時(shí)間后卸料流型由半整體流型轉(zhuǎn)捩為漏斗流，有效轉(zhuǎn)捩點(diǎn)縱坐標(biāo)y開(kāi)始急劇增大，此處即為流型轉(zhuǎn)捩點(diǎn)，此時(shí)靜止區(qū)的最高點(diǎn)會(huì)到達(dá)自由表面；（3）ETP點(diǎn)到達(dá)自由表面之后，此時(shí)它的高度與流動(dòng)區(qū)整體高度一致，它的縱坐標(biāo)y隨著自由表面高度h的降低而降低，直至卸料完成。至此，流動(dòng)區(qū)識(shí)別程序可以得到宏觀流動(dòng)區(qū)演化過(guò)程中的大部分運(yùn)動(dòng)信息。

（二）顆粒識(shí)別程序和顆粒追蹤測(cè)速程序

通過(guò)流動(dòng)區(qū)識(shí)別程序監(jiān)測(cè)得到宏觀流動(dòng)區(qū)的演化信息后，為更清晰地了解卸料過(guò)程中顆粒的運(yùn)動(dòng)特性，進(jìn)一步對(duì)微觀單個(gè)顆粒進(jìn)行識(shí)別、追蹤匹配、測(cè)速等。要追蹤單個(gè)顆粒的軌跡，首先要對(duì)單個(gè)顆粒輪廓進(jìn)行識(shí)別。

顆粒質(zhì)心識(shí)別程序的實(shí)現(xiàn)操作如下[3]：首先基于for循環(huán)，imread讀入批量的數(shù)字圖片，再將每張圖片進(jìn)行cvtColor灰度化處理以減少運(yùn)算量，然后通過(guò)GaussianBlur高斯模糊減少噪聲，再進(jìn)行morphologyEx形態(tài)學(xué)處理[4]，通過(guò)腐蝕膨脹減少毛刺，填充球形內(nèi)部的黑洞，使球體進(jìn)一步接近球形；之后進(jìn)行threshold自適應(yīng)閾值化操作，選取合適的閾值進(jìn)一步突出顆粒的外邊界輪廓；最后對(duì)顆粒的輪廓和邊界進(jìn)行識(shí)別，使用findContours，得到顆粒的坐標(biāo)信息[5]。

顆粒質(zhì)心信息提取的關(guān)鍵代碼如下：

for （int t = 0; t lt; contours.size（）; t++）

{

mu[t] = moments（contours[t]， 1）;

if （mu[t].m00 == 0）

{

mc[t] = Point2f（0， 0）;

}

else {

mc[t] = Point2f（mu[t].m10 / mu[t].m00， mu[t].m01 / mu[t].m00）;

}

cout lt;lt; \"x： \" lt;lt; mc[t].x lt;lt; \"" \" lt;lt; \"y： \" lt;lt; mc[t].y lt;lt; endl;

drawContours（src， contours， t， Scalar（0， 0， 255）， 2， 8）;

}

顆粒質(zhì)心識(shí)別程序識(shí)別顆粒整體輪廓的效果如圖4所示，除了極個(gè)別的顆粒無(wú)法識(shí)別，99.9%以上的顆粒都可以被識(shí)別，表明程序整體識(shí)別性能優(yōu)良，可為后續(xù)具體的移動(dòng)床卸料實(shí)驗(yàn)的圖像處理提供優(yōu)秀的技術(shù)支持。

同時(shí)，當(dāng)CCD高速攝像儀的攝像頭需要拍攝的顆粒數(shù)目較多，分辨率不夠，拍攝得到的顆粒輪廓較為模糊時(shí)，可以通過(guò)識(shí)別單個(gè)顆粒表面反射的光斑來(lái)確定顆粒的坐標(biāo)[6]。識(shí)別顆粒光斑確定顆粒坐標(biāo)，統(tǒng)計(jì)得到程序準(zhǔn)確率高達(dá)99.9%，這兩種識(shí)別方法可根據(jù)實(shí)驗(yàn)不同需求進(jìn)行選擇。

識(shí)別單個(gè)顆粒，得到顆粒的坐標(biāo)信息之后，對(duì)批量圖片上處于不同位置處的同一個(gè)顆粒進(jìn)行匹配、測(cè)速，得到顆粒的運(yùn)動(dòng)軌跡和速度信息[7]。顆粒追蹤測(cè)速程序的算法邏輯如下：輸入之前程序處理得到的顆粒質(zhì)心坐標(biāo)，選取第tn時(shí)刻的第i個(gè)顆粒的坐標(biāo)與第tn+1時(shí)刻該位置附近的顆粒坐標(biāo)進(jìn)行比較，如果兩者之間的距離小于顆粒的半徑，則說(shuō)明是同一個(gè)顆粒。這是因?yàn)檫x取的兩個(gè)時(shí)刻的間隔非常短，顆粒的位移不超過(guò)顆粒的半徑，這也是最近鄰法的思路。CCD高速攝像儀可以輔助高速拍攝，滿足實(shí)驗(yàn)的需求。完成第tn時(shí)刻的所有顆粒的匹配，輸出結(jié)果，將已匹配顆粒之間的移動(dòng)距離除以?xún)蓮垐D片的時(shí)間間隔可獲得該顆粒的移動(dòng)速度。自此，實(shí)驗(yàn)中比較重要的顆粒運(yùn)動(dòng)信息都可以通過(guò)程序?qū)D片進(jìn)行后處理提取得到[8]。

四、程序處理結(jié)果精度驗(yàn)證

為驗(yàn)證編寫(xiě)的顆粒識(shí)別程序和顆粒追蹤測(cè)速程序的準(zhǔn)確性，使用編寫(xiě)的程序?qū)﹄x散單元法數(shù)值模擬得到的顆?？梢暬繄D像進(jìn)行信息處理。之所以采用該策略是因?yàn)殡x散單元法數(shù)值模擬中不同時(shí)刻每個(gè)顆粒的信息都是已知的，因此，用自主編寫(xiě)的程序識(shí)別批量模擬圖片得到的顆粒信息，與數(shù)值模擬監(jiān)測(cè)得到的顆粒信息進(jìn)行對(duì)比，如若二者的誤差較小，即可證明編寫(xiě)的圖像后處理程序精確度較高，可用于顆粒流的卸料實(shí)驗(yàn)研究。

首先對(duì)比分析模擬得到的顆粒坐標(biāo)和程序處理相同實(shí)驗(yàn)條件下模擬照片得到的顆粒坐標(biāo)信息，發(fā)現(xiàn)二者的坐標(biāo)位置重合度較高，顆粒坐標(biāo)的識(shí)別準(zhǔn)確度高達(dá)100%，但是二者的顆粒坐標(biāo)位置有細(xì)微差別，出現(xiàn)的誤差在可接受范圍之內(nèi)[9]，證明顆粒識(shí)別程序準(zhǔn)確度比較高，可為后續(xù)的顆粒追蹤測(cè)速程序進(jìn)行高質(zhì)量服務(wù)。

識(shí)別顆粒坐標(biāo)之后，需要對(duì)單個(gè)顆粒進(jìn)行匹配測(cè)速，得到不同高度位置處的顆粒速度分布曲線，從而監(jiān)測(cè)顆粒的運(yùn)動(dòng)軌跡和運(yùn)動(dòng)信息的連續(xù)變化[10]。圖5為顆粒追蹤測(cè)速程序處理批量模擬圖片得到的速度分布和離散單元法數(shù)值模擬得到的速度分布，兩條速度分布曲線基本重合，統(tǒng)計(jì)得到，顆粒追蹤測(cè)速程序的準(zhǔn)確度大于99.9%，表明顆粒追蹤測(cè)速程序準(zhǔn)確性良好，可以為后續(xù)更加深入的實(shí)驗(yàn)研究提供較好的數(shù)值統(tǒng)計(jì)分析服務(wù)。

五、結(jié)語(yǔ)

本文詳述了對(duì)CCD攝像得到的大批量圖像進(jìn)行數(shù)值處理的算法思想和程序?qū)崿F(xiàn)策略，基于OpenCV開(kāi)發(fā)了圖像識(shí)別程序和顆粒追蹤測(cè)速程序，并對(duì)所開(kāi)發(fā)后處理程序顆粒識(shí)別功能的準(zhǔn)確性和識(shí)別精度進(jìn)行了檢驗(yàn)。驗(yàn)證結(jié)果表明所開(kāi)發(fā)的圖像后處理程序能夠精確地對(duì)移動(dòng)床卸料過(guò)程中運(yùn)動(dòng)狀態(tài)隨時(shí)間變化的顆粒進(jìn)行識(shí)別和追蹤，從而為接下來(lái)具體移動(dòng)床卸料實(shí)驗(yàn)的數(shù)值分析奠定了扎實(shí)的基礎(chǔ)。本文的工作對(duì)顆粒流的數(shù)值處理技術(shù)具有一定的指導(dǎo)意義，并在顆粒物料相關(guān)的工業(yè)應(yīng)用中具有廣闊前景。

參考文獻(xiàn)

[1]曹建海，路長(zhǎng)厚.基于灰度圖像和矢量的圓心定位[J].光電子·激光，2004（06）：714-718.

[2]李冬冬，胡浩然，肖明，王小毛.基于PFC-FLAC離散-連續(xù)耦合的隧洞開(kāi)挖與錨桿支護(hù)顆粒流模型[J/OL].武漢大學(xué)學(xué)報(bào)（工學(xué)版）：1-9[2023-03-27].http：//kns.cnki.net/kcms/detail/42.1675.T.20230215.1743.009.html

[3]鐘華勇，葉建生，何高清.基于OpenCV的圓心坐標(biāo)定位的優(yōu)化設(shè)計(jì)[J].制造技術(shù)與機(jī)床，2021（05）：110-115.

[4]肖劍雄峰，趙漢理，吳承文.局部對(duì)比度增強(qiáng)的彩色圖像灰度化參數(shù)化算法[J].計(jì)算機(jī)時(shí)代，2016（03）：45-49.

[5]趙飛翔，遲世春.基于離散元的碎片尺寸隨機(jī)的顆粒破碎模擬方法[J].東北大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，44（03）：408-414.

[6]Na Zhao，F(xiàn)ang Zhao，Wen-Zhen Zhong. EDEM Simulation Study of Lignite Pressing Molding with Different Particle Size[P]. Proceedings of the 2015 4th International Conference on Computer， Mechatronics， Control and Electronic Engineering，2015.

[7]Feng Wenyu，Han Yanlong，Chen Peiyu，Li Anqi，Wang Yinglong，Zhang Jincheng，F(xiàn)ei Jiaming，Hao Xianzhi，Shen Shaohang，Jia Fuguo. Effect of eccentricity on the particle flow characteristics in a double-orifice silo[J]. Powder Technology，2023，421.

[8]Wei Wei，Ding Lieyun，Luo Hanbin，Li Chen，Li Guowei. Automated bughole detection and quality performance assessment of concrete using image processing and deep convolutional neural networks[J]. Construction and Building Materials，2021，281.

[9]Sakamaki Shouta，Krengel Dominik，Mueller Jan，Chen Jian，Matuttis Hans Georg. Implementation of numerically exact Coulomb friction for discrete element simulations in three dimensions[J]. EPJ Web of Conferences，2021，249.

[10]Laurent Babout，Krzysztof Grudzien，Eric Maire，Philip J. Withers. Influence of wall roughness and packing density on stagnant zone formation during funnel flow discharge from a silo： An X-ray imaging study[J]. Chemical Engineering Science，2013，97.

作者單位：李珍，遼寧科技大學(xué)化學(xué)工程學(xué)院、中國(guó)科學(xué)院過(guò)程工程研究所多相復(fù)雜系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室；劉曉星，中國(guó)科學(xué)院過(guò)程工程研究所多相復(fù)雜系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室、中國(guó)科學(xué)院大學(xué)化學(xué)工程學(xué)院；安百鋼，遼寧科技大學(xué)化學(xué)工程學(xué)院