基于圖像特征匹配的煤泥浮選泡沫速度特征提取方法

郭中天，王然風(fēng)，付翔，2，魏凱，王宇龍

（1.太原理工大學(xué) 礦業(yè)工程學(xué)院，山西 太原 030024；2.山西焦煤集團(tuán)有限責(zé)任公司 博士后工作站，山西 太原 030024）

0 引言

煤泥浮選工藝是典型的多輸入多輸出復(fù)雜工藝，在實(shí)際浮選生產(chǎn)過程中，浮選司機(jī)主要通過肉眼觀察浮選泡沫特征變化，依靠個(gè)人經(jīng)驗(yàn)對浮選工況進(jìn)行判斷并對浮選過程進(jìn)行控制[1]。這種憑借人工經(jīng)驗(yàn)的操作方式存在準(zhǔn)確性和穩(wěn)定性不足的劣勢，嚴(yán)重影響了浮選過程控制優(yōu)化[2]。浮選泡沫圖像中包含許多與浮選過程變量和產(chǎn)品質(zhì)量相關(guān)的信息，準(zhǔn)確并快速地提取浮選泡沫圖像特征，建立浮選泡沫圖像特征與浮選過程關(guān)鍵參數(shù)間的非線性映射關(guān)系，對浮選過程的實(shí)時(shí)在線監(jiān)測與控制是十分有意義的[3-4]。

煤泥浮選泡沫圖像特征一般包括基于單幀圖像提取的靜態(tài)特征（包括泡沫顏色特征、紋理特征、形態(tài)特征等）和基于圖像序列幀提取的動態(tài)特征（包括泡沫速度、穩(wěn)定度等，泡沫速度是動態(tài)特征中的一個(gè)關(guān)鍵特征參數(shù)）。許多學(xué)者對泡沫圖像靜態(tài)特征提取進(jìn)行了分析。文獻(xiàn)[5]從多種圖像特征中選擇恰當(dāng)?shù)奈锢韰?shù)（顏色、紋理 ）描述精選泡沫圖像，研究了基于圖像處理技術(shù)的泡沫顏色和紋理特征提取方法。文獻(xiàn)[6]將泡沫圖像進(jìn)行顏色空間轉(zhuǎn)換并計(jì)算顏色共生矩陣，從歸一化后的顏色共生矩陣中提取特征統(tǒng)計(jì)量來表征泡沫紋理狀況，設(shè)計(jì)有效描述浮選泡沫紋理的新特征參數(shù)。文獻(xiàn)[7]采用小波閾值去噪和形態(tài)學(xué)操作對泡沫圖像進(jìn)行標(biāo)記，然后對處理后圖像進(jìn)行距離變換、灰度重構(gòu)，并用分水嶺算法完成分割，統(tǒng)計(jì)泡沫形態(tài)特征。由于浮選泡沫圖像局部靜態(tài)特征相似，難以很好地用于浮選實(shí)時(shí)監(jiān)測與控制，一些較為復(fù)雜的工況判斷需要用到浮選泡沫圖像的動態(tài)特征?；趫D像處理的浮選泡沫動態(tài)特征參數(shù)提取，文獻(xiàn)[8]提出了一種基于尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）和改進(jìn)卡爾曼濾波的在線泡沫速度測量方法，并討論了泡沫速度與生產(chǎn)性能指標(biāo)的關(guān)系。文獻(xiàn)[9]根據(jù)泡沫速度大小和方向?qū)?yīng)分布范圍改進(jìn)SIFT 算法匹配條件，利用隨機(jī)抽樣一致（Random Sample Consensus,RANSAC）算法進(jìn)一步剔除誤匹配點(diǎn)，并根據(jù)匹配結(jié)果提取泡沫速度特征。以上算法在圖像發(fā)生縮放、光照和仿射變換時(shí)仍保持穩(wěn)定，但在匹配過程中出現(xiàn)了大量誤匹配且實(shí)時(shí)性不足的問題。文獻(xiàn)[10]采用同態(tài)濾波和直方圖均衡化相結(jié)合的方法對井下圖像進(jìn)行預(yù)處理，在加速KAZE（Accelerated-KAZE,AKAZE）和暴力匹配（Brute Force，BF）的基礎(chǔ)上利用RANSAC 進(jìn)行精準(zhǔn)匹配，但RANSAC 在剔除錯誤匹配的同時(shí)也剔除了較多正確匹配。

針對上述問題，本文提出了一種基于AKAZE 與基于網(wǎng)格的運(yùn)動統(tǒng)計(jì)（Grid-based Motion Statistics，GMS）算法[11]和卡爾曼運(yùn)動估計(jì)的煤泥浮選泡沫速度特征提取方法。首先，采用限制對比度自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）和三維塊匹配濾波（Blockmatching and 3D filtering，BM3D）對浮選泡沫圖像進(jìn)行預(yù)處理，保留更多的紋理和邊緣細(xì)節(jié)信息。然后，采用AKAZE 特征匹配算法和BF 對預(yù)處理后的圖像特征進(jìn)行網(wǎng)格劃分，采用GMS 算法快速可靠地區(qū)分正確與錯誤的特征匹配，從而提高泡沫圖像特征匹配的準(zhǔn)確性和實(shí)時(shí)性。最后，根據(jù)匹配結(jié)果計(jì)算浮選泡沫速度，并以此為測量值，利用卡爾曼運(yùn)動估計(jì)對測量值進(jìn)行修正，得到更穩(wěn)定的煤泥浮選泡沫速度。

1 煤泥浮選泡沫速度特征提取流程

煤泥浮選泡沫速度特征是實(shí)現(xiàn)浮選狀態(tài)客觀評價(jià)不可或缺的特征參量，其與浮選生產(chǎn)速率、泡沫帶礦量及精煤回收率等浮選性能參數(shù)有極大關(guān)聯(lián)。

基于圖像特征匹配可大大降低煤泥浮選泡沫速度特征提取的難度，是一種快速、非接觸式的軟測量方法?；趫D像特征匹配的煤泥浮選泡沫速度特征提取是通過分析泡沫視頻圖像中相鄰幀的相互關(guān)系，從而進(jìn)行特征匹配來實(shí)現(xiàn)的。由于高幀率數(shù)字相機(jī)相鄰幀間的間隔時(shí)間很短，相鄰幀間同一目標(biāo)煤泥浮選泡沫的亮度和位置不會發(fā)生劇烈變化。泡沫在三維空間中的位置變化可看作在二維圖像空間的平移。相鄰幀泡沫位置信息會發(fā)生變化，但其主要特征不會發(fā)生劇烈變化，如圖1 所示。

基于圖像特征匹配的煤泥浮選泡沫速度特征提取方法主要包括泡沫圖像獲取、圖像預(yù)處理、特征檢測與匹配和速度提取4 個(gè)部分，其流程如圖2 所示。通過浮選泡沫圖像采集系統(tǒng)得到質(zhì)量清晰及特征明顯的視頻，從中提取泡沫序列幀圖像。對泡沫序列幀圖像進(jìn)行銳化和去噪處理，并對處理后的泡沫圖像進(jìn)行特征點(diǎn)檢測、特征匹配和錯誤匹配過濾。根據(jù)特征匹配結(jié)果計(jì)算泡沫特征點(diǎn)的速度，為浮選泡沫速度特征提供測量值。在此基礎(chǔ)上利用卡爾曼運(yùn)動估計(jì)方法對得到的測量值進(jìn)行迭代修正，得到更穩(wěn)定的煤泥浮選泡沫速度特征。

圖2 煤泥浮選泡沫速度特征提取流程Fig.2 Coal slime flotation froth velocity feature extraction process

2 煤泥浮選泡沫速度特征提取算法

2.1 圖像預(yù)處理

實(shí)驗(yàn)采集到的煤泥浮選泡沫圖像存在光照分布不均勻、起泡邊緣信息模糊、相鄰泡沫間存在陰影及噪聲干擾等問題，采用CLAHE-BM3D 算法對原始泡沫圖像進(jìn)行增強(qiáng)和去噪處理，使泡沫圖像的紋理細(xì)節(jié)和對比度更加突出。首先，將輸入的原始圖像分割為多個(gè)子塊，計(jì)算每個(gè)子塊與其相鄰子塊的對比度變換函數(shù)，進(jìn)而增強(qiáng)每個(gè)子塊的對比度[12]。其次，使用雙線性插值合并相鄰子塊得到均衡化后的對比度增強(qiáng)圖像。然后，對增強(qiáng)圖像進(jìn)行去噪處理，對圖像進(jìn)行分塊，計(jì)算待匹配塊與參考塊的相似性，根據(jù)相似性進(jìn)行分組提取相似塊[13]。最后，將這些相似塊堆疊成三維群組，對其進(jìn)行協(xié)同濾波處理[14]，再將處理后的結(jié)果聚合返還到原圖像塊的位置上，得到預(yù)處理后的圖像。

2.2 AKAZE-GMS 特征匹配

針對傳統(tǒng)AKAZE 特征匹配算法存在誤匹配的問題，在利用BF 算法進(jìn)行粗匹配的基礎(chǔ)上，采用GMS 算法進(jìn)行精匹配，提高匹配準(zhǔn)確率和實(shí)時(shí)性。首先，采用快速顯式擴(kuò)散數(shù)學(xué)框架（Fast Explicit Diffusion，F(xiàn)ED）構(gòu)建泡沫圖像尺度空間，引入改進(jìn)局部差分二進(jìn)制描述符（Modified-Local Difference Binary，M-LDB）描述每個(gè)特征點(diǎn)，尋找不同尺度下Hessian 極大值點(diǎn)，以完成局部特征點(diǎn)提取[15]。然后，利用K 近鄰算法檢測出目標(biāo)特征點(diǎn)的最近鄰點(diǎn)和次近鄰點(diǎn)，采用BF 算法對所有特征點(diǎn)進(jìn)行特征粗匹配。最后，采用GMS 算法快速可靠地區(qū)分正確與錯誤的特征匹配，得到高質(zhì)量的匹配點(diǎn)對。

2.3 卡爾曼運(yùn)動估計(jì)

卡爾曼濾波器可利用線性系統(tǒng)狀態(tài)方程對泡沫狀態(tài)進(jìn)行最優(yōu)估計(jì)，由于根據(jù)圖像特征匹配結(jié)果得到的泡沫速度測量值受系統(tǒng)的噪聲和干擾影響，泡沫速度估計(jì)可看作濾波過程[16]。設(shè)泡沫初始時(shí)刻位置為p0，速度為v0，由于相鄰幀時(shí)間間隔很短，泡沫位置變化很小，近似看作泡沫做勻速運(yùn)動，在 Δt時(shí)間后泡沫的位置pt和速度vt分別為

將式（1）和式（2）轉(zhuǎn)換為矩陣向量。

通過變量代換可得狀態(tài)轉(zhuǎn)移公式，對t時(shí)刻泡沫狀態(tài)進(jìn)行預(yù)測。

式中：St為泡沫在t時(shí)刻預(yù)測狀態(tài)矩陣；S0為泡沫在初始時(shí)刻的狀態(tài)矩陣；A為狀態(tài)轉(zhuǎn)移矩陣，

采用測量值來修正預(yù)測狀態(tài)的誤差，在測量值與預(yù)測狀態(tài)間尋找泡沫狀態(tài)最優(yōu)估計(jì)。

式中：F為最優(yōu)估計(jì)矩陣；Zt為測量矩陣；K為卡爾曼系數(shù)。

3 實(shí)驗(yàn)結(jié)果分析

煤泥浮選泡沫圖像采集系統(tǒng)主要由煤泥浮選系統(tǒng)和圖像處理系統(tǒng)2 個(gè)部分組成，如圖3 所示。煤泥浮選系統(tǒng)由儲料桶、礦漿預(yù)處理器、藥劑桶、給料泵、微量給藥泵、驅(qū)動下置式浮選柱等組成，主要負(fù)責(zé)產(chǎn)生連續(xù)的煤泥浮選泡沫。圖像處理系統(tǒng)由光源、圖像采集裝置、圖像處理平臺組成。光源由2 條機(jī)器視覺專用 LED 光源組合而成，圖像采集裝置采用4.5 倍光學(xué)變焦，1 200 萬像素CMOS 自動聚焦的工業(yè)相機(jī)，500 萬像素3 倍變焦鏡頭。圖像處理平臺包括硬件和軟件2 個(gè)部分：硬件環(huán)境為Intel（R）Core（TM）i7-11800H @ 2.30 GHz，內(nèi)存為32 GB，顯卡為NVIDIA GeForce GTX3060；軟件環(huán)境為OpenCV開源計(jì)算機(jī)視覺庫和 Python 平臺。本文實(shí)驗(yàn)所用樣品來自山西汾西礦業(yè)（集團(tuán)）有限責(zé)任公司柳灣選煤廠，粒級為0～0.25 mm。

圖3 煤泥浮選泡沫圖像采集系統(tǒng)Fig.3 Image acquisition system for coal slime flotation froth

為驗(yàn)證本文AKAZE-GMS 特征匹配算法的性能，采用SIFT 算法、SURF（Speeded Up Robust Features，加速穩(wěn)健特征）算法、傳統(tǒng)AKAZE 算法與AKAZEGMS 算法進(jìn)行對比，結(jié)果如圖4 所示?？煽闯鯯IFT 算法檢測到的特征點(diǎn)分布較為稀疏；SURF 算法雖然檢測到了較多的特征點(diǎn)，但出現(xiàn)了明顯的簇集現(xiàn)象，不能很好地表示圖像特征；傳統(tǒng)AKAZE算法檢測的特征點(diǎn)大部分均勻分布在泡沫邊緣區(qū)域，有效解決了簇集現(xiàn)象，但存在特征點(diǎn)數(shù)量較少的問題；AKAZE-GMS 算法較好地解決特征點(diǎn)簇集的同時(shí)又盡量保留了更多數(shù)量的特征點(diǎn)，這是因?yàn)轭A(yù)處理后圖像所受噪聲影響降低、對比度增強(qiáng)、邊緣特征更突出。

圖4 各算法特征檢測結(jié)果對比Fig.4 Comparison of the feature test results of each algorithm

為驗(yàn)證AKAZE-GMS 算法特征匹配效果，將SIFT、SURF、傳統(tǒng)AKAZE 算法與AKAZE-GMS 算法進(jìn)行對比，匹配結(jié)果如圖5 所示?？煽闯鯯IFT 算法匹配結(jié)果仍有較多的誤匹配；SURF 算法匹配結(jié)果相較于SIFT 算法匹配對數(shù)量和匹配精度提高，但匹配對分布在集中的一個(gè)區(qū)域內(nèi)；傳統(tǒng)AKAZE 算法相較于前2 種算法匹配對分布更均勻，匹配精度更高，但過濾了較多的正確匹配對；AKAZE-GMS 算法匹配精度最高，匹配對分布更均勻，同時(shí)保留了更多的匹配對。

圖5 各算法特征匹配結(jié)果對比Fig.5 Comparison of the feature matching results of each algorithm

對不同匹配算法結(jié)果進(jìn)行分析，匹配精度和算法運(yùn)行時(shí)間見表1?？煽闯鯝KAZE-GMS算法匹配正確率提高，保留了更多匹配對，且運(yùn)行時(shí)間更短。

表1 匹配精度及運(yùn)行時(shí)間Table 1 Matching accuracy and running time

煤泥浮選泡沫速度計(jì)算結(jié)果如圖6 所示?？煽闯龈鶕?jù)特征匹配結(jié)果計(jì)算得到的泡沫速度測量值波動較大，測量值經(jīng)過卡爾曼運(yùn)動估計(jì)修正后的速度估計(jì)值較為平穩(wěn)，更符合真實(shí)工況。

圖6 煤泥浮選泡沫速度計(jì)算結(jié)果Fig.6 Calculated coal slime flotation froth velocity results

為了對比不同算法提取泡沫速度特征的穩(wěn)定性，選取速度均值和標(biāo)準(zhǔn)差作為衡量標(biāo)準(zhǔn)，對不同算法直接根據(jù)匹配結(jié)果及經(jīng)過卡爾曼運(yùn)動估計(jì)修正后提取的速度特征進(jìn)行分析，結(jié)果見表2?？煽闯鯝KAZE-GMS 算法經(jīng)過卡爾曼運(yùn)動估計(jì)修正后提取的速度特征更加穩(wěn)定。

表2 不同算法提取速度特征統(tǒng)計(jì)分析Table 2 Statistical analysis of speed features extracted by different algorithms 像素/s

4 結(jié)論

（1）通過預(yù)處理降低了噪聲對圖像質(zhì)量的影響并增強(qiáng)了圖像的對比度，提高了泡沫圖像質(zhì)量，突出了泡沫的邊緣細(xì)節(jié)特征，解決了特征點(diǎn)檢測中特征點(diǎn)簇集的同時(shí)又盡量保留了更多數(shù)量的特征點(diǎn)。

（2）采用AKAZE-GMS 算法得到的匹配對分布更均勻，匹配精度最高，達(dá)99.99%，保留的正確匹配對遠(yuǎn)高于其他算法，同時(shí)運(yùn)行時(shí)間縮短至3.73 s，實(shí)時(shí)性更好。

（3）經(jīng)過卡爾曼運(yùn)動估計(jì)修正后的特征匹配結(jié)果得到的泡沫速度穩(wěn)定性更高，更接近其實(shí)際速度，能更好地為浮選過程中泡沫監(jiān)測提供指示參量。