基于幀差法和Mean Shift融合的浮選中顆粒跟蹤方法

梁秀滿+付董帥+牛福生

摘 要：為了準(zhǔn)確地跟蹤浮選視頻序列中的絮體顆粒，提出一種結(jié)合幀差法與Mean Shift的多運(yùn)動(dòng)目標(biāo)跟蹤方法。首先使用幀間差分法對(duì)視頻文件中的初始兩幀圖像進(jìn)行差分處理，進(jìn)而檢測(cè)得到運(yùn)動(dòng)目標(biāo)，并確定跟蹤窗口和跟蹤目標(biāo)的中心位置；然后結(jié)合數(shù)學(xué)形態(tài)學(xué)處理優(yōu)化差分圖像，濾除噪聲干擾；最后利用求得的核直方圖模型在下一幀圖像內(nèi)進(jìn)行搜索，通過(guò)Mean Shift算法找到最佳匹配區(qū)域，達(dá)到對(duì)顆粒位置跟蹤的目的。結(jié)果表明，該算法可以迅速并高效地跟蹤浮選過(guò)程中的多個(gè)絮體顆粒，具有優(yōu)越的魯棒性和實(shí)時(shí)性。

關(guān)鍵詞：多目標(biāo)跟蹤；顆粒；幀差法；Mean Shift算法

中圖分類號(hào)：TP311.11 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：In order to track floc particles in a flotation video sequence accurately，the paper proposes a multiple moving object tracking method based on frame difference method and Mean Shift algorithm.First of all，the frame difference method is used to process the two adjacent frames in the video sequence，so as to detect the moving object.Then，differential images are optimized combined with the mathematical morphology processing method，which is convenient to eliminate noise interference.Finally，the obtained kernel histogram model is applied to search in the next frame of the video，and the Mean Shift algorithm is adopted to find the best matching area，which achieves the particle's position tracking.The result indicates that this algorithm can track multiple floc particles quickly and efficiently，with excellent robustness and real-time performance.

Keywords：multi-target tracking；particle；frame difference method；mean shift algorithm

1 引言（Introduction）

浮選是礦業(yè)工程領(lǐng)域中篩選有用礦物的重要工藝方法，隨著全球礦產(chǎn)資源日漸貧乏，如何提高浮選效率成為當(dāng)今一大研究熱點(diǎn)。在浮選過(guò)程中向礦漿內(nèi)通入氣泡，使其與礦物顆粒發(fā)生碰撞、附著，在浮力的作用下分離有用礦物，碰撞的發(fā)生效率因此成為決定浮選效率的關(guān)鍵之一[1]。研究表明[2-4]，通過(guò)判斷滴落的顆粒運(yùn)動(dòng)軌跡的改變程度可以檢測(cè)顆粒與氣泡是否發(fā)生碰撞，對(duì)于顆粒沉降軌跡的描述就需要對(duì)礦物顆粒進(jìn)行實(shí)時(shí)跟蹤。因此，設(shè)計(jì)出一種快速、準(zhǔn)確的應(yīng)用于視頻序列中的顆粒跟蹤方法對(duì)于研究顆粒運(yùn)動(dòng)軌跡有重大意義。

近年來(lái)，多目標(biāo)跟蹤算法應(yīng)用到越來(lái)越多的領(lǐng)域中，在研究浮選碰撞問(wèn)題時(shí)對(duì)多顆粒位置的跟蹤得到廣泛關(guān)注。鐘德華等[5]結(jié)合代價(jià)函數(shù)和改進(jìn)的MHT算法對(duì)絮體顆粒進(jìn)行跟蹤，雖然改善了目標(biāo)物遮擋問(wèn)題，但由于算法本身復(fù)雜程度，計(jì)算量較大。梁秀滿等[6]利用靜態(tài)圖像處理的方法檢測(cè)顆粒與氣泡是否發(fā)生碰撞，主要通過(guò)提取多幅圖像中顆粒坐標(biāo)信息進(jìn)行擬合，從而實(shí)現(xiàn)對(duì)顆粒位置的跟蹤，由于圖像的截取需要人工操作，因此該方法只適合于少量顆粒的研究。李耀明[7]等提出利用卡爾曼濾波算法預(yù)測(cè)出Mean Shift跟蹤方法的初始目標(biāo)區(qū)域，該算法主要是為了在多顆粒中篩選單一目標(biāo)顆粒并進(jìn)行跟蹤，但是當(dāng)跟蹤多目標(biāo)時(shí)會(huì)出現(xiàn)預(yù)測(cè)不準(zhǔn)確，多顆粒信息互相干擾的情況，影響最終結(jié)果。

本文針對(duì)已經(jīng)搭建的顆粒與氣泡碰撞概率測(cè)試系統(tǒng)[8]進(jìn)行研究，提出利用基于Matlab多目標(biāo)跟蹤方法仿真出跟蹤的運(yùn)動(dòng)顆粒圖像，跟蹤效果準(zhǔn)確，為研究浮選顆粒碰撞理論奠定堅(jiān)實(shí)基礎(chǔ)。

2 多目標(biāo)檢測(cè)（Multi-object detection）

運(yùn)用幀間差分法對(duì)視頻序列中的多個(gè)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，通過(guò)第k+1幀圖像與第k幀圖像做差分運(yùn)算得到運(yùn)動(dòng)目標(biāo)位置[9]，在本研究的視頻中背景圖像是靜止不變的，所以可以直接通過(guò)閾值化處理消除背景。

假設(shè)相鄰兩幀圖像為和，表示像素點(diǎn)坐標(biāo)，檢測(cè)出的運(yùn)動(dòng)目標(biāo)為

（1）

通過(guò)幀差法獲得二值差分圖像如下

（2）

式中，為運(yùn)動(dòng)目標(biāo)，為背景，T為應(yīng)用最大類間閾值分割法獲得的臨界值，此處T取值為100。

對(duì)表達(dá)式（2）中提取的二值差分圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)優(yōu)化，先利用中值濾波消除噪聲干擾

（3）

式中，為經(jīng)中值濾波處理的圖像，為待處理圖像。為了進(jìn)一步優(yōu)化二值圖像，可通過(guò)合并目標(biāo)鄰域及提取目標(biāo)邊界的方法獲得對(duì)象輪廓，消除運(yùn)動(dòng)目標(biāo)的孔洞現(xiàn)象。

3 多目標(biāo)跟蹤（Multiple target tracking ）

基于Mean Shift的多目標(biāo)跟蹤算法首先根據(jù)幀差法獲取的初始幀圖像的跟蹤窗口建立核直方圖，用于描述目標(biāo)的起始位置信息；然后利用Bhattacharyya系數(shù)計(jì)算給定模型和候選模型對(duì)應(yīng)的核直方圖概率密度的相似程度，從而將跟蹤轉(zhuǎn)化為區(qū)域搜索、匹配問(wèn)題；最后通過(guò)迭代一直沿密度梯度方向移動(dòng)，直到收斂在概率密度的最大值處，該位置即為最佳匹配區(qū)域。endprint

3.1 建立目標(biāo)模型

由于跟蹤窗口T依據(jù)幀差法提取而來(lái)，因此Mean Shift跟蹤算法通過(guò)目標(biāo)像素顏色描述圖像信息應(yīng)改變?yōu)橥ㄟ^(guò)灰度特征計(jì)算核直方圖。設(shè)表示以給定模型中心位置為初始點(diǎn)的像素信息，跟蹤窗口核直方圖表示為，映射函數(shù)b：將像素的灰度值分化為m個(gè)數(shù)量，給定模型的核直方圖為

（4）

式中，C為無(wú)量綱化的固定不變值，為目標(biāo)圖像的核函數(shù)，在本文選取的是Epanechnikov核，r為的帶寬，為引用的Kronecker delta函數(shù)，為預(yù)測(cè)下一幀目標(biāo)的特征值。由于所有特征值對(duì)應(yīng)的概率總和始終為1，因此根據(jù)約束條件可以推導(dǎo)出C的表達(dá)式為

（5）

確定目標(biāo)模型的核直方圖后，用相同的方法計(jì)算候選圖像的核直方圖，設(shè)y為候選圖像運(yùn)動(dòng)目標(biāo)的中心位置，候選圖像跟蹤窗口核直方圖表示為，其他參量和給定模型相同，則候選模型的核直方圖為

（6）

3.2 檢驗(yàn)相似程度

為了檢驗(yàn)運(yùn)動(dòng)目標(biāo)起始幀圖像和當(dāng)前幀圖像的相似程度，利用Bhattacharyya系數(shù)計(jì)算給定模型和候選模型的概率分布的相似度。根據(jù)上述搭建的目標(biāo)模型和候選模型，可得相似性系數(shù)定義公式如下

（7）

該系數(shù)主要是用于求取兩向量間的夾角余弦值，定義范圍為[0，1]，越大，相似性越高，當(dāng)時(shí)，兩模型完全相同。因此Mean Shift跟蹤算法通過(guò)計(jì)算目標(biāo)圖像與各候選模型的相似系數(shù)來(lái)確定當(dāng)前幀運(yùn)動(dòng)目標(biāo)。

3.3 目標(biāo)定位

（1）確定目標(biāo)模型中的核函數(shù)窗寬r和當(dāng)前幀圖像的中心位置，計(jì)算概率和，通過(guò)Bhattacharyya系數(shù)找到最佳匹配區(qū)域。

（2）計(jì)算所有處的權(quán)重值

（8）

（3）通過(guò)泰勒極限推導(dǎo)出Mean Shift算法的迭代形式，估算候選圖像中運(yùn)動(dòng)區(qū)域的中心值

（9）

（4）計(jì)算新的和。若，則。若，則停止計(jì)算，否則重回（1）開始計(jì)算。

4 實(shí)例分析（Sample analysis）

本研究建立了圖1所示的浮選碰撞測(cè)試實(shí)驗(yàn)系統(tǒng)，實(shí)驗(yàn)大致流程為向盛有蒸餾水的容器內(nèi)緩慢滴入礦漿（主要含赤鐵礦），通過(guò)改變滴落位置，判斷礦漿內(nèi)顆粒與通入氣泡間的碰撞發(fā)生情況，用工業(yè)CCD相機(jī)采集礦漿滴落過(guò)程中與靜止氣泡相對(duì)運(yùn)動(dòng)的視頻，其中礦漿中的顆粒濃度控制在1wt%—3wt%。

根據(jù)本研究用到的幀差法對(duì)CCD相機(jī)采集得到的絮體顆粒運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，如圖2所示的視頻截取的當(dāng)前幀圖像為例，通過(guò)對(duì)起始的兩幀圖像差分運(yùn)算，可以快速得到背景圖像，利用當(dāng)前幀圖像與背景圖像的差值能夠準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)。

利用Matlab對(duì)圖（2）中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取得到圖3所示圖像，其中圖3（a）是利用幀差法檢測(cè)得到的運(yùn)動(dòng)顆粒的仿真圖，圖3（b）是在此基礎(chǔ)上加入數(shù)學(xué)形態(tài)學(xué)處理。由于礦漿較為混濁，因此在滴入蒸餾水中時(shí)，顆粒會(huì)有滑落的痕跡，此外，觀察圖2中的氣泡和圖3（a）不難發(fā)現(xiàn)，受光的影響，氣泡可能會(huì)被誤認(rèn)為運(yùn)動(dòng)目標(biāo)，所以需要中值濾波、合并目標(biāo)區(qū)域、邊界提取等形態(tài)學(xué)操作，才能得到如圖3（b）所示的理想圖像。

通過(guò)幀差法可以為Mean Shift目標(biāo)跟蹤方法提供起始跟蹤窗口，避免了人工選取的煩瑣程度。跟蹤算法運(yùn)行時(shí)，首先會(huì)播放原始采集的視頻，播放結(jié)束后會(huì)重新播放如圖4所示只有運(yùn)動(dòng)目標(biāo)下落的視頻，其中該算法通過(guò)圖4中紅框（框取顆粒位置信息）的四角坐標(biāo)得到中心坐標(biāo)，從而計(jì)算Bhattacharyya系數(shù)和權(quán)值，方便找到下一幀的最佳位置。

由于顆粒接近氣泡時(shí)會(huì)受到來(lái)自氣泡周圍繞流的影響，因此顆粒并不是垂直下落。通過(guò)跟蹤顆粒下落的位置，可以擬合出如圖5所示顆粒運(yùn)動(dòng)的軌跡，通過(guò)判斷軌跡是否通過(guò)氣泡，可以檢測(cè)出顆粒與氣泡是否發(fā)生碰撞，為礦業(yè)工程學(xué)院進(jìn)一步研究浮選碰撞問(wèn)題提供便利。

5 結(jié)論（Conclusion）

本文針對(duì)視頻圖像中多目標(biāo)跟蹤問(wèn)題，提出利用幀差法與Mean Shift算法共同實(shí)現(xiàn)對(duì)滴落顆粒的運(yùn)動(dòng)軌跡跟蹤，并利用Matlab對(duì)顆粒與氣泡碰撞概率測(cè)試系統(tǒng)采集的視頻圖像進(jìn)行仿真操作。試驗(yàn)結(jié)果表明，通過(guò)幀差法能夠快速提取圖像中的目標(biāo)模型并提供初始跟蹤窗口，結(jié)合Mean Shift算法能夠準(zhǔn)確跟蹤顆粒下落過(guò)程，節(jié)省了大量工作時(shí)間，提高了顆粒二值圖像的清晰度，為后續(xù)探究浮選碰撞問(wèn)題提供可靠保證。

參考文獻(xiàn)（References）

[1] ZHANG Y J，et al.Physical properties and filter cake structure of fine clean coal from flotation[J].International Journal of Mining Science and Technology，2014，24（2）：281-284.

[2] ANSARI A，et al.Floatability of chalcopyrite and molybdenite in the presence of lignosulfonates，Part Ⅱ：Hallimond tube flotation[J].Minerals Engineering，2007，20（6）：609-616.

[3] A Nguyen-van.The collision between fine particles and single air bubbles in flotation[J].Journal of Colloid and Interface Science，1994，162（1）：123-128.

[4] 王芝偉，梁殿印.磁鐵礦顆粒在復(fù)合力場(chǎng)中的運(yùn)動(dòng)軌跡研究[J].有色金屬（選礦部分），2011（2）：43-47.

[5] 鐘德華，等.多目標(biāo)跟蹤算法的研究與應(yīng)用[J].計(jì)算機(jī)測(cè)量與控制，2008，16（6）：846-848.

[6] 梁秀滿，等.基于Otsu圖像分割的顆粒與氣泡碰撞檢測(cè)方法[J].礦業(yè)工程，2017，26（06）：127-130.

[7] 李耀明，等.基于Mean Shift的篩面物料顆粒目標(biāo)運(yùn)動(dòng)軌跡跟蹤[J].農(nóng)業(yè)工程學(xué)報(bào)，2009，25（5）：119-122.

[8] 張世杰.煤泥浮選過(guò)程中顆粒與氣泡碰撞、吸附規(guī)律研究[D].北京：中國(guó)礦業(yè)大學(xué)，2015.

[9] FIGUEROA P J，KEITE N J，BARROS R M L.Tracking soccer players aiming their kinematical motion analysis[J].Computer Vision and Image Understanding，2006，101（2）：122-135.

作者簡(jiǎn)介：

梁秀滿（1973-），女，碩士，副教授.研究領(lǐng)域：檢測(cè)技術(shù)及智能裝置.

付董帥（1992-），男，碩士生.研究領(lǐng)域：檢測(cè)技術(shù)及智能裝置.本文通訊作者.

牛福生（1974-），男，博士，教授.研究領(lǐng)域：赤鐵礦顆粒絮凝浮.endprint