基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法

汪心悅， 喬鐵柱， 龐宇松， 閻高偉

(1.太原理工大學(xué) 新型傳感器與智能控制教育部重點(diǎn)實(shí)驗(yàn)室， 山西 太原 030024； 2.太原理工大學(xué) 物理與光電工程學(xué)院， 山西 太原 030024； 3.代爾夫特理工大學(xué) 機(jī)械、海事和材料工程學(xué)院， 荷蘭 代爾夫特 2628 CD； 4.太原理工大學(xué) 電氣與動力工程學(xué)院， 山西 太原 030024)

0 引言

智慧礦山建設(shè)是實(shí)現(xiàn)煤炭工業(yè)高質(zhì)量發(fā)展的重要保障。在智慧礦山各環(huán)節(jié)中，智能生產(chǎn)、智能運(yùn)輸及智能調(diào)度管理等環(huán)節(jié)都需要煤流數(shù)據(jù)的支持[1]。因此，輸送帶煤流檢測問題十分重要。

帶式輸送機(jī)是主要的煤炭運(yùn)輸設(shè)備[2]。根據(jù)計(jì)量原理不同，傳統(tǒng)煤流檢測裝置主要分為核子膠帶秤[3]和電子膠帶秤[4]。核子膠帶秤的放射源在使用和存儲時(shí)存在一定的安全和環(huán)保隱患；電子膠帶秤屬于接觸式檢測裝置，檢測精度易受輸送帶張力、剛度等因素的影響。近年來，非接觸式檢測方法在煤流檢測領(lǐng)域得到廣泛研究和應(yīng)用。N. M. Mihut[5]設(shè)計(jì)了一種基于超聲波傳感器的輸送帶物料運(yùn)輸流量測量系統(tǒng)，但超聲波測距響應(yīng)速度慢，且?guī)捷斔蜋C(jī)高速運(yùn)行時(shí)測量誤差較大。李萍等[6]基于線激光條紋實(shí)現(xiàn)帶送煤炭體積測量，該方法采集區(qū)域不均勻，測量誤差較大。代偉等[7]采用雙目視覺方法獲取煤料圖像各點(diǎn)深度信息，基于煤量計(jì)算公式實(shí)現(xiàn)煤流檢測，但雙目視覺系統(tǒng)立體匹配計(jì)算成本高、實(shí)時(shí)性差，另外井下環(huán)境光照條件復(fù)雜、粉塵較大，且煤料與輸送帶顏色相近，均會影響檢測效果。

基于飛行時(shí)間(Time-of-Flight，TOF)測距原理的相機(jī)[8-9]可直接獲得均勻的場景深度信息和強(qiáng)度信息，測量效果幾乎不受環(huán)境光影響[10]，且受物體表面灰度特性影響較小[11-12]。然而，TOF相機(jī)因采用主動紅外成像機(jī)制，獲得的深度圖像在深度不連續(xù)處(即物體邊緣)存在一些飛行像素噪聲與多徑誤差噪聲[13]，造成邊緣信息錯誤，無法準(zhǔn)確表示物體邊緣的深度值。此外，受物體材質(zhì)、拍攝角度和粉塵等影響，深度圖像會包含一些無深度數(shù)據(jù)的空洞和脈沖噪聲[14]。劉嬌麗等[15]、J. Jung等[16]提出了不同的深度圖像修復(fù)算法，但難以兼顧去噪和邊緣特征保持。

本文采用TOF相機(jī)采集輸送帶運(yùn)煤圖像，根據(jù)TOF深度圖像和強(qiáng)度圖像數(shù)據(jù)特點(diǎn)，提出了一種基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法，并通過煤料運(yùn)輸實(shí)驗(yàn)驗(yàn)證了該方法對煤流檢測的精度。

1 輸送帶煤流檢測方法原理

基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法主要包括TOF圖像采集、煤料區(qū)域識別、強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)、煤流計(jì)算等，如圖1所示。煤料區(qū)域識別是將采集的TOF圖像均衡化后，采用幀差法和邊界跟隨算法去除背景噪聲。深度圖像修復(fù)基于Canny邊緣檢測法檢測深度圖像和強(qiáng)度圖像邊緣并尋找相似邊緣，采用強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)算法對深度圖像邊緣進(jìn)行校正，從而獲得高精度的深度圖像。煤流計(jì)算通過建立煤料體積計(jì)算模型實(shí)現(xiàn)。

圖1 輸送帶煤流檢測方法原理Fig.1 Principle of coal flow detection method of conveyor belt

2 煤料區(qū)域識別

為了簡化后續(xù)圖像邊緣修復(fù)和煤流計(jì)算，對圖像中感興趣區(qū)域(Region of Interest，ROI)即煤料區(qū)域進(jìn)行識別。對獲取的TOF深度圖像進(jìn)行直方圖均衡化處理，以增強(qiáng)圖像對比度。將當(dāng)前深度圖像fd與輸送帶空載時(shí)采集的深度圖像f0逐像素相減，得到深度差值圖像：

D=|fd-f0|

(1)

采用邊界跟隨算法檢測深度差值圖像最外層邊界，壓縮水平、垂直和對角線方向的像素點(diǎn)，只保存相應(yīng)方向的終點(diǎn)坐標(biāo)，即保留所有輪廓拐點(diǎn)處的像素點(diǎn)，拐點(diǎn)之間直線段上的像素點(diǎn)舍棄，從而加快運(yùn)算速度。將邊界內(nèi)面積小于100像素的區(qū)域視為噪聲并去除，得到ROI。

3 強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)

TOF深度圖像中深度值不連續(xù)區(qū)域往往對應(yīng)強(qiáng)度圖像中灰度值不連續(xù)區(qū)域，因此提出一種強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)算法(圖2)，利用強(qiáng)度圖像中有效的邊緣信息對深度圖像中邊緣處的不可靠數(shù)據(jù)進(jìn)行修復(fù)。

圖2 強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)算法原理Fig.2 Principle of intensity image-guided depth image restoration algorithm

基于Canny邊緣檢測算法分別獲取當(dāng)前深度圖像和強(qiáng)度圖像的邊緣信息，采用雙閾值識別圖像中的強(qiáng)邊緣和弱邊緣，并結(jié)合強(qiáng)弱邊緣的位置關(guān)系，得出圖像整體邊緣信息。之后將深度圖像的邊緣信息投影至強(qiáng)度圖像，對投影后的深度圖像邊緣依次進(jìn)行掃描，若某邊緣點(diǎn)的8鄰域范圍內(nèi)存在強(qiáng)度圖像邊緣點(diǎn)，則將該深度圖像邊緣點(diǎn)判定為相似度大的邊緣點(diǎn)。將深度圖像上所有相似度大且與強(qiáng)度圖像邊緣點(diǎn)不重合的邊緣點(diǎn)放入候選集合R中，將深度圖像上相似度大的邊緣點(diǎn)8鄰域范圍內(nèi)的強(qiáng)度圖像邊緣點(diǎn)放入候選集合I中，得到深度圖像和強(qiáng)度圖像的相似邊緣。

利用強(qiáng)度圖像邊緣校正深度圖像邊緣的原理如圖3所示。將強(qiáng)度圖像邊緣點(diǎn)投影至深度圖像中，對集合I中的邊緣點(diǎn)在8鄰域范圍內(nèi)進(jìn)行掃描，若集合I中某邊緣點(diǎn)A在對應(yīng)深度圖像中相同位置的點(diǎn)A′的8鄰域范圍內(nèi)存在集合R中的點(diǎn)，則將這些點(diǎn)去除，并將點(diǎn)A′處的深度值fA′由該點(diǎn)8鄰域范圍內(nèi)所有邊緣點(diǎn)深度值的中值所替代；若點(diǎn)A′的8鄰域范圍內(nèi)不存在集合R中的點(diǎn)，則點(diǎn)A′處的深度值fA′不變。

圖3 深度圖像邊緣校正原理Fig.3 Principle of depth image edge correction

深度圖像邊緣校正過程可表示為

(2)

式中：N8A′為點(diǎn)A′的8鄰域范圍；MA′為點(diǎn)A′的8鄰域范圍內(nèi)所有邊緣點(diǎn)深度值的中值。

針對深度圖像上的空洞及相似邊緣校正后在8鄰域范圍內(nèi)留下的空缺，采用基于Navier-Stokes方程的圖像修復(fù)算法，根據(jù)待修復(fù)區(qū)域周圍的像素值及像素間的結(jié)構(gòu)關(guān)系，估算空缺區(qū)域可能的像素排列，從而修復(fù)圖像非邊緣部分。針對脈沖噪聲，選用尺寸為3×3的中值濾波器濾波，以深度圖像深度值的中值作為濾波器中心像素值。完成上述操作后，得到高精度深度圖像。

4 煤流計(jì)算

基于高精度深度圖像，對煤料進(jìn)行像素級分割，建立煤料體積計(jì)算模型，得出當(dāng)前區(qū)域的煤料體積，再根據(jù)當(dāng)前輸送帶速度計(jì)算煤流，如圖4所示。OW為TOF相機(jī)的焦點(diǎn)，也是世界坐標(biāo)系OWXWYWZW的原點(diǎn)；H為TOF相機(jī)距輸送帶的垂直距離；α，β分別為TOF相機(jī)在XW，YW方向的視野范圍；v為輸送帶沿XW方向的實(shí)時(shí)速度；L，K分別為TOF相機(jī)所采集圖像在XW，YW方向的實(shí)際長度。

圖4 煤流計(jì)算原理Fig.4 Principle of coal flow calculation

將輸送帶空載時(shí)的高精度深度圖像F0與當(dāng)前高精度深度圖像Fd逐像素相減并乘以轉(zhuǎn)換系數(shù)δ(深度圖像像素值與實(shí)際深度的轉(zhuǎn)換比例)，得到當(dāng)前ROI內(nèi)煤料的實(shí)際高度圖像：

h=δ|Fd-F0|

(3)

h上任意位置(x,y)處像素點(diǎn)的值h(x,y)代表該點(diǎn)對應(yīng)的煤料實(shí)際高度。計(jì)算Fd中ROI表示的實(shí)際面積：

(4)

式中：SD為Fd所表示區(qū)域的實(shí)際面積；m為每幀深度圖像的像素?cái)?shù)；n為當(dāng)前ROI內(nèi)的像素?cái)?shù)。

(5)

當(dāng)前ROI的煤料總體積可近似轉(zhuǎn)換為單位像素表示的體積積分，通過對煤料進(jìn)行像素級分割并積分得到。積分原理如圖5所示。將煤料體積近似劃分為多個(gè)底面積相同的立方體，每個(gè)立方體與深度圖像的像素點(diǎn)一一對應(yīng)。

(a) 俯視

(b) 俯視分割

(c) 側(cè)視

(d) 側(cè)視分割

當(dāng)前ROI內(nèi)的煤料體積為

(6)

當(dāng)前煤流為

(7)

5 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)環(huán)境如圖6所示。采用Swift-G TOF相機(jī)(參數(shù)見表1)采集煤料深度圖像和強(qiáng)度圖像。將TOF相機(jī)安裝在輸送帶上方，使其軸線垂直向下?？紤]到測量范圍，相機(jī)安裝高度距輸送帶上表面1.08 m。將實(shí)驗(yàn)采集的圖像以數(shù)字方式傳輸至計(jì)算機(jī)?；赩isual Studio 2019、開源計(jì)算機(jī)視覺庫OpenCV 和Windows10操作系統(tǒng)對輸送帶煤流檢測方法進(jìn)行開發(fā)和實(shí)驗(yàn)。

圖6 實(shí)驗(yàn)環(huán)境Fig.6 Laboratory environment

參數(shù)值分辨率/像素640×480工作范圍/m0.5～6視野范圍/(°×°)43×33照明內(nèi)置7個(gè)LED@850 nm運(yùn)行溫度/℃-20～50最大幀率/(幀·s-1)44

實(shí)驗(yàn)采用大小不等的煤塊。TOF相機(jī)以10幀/s的速度采集輸送帶運(yùn)煤圖像。輸送帶當(dāng)前速度由測速裝置獲得。深度圖像煤料區(qū)域識別如圖7所示，其中a-c分別為均衡化、去除背景噪聲、采用邊界跟隨算法處理后的深度圖像，d為煤料ROI區(qū)域。

圖7 深度圖像煤料區(qū)域識別Fig.7 Recognition of coal area in depth image

強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)如圖8所示。a，b分別為均衡化、邊緣檢測后的深度圖像；c為深度圖像與強(qiáng)度圖像邊緣相似度大的區(qū)域；d,e分別為均衡化、邊緣檢測后的強(qiáng)度圖像；f為將深度圖像ROI修復(fù)并均衡化后的結(jié)果。

圖8 強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)Fig.8 Intensity image-guided depth image restoration

為便于驗(yàn)證煤流檢測效果，將煤流轉(zhuǎn)換為一段時(shí)間內(nèi)的煤料總體積：

(8)

式中：s為TOF相機(jī)幀率；k為TOF相機(jī)在煤料經(jīng)過時(shí)段所采集深度圖像的總幀數(shù)；Gi為根據(jù)TOF相機(jī)采集的第i幀深度圖像計(jì)算得到的瞬時(shí)煤流。

為了驗(yàn)證本文方法的準(zhǔn)確性和精度，將煤料分為體積不同的3組，分別在0.5，1.0，1.5，2.0 m/s輸送帶速度下檢測煤料體積，每次實(shí)驗(yàn)重復(fù)10次，取平均值，結(jié)果見表2。采用平均誤差表示檢測準(zhǔn)確度，采用標(biāo)準(zhǔn)差表示檢測精度。

表2 煤料體積檢測結(jié)果Table 2 Detection results of coal volume

從表2可看出：未采用深度圖像修復(fù)時(shí)，煤料體積最大檢測誤差為5.73%，最大標(biāo)準(zhǔn)差為3.783，表明基于TOF相機(jī)的輸送帶煤流檢測方法可行；采用強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)算法后，煤料體積最大檢測誤差為3.78%，最大標(biāo)準(zhǔn)差為0.491，提高了檢測準(zhǔn)確性與精度；隨著輸送帶上煤料體積增大，檢測誤差略有減小。實(shí)驗(yàn)中所有數(shù)據(jù)的平均處理時(shí)間為83 ms?？梢姡疚姆椒M足實(shí)際生產(chǎn)中對煤流檢測準(zhǔn)確性、精度及實(shí)時(shí)性要求。

6 結(jié)論

(1) 提出了一種基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法:采用幀差法和邊界跟隨算法識別煤料區(qū)域；針對深度圖像邊緣信息不準(zhǔn)確問題，提出了強(qiáng)度圖像引導(dǎo)的深度圖像修復(fù)算法，利用強(qiáng)度圖像中的有效邊緣信息對深度圖像中邊緣處的不可靠數(shù)據(jù)進(jìn)行修復(fù)；結(jié)合TOF深度圖像特點(diǎn)，通過建立煤料體積計(jì)算模型計(jì)算煤流。

(2) 實(shí)驗(yàn)結(jié)果表明，該方法對煤料體積的檢測誤差不超過3.78%，標(biāo)準(zhǔn)差不超過0.491，數(shù)據(jù)平均處理時(shí)間為83 ms，滿足實(shí)際生產(chǎn)要求。

(3) 下一步將重點(diǎn)研究如何減少因帶式輸送機(jī)運(yùn)行抖動導(dǎo)致的檢測誤差。