基于深度相機(jī)的礦斗載礦量的測(cè)量方法

楊文龍 ，馬保亮 ，陳 辰

（1.贛州有色冶金研究所，江西 贛州 341000；2.江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000；3.贛州有色冶金研究所有色金屬礦冶裝備工作設(shè)計(jì)中心，江西 贛州 341000）

礦石生產(chǎn)是地下礦山企業(yè)生產(chǎn)經(jīng)營(yíng)的重要組成部分，出礦量是礦山生產(chǎn)效益和績(jī)效考核的重要指標(biāo)。關(guān)于礦石開(kāi)采后的運(yùn)輸計(jì)量問(wèn)題，現(xiàn)行的主要解決方法是較為粗放的人工計(jì)量方法，主要是通過(guò)派遣專員在現(xiàn)場(chǎng)數(shù)運(yùn)礦機(jī)車的載礦礦斗數(shù)，并根據(jù)礦斗的核載量估算出礦量。這種方法雖然簡(jiǎn)單方便，但是每個(gè)礦斗無(wú)法確保每次滿載，偏差太大，同時(shí)受人的因素影響太大，現(xiàn)場(chǎng)人員十分辛苦，也不夠經(jīng)濟(jì)。

關(guān)于礦石出礦的計(jì)量包括兩個(gè)內(nèi)容：一是根據(jù)礦斗是否空載，清點(diǎn)運(yùn)礦機(jī)車的礦斗數(shù)量；二是根據(jù)礦斗的核載量，估算每個(gè)礦斗的載礦量。從傳統(tǒng)的人工計(jì)量的角度來(lái)看，載礦礦斗的數(shù)量可以通過(guò)人工計(jì)數(shù)方法實(shí)現(xiàn)準(zhǔn)確的統(tǒng)計(jì)，但是估算每個(gè)礦斗的實(shí)際載礦量，即使是擁有豐富經(jīng)驗(yàn)的工人來(lái)算，依然無(wú)法達(dá)到準(zhǔn)確的計(jì)量。對(duì)于礦山企業(yè)而言，無(wú)法掌握準(zhǔn)確的礦石生產(chǎn)數(shù)據(jù)，嚴(yán)重影響礦山的生產(chǎn)平衡和成本控制。

基于以上現(xiàn)狀，有相關(guān)研究人員提出了一些改進(jìn)方案，用基于車牌識(shí)別的方式代替人工點(diǎn)算礦斗[1]，用動(dòng)態(tài)軌道衡去稱量礦斗的載礦量[2]。雖然這種方案取代了人工操作，但是動(dòng)態(tài)軌道衡成本昂貴，而且礦山井下環(huán)境復(fù)雜惡劣，容易損壞不易維護(hù)。近年來(lái)，隨著紅外測(cè)距技術(shù)的發(fā)展，基于紅外測(cè)距技術(shù)開(kāi)發(fā)的深度相機(jī)設(shè)備也得到了相關(guān)研究人員的關(guān)注。深度相機(jī)可以同時(shí)獲取目標(biāo)物體的標(biāo)準(zhǔn)格式的色彩圖像（以下簡(jiǎn)稱“RGB圖像”）和深度信息圖像，目前已經(jīng)有一些將深度相機(jī)用于物體體積測(cè)量的研究[3-7]。前人研究表明借助深度相機(jī)可以獲取目標(biāo)物體深度信息的特性去計(jì)算物體體積的方案是切實(shí)可行的。那么，再結(jié)合物體密度計(jì)算物體的重量也是可以實(shí)現(xiàn)的。

1 測(cè)量方法的設(shè)計(jì)原理

經(jīng)過(guò)以上研究調(diào)查，本文提出了基于深度相機(jī)的礦斗載礦量的測(cè)量方案。根據(jù)密度計(jì)算公式，可知：重量=體積×密度。深度相機(jī)可以獲取目標(biāo)礦斗的兩種圖像：一個(gè)是深度圖像，一個(gè)是RGB圖像。其中，深度圖像反映目標(biāo)物體的深度信息，RGB圖像則反映目標(biāo)物體上表面的紋理特征。

1.1 體積

體積的獲取方法流程如圖1所示，先對(duì)深度圖像進(jìn)行數(shù)據(jù)預(yù)處理，然后提取深度信息，利用礦斗固定體積模型結(jié)合微分法計(jì)算出目標(biāo)礦斗的體積。

圖1 體積計(jì)算流程Fig.1 Volume calculation process

1.2 密度

由于礦斗內(nèi)物質(zhì)組成成分復(fù)雜，利用傳統(tǒng)的平均密度計(jì)算方法是不合適的。研究表明，礦斗載礦物的平均密度與礦斗上表面的礦石空間分布有一定的關(guān)系[8]。因此本研究提出利用基于深度學(xué)習(xí)的思想尋找礦斗上表面的礦石空間分布特征與礦石平均密度之間的對(duì)應(yīng)關(guān)系，深度學(xué)習(xí)是一種可以根據(jù)特征數(shù)據(jù)去尋找事物潛在的變化規(guī)律的算法，而且目前這種方法的理論發(fā)展得非常成熟，其訓(xùn)練模型的準(zhǔn)確度在一些應(yīng)用場(chǎng)景下也接近于完美，通過(guò)這種方法可以較為準(zhǔn)確地找到與礦斗相匹配的密度，拋開(kāi)其成熟的理論算法之后，其結(jié)果的影響主要來(lái)源就是訓(xùn)練樣本的質(zhì)量和數(shù)量[9]。如圖2所示，首先用軌道衡測(cè)出礦斗的質(zhì)量，結(jié)合體積計(jì)算出礦斗的平均密度，并用深度相機(jī)拍下礦斗的上表面RGB圖像記錄分布特征，這樣可以形成一個(gè)平均密度-圖像特征的對(duì)應(yīng)關(guān)系。最后，經(jīng)過(guò)大量的數(shù)據(jù)訓(xùn)練，可以得出一個(gè)穩(wěn)定的平均密度與圖像特征的訓(xùn)練模型。

圖2 密度-圖像特征庫(kù)形成過(guò)程Fig.2 Formation process of density-image feature library

1.3 重量

在應(yīng)用階段可以撤掉軌道衡，如圖3所示，當(dāng)深度相機(jī)采集到目標(biāo)礦斗的RGB圖像和深度圖像后，先根據(jù)深度圖像計(jì)算礦斗體積，并用RGB圖像與密度特征庫(kù)進(jìn)行匹配，計(jì)算出一個(gè)最佳的平均密度，最后用體積乘以密度即可獲得礦斗的載礦量。

圖3 系統(tǒng)應(yīng)用流程Fig.3 System application process

2 數(shù)據(jù)采集與處理

數(shù)據(jù)采集階段是十分重要的，因?yàn)樵紨?shù)據(jù)的質(zhì)量直接影響著算法訓(xùn)練模型結(jié)果的好壞，所以在數(shù)據(jù)采集階段應(yīng)盡量避免環(huán)境光照、遮擋物等不良因素的影響。而針對(duì)物體表面的缺陷、空洞等因素的影響，則需要在數(shù)據(jù)預(yù)處理階段，借助圖像增強(qiáng)算法進(jìn)行彌補(bǔ)加強(qiáng)。

2.1 數(shù)據(jù)采集

深度相機(jī)（如Kinect）通常是包含一個(gè)RGB鏡頭、一個(gè)紅外發(fā)射器、一個(gè)紅外接收器這三個(gè)鏡頭去測(cè)量，每秒可以拍攝十幾幀圖像。但是在工業(yè)場(chǎng)景下為了提升測(cè)量的準(zhǔn)確性，會(huì)使用類似人眼雙目性質(zhì)的深度相機(jī)，這種相機(jī)是在已有的三個(gè)鏡頭的基礎(chǔ)上又增加了一個(gè)紅外接收器，可以更加準(zhǔn)確地確定目標(biāo)位置信息。這些信息便是深度信息，它們反映著目標(biāo)物體到深度相機(jī)的距離，存儲(chǔ)在深度圖像中。另外，深度相機(jī)在使用紅外接收器拍攝目標(biāo)的深度信息的同時(shí)，還會(huì)使用RGB鏡頭拍攝目標(biāo)物體表面的RGB圖像。因此，可以利用深度圖像提取目標(biāo)礦斗的深度信息，進(jìn)而計(jì)算出目標(biāo)礦斗的載礦體積；通過(guò)RGB圖像則可以提取目標(biāo)礦斗上表面的物質(zhì)分布特征。

本研究使用的是一款工業(yè)級(jí)的深度相機(jī)，這款相機(jī)的測(cè)量高度是在0.5～8 m之間，并且隨著高度每增加1 m測(cè)量誤差便會(huì)增加1 mm。即深度相機(jī)的測(cè)量誤差會(huì)隨著相機(jī)安裝高度的增加而增加，而實(shí)際上礦井下行車巷道的高度一般在2～3 m之間，而且運(yùn)礦機(jī)車一般是有軌低速電車，因此為了不干涉電車運(yùn)行，將相機(jī)安裝在礦道頂部是合適的，礦斗與深度相機(jī)位置示意圖見(jiàn)圖4。另外，機(jī)車的運(yùn)行速度一般在1～2 m/s之間，相機(jī)的拍攝速度是25幀/s左右。因此，在機(jī)車運(yùn)行期間相機(jī)可以滿足實(shí)時(shí)拍攝的要求，不會(huì)出現(xiàn)漏拍現(xiàn)象。

圖4 礦斗與深度相機(jī)位置示意圖Fig.4 Location diagram of ore hopper and depth camera

相機(jī)在拍攝過(guò)程中，如果周圍環(huán)境過(guò)暗會(huì)使得所采集的RGB圖像曝光不足，而如果給目標(biāo)表面直接補(bǔ)光，可能會(huì)使得RGB圖像過(guò)度曝光。曝光不足和過(guò)度曝光都會(huì)影響RGB圖像的質(zhì)量，因此考慮在相機(jī)周圍鋪設(shè)LED燈，提升環(huán)境的亮度，進(jìn)而提升RGB圖像的曝光度。如圖4所示，當(dāng)?shù)V斗在軌道上運(yùn)行至深度相機(jī)下方時(shí)，相機(jī)開(kāi)始采集礦斗上表面的深度圖像和RGB圖像。

2.2 數(shù)據(jù)處理

深度相機(jī)主要是依靠紅外光線的衍射原理來(lái)進(jìn)行測(cè)距。當(dāng)照射在某些非粗糙表面、物體的輪廓邊緣處以及陰影處，又或者光線被遮擋時(shí)，紅外光線不會(huì)發(fā)生衍射，設(shè)備會(huì)出現(xiàn)無(wú)匹配的情形，返回測(cè)量深度值為0或者錯(cuò)誤值，就會(huì)出現(xiàn)“黑洞噪聲”。另外，相機(jī)匹配深度數(shù)據(jù)時(shí)很容易將目標(biāo)相鄰物體的深度值匹配到深度圖像中，這些深度值會(huì)對(duì)后續(xù)的體積模型計(jì)算產(chǎn)生干擾，需要給予剔除。綜上，數(shù)據(jù)預(yù)處理就是對(duì)原始數(shù)據(jù)進(jìn)行篩選或者補(bǔ)償。數(shù)據(jù)預(yù)處理包括兩個(gè)內(nèi)容：一是針對(duì)深度圖像中缺失的深度數(shù)據(jù)進(jìn)行補(bǔ)償處理；二是排除深度圖像中目標(biāo)相鄰物體深度信息的干擾[10]。

2.2.1 補(bǔ)償處理

本方案是采用多幀數(shù)據(jù)融合的方法改善深度數(shù)據(jù)，既可以補(bǔ)全缺失數(shù)據(jù)，又可以對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的平滑處理達(dá)到消減噪聲的效果。在深度圖像中，取n張連續(xù)幀的圖像Ii（x，y），對(duì)這些圖像的相同像素點(diǎn)的深度值取均值再取整，處理后的圖像I（x，y）可以用于減少噪聲和空洞，獲得平滑的效果[11]，其表達(dá)式如式1所示。

式中：n表示在連續(xù)幀圖像中取n張圖像；Ii（x，y）表示第i張圖像。

2.2.2 排除干擾

設(shè)定深度相機(jī)獲取的RGB圖像和深度圖像已經(jīng)完成了校準(zhǔn)，即RGB圖像的像素點(diǎn)與深度圖像的像素點(diǎn)已實(shí)現(xiàn)一一對(duì)應(yīng)?？梢酝ㄟ^(guò)對(duì)RGB圖像進(jìn)行圖像分割處理，標(biāo)記出目標(biāo)礦斗區(qū)域，然后據(jù)此標(biāo)記提取深度圖像中對(duì)應(yīng)區(qū)域的深度信息，這樣就可以減少目標(biāo)相鄰信息的干擾。

常用的圖像分割方法有如下幾種，如基于閾值、基于區(qū)域、基于邊緣以及基于特定理論的分割方法。研究發(fā)現(xiàn)本研究處理的對(duì)象圖片是由深度相機(jī)在固定的角度拍攝，對(duì)于圖像內(nèi)容而言除了目標(biāo)物體外，其余的背景特征一致。因此可以使用基于背景差分的方法將背景物體去除，進(jìn)而保留目標(biāo)圖像[12]。

背景差分法是先獲取一個(gè)參考背景圖像B（x，y），將當(dāng)前圖像I（x，y）與參考背景圖像做差分，然后利用閾值分割的方法將前景目標(biāo)提取出來(lái)。用公式描述如式（2）所示。

式中：I（x，y）為當(dāng)前圖像的灰度圖像；B（x，y）為參考背景圖像；T 為閾值；D（x，y）為二值圖像。

二值圖像是指圖像矩陣中只有兩個(gè)值0和1，0代表黑色，1代表白色。經(jīng)過(guò)背景差分法處理后的二值圖像中白色區(qū)域?yàn)槟繕?biāo)礦斗區(qū)域，黑色區(qū)域?yàn)楸尘皡^(qū)域。如公式（3）所描述的，以經(jīng)過(guò)背景差分法處理的二值圖像 D（x，y）作為模板與深度圖像 G（x，y）進(jìn)行對(duì)應(yīng)相乘，與1相乘則保留原值，與0相乘則為0，這樣在深度圖像中即可保留目標(biāo)礦斗對(duì)應(yīng)的深度值，過(guò)濾掉背景深度值的干擾。

式中：G（x，y）為當(dāng)前圖像的深度圖像；D（x，y）為經(jīng)過(guò)背景差分法處理后的二值圖像。

3 計(jì)算體積

目前礦山所用礦斗外觀基本如圖5（a）所示。空間結(jié)構(gòu)如圖5（b）所示，上底面ABCD和下底面EFGH均為長(zhǎng)方形，前面CDEF和后面ABGH均為等腰梯形，與上下底面均垂直；左面ADEH和右面BCFG均為矩形，與底面EFGH的夾角為銳角。因此，在計(jì)算礦斗內(nèi)所載礦物體積時(shí)，可以將礦斗算為一個(gè)完整的長(zhǎng)方體，體積為V，如圖5（b）所示，再減去左右兩邊兩個(gè)看似規(guī)則的類橫三棱柱，從而計(jì)算出礦斗的體積，計(jì)算公式如式（4）所示。

但是，很多情況下所載礦物表面為不規(guī)則表面，而且礦斗一般也不會(huì)裝滿。這就產(chǎn)生了一個(gè)問(wèn)題，左右兩邊要減去的橫三棱柱的高會(huì)出現(xiàn)不一致的情況，從而也會(huì)導(dǎo)致兩邊的豎截面不同，但是兩邊的斜面夾角一致，這樣也就可以求出截面積，進(jìn)而得出棱柱體積[8，10]?？梢杂霉剑?）表示為：

圖5 礦斗及其鏤空模型Fig.5 Model of hopper and its hollowed out

式中：l為礦斗的內(nèi)長(zhǎng)，mm；h1為左棱柱的高，mm；h2為右棱柱的高，mm；α為礦斗斜面與底的夾角，（°）。

礦斗整體的體積可以采用微元法的思想進(jìn)行計(jì)算[13]。設(shè)礦斗DC為x方向，DA為y方向，測(cè)量時(shí)可分別在x方向和y方向取步距為Δx、Δy，分別取m和n步。對(duì)于一個(gè)大小為Δx×Δy的子區(qū)域含有像素點(diǎn)Δx×Δy個(gè)。深度相機(jī)的深度信息反映的是相機(jī)到物體表面的距離，而非物體自身的高度，需要結(jié)合實(shí)際情況進(jìn)行校準(zhǔn)。設(shè)相機(jī)到被測(cè)物體底部的距離為H，由深度相機(jī)測(cè)得的每一個(gè)點(diǎn)的深度信息為hi，j（i=1，2，…m；j=1，2，…n），則被測(cè)物體表面每個(gè)子區(qū)域的高度值為：

那么，子區(qū)域?qū)?yīng)的體積為：

總體積為：

對(duì)于左右橫三棱柱的高，可以通過(guò)提取深度圖像雙邊的深度值計(jì)算出。沿著y方向微分，每一個(gè)微元可以看成一個(gè)三角片，其體積為：

對(duì)于左、右橫三棱柱其高在深度圖像上對(duì)應(yīng)在Z（1，j）和 Z（m，j）處，那么左右兩個(gè)橫三棱柱的體積為：

綜合以上，則所載礦物體積為：

式中：Zi，j為礦石表面某點(diǎn)到礦斗底部的垂直高度，mm；i為某點(diǎn)在x方向的坐標(biāo)；j為某點(diǎn)在y方向的坐標(biāo)；α為礦斗左右斜面與水平底面所成的夾角，（°）。

4 計(jì)算密度

礦斗內(nèi)裝載的礦物既有形狀較大的礦石，又有因破碎而產(chǎn)生的沙狀微小礦石，這些又在礦斗內(nèi)層疊堆積，隨機(jī)分布。而且各個(gè)礦斗內(nèi)的礦物含量情況也不一，有的形狀較大的礦石占多數(shù)，也有形狀較小的礦石占多數(shù)，還有二者分布較為均勻的情形。如果單純考慮根據(jù)實(shí)際情況或者經(jīng)驗(yàn)確定一個(gè)平均密度值的話，雖然可以滿足大多礦物粒度分布均勻的礦斗，但是對(duì)于一些礦物分布極不均勻的礦斗來(lái)說(shuō)，這個(gè)平均密度值還是有失偏頗。所以這里采用試驗(yàn)的方法，借助深度學(xué)習(xí)的算法通過(guò)研究分析礦斗表面的粒度分布，然后判定其對(duì)應(yīng)的密度值，相較于根據(jù)經(jīng)驗(yàn)設(shè)定一個(gè)密度值而言，結(jié)果更加準(zhǔn)確可信。關(guān)于粒度分布與密度之間的具體關(guān)系受篇幅限制，將在新的研究中展開(kāi)敘述。

這里所述的密度并不是嚴(yán)格意義上的密度，而是一種比重，指的是物體重量和物體體積之間的比值，反映物體在單位體積下的重量。礦斗內(nèi)礦物單位體積的重量則與單位體積空間下礦物的大小、礦物的裝載高度相關(guān)。這些直接影響著礦斗內(nèi)礦物的粒度分布。深度相機(jī)的RGB圖像恰好可以記錄下這些特征。

4.1 訓(xùn)練樣本的質(zhì)量

訓(xùn)練樣本的質(zhì)量影響因素主要有兩個(gè)方面：一是在數(shù)據(jù)采集階段，如前文所述給較暗的環(huán)境補(bǔ)光，提升樣本原始圖像的質(zhì)量，盡量減少不必要的環(huán)境因素對(duì)數(shù)據(jù)產(chǎn)生的影響；二是在數(shù)據(jù)預(yù)處理階段使用一些圖像增強(qiáng)算法彌補(bǔ)物體表面的反光和缺陷等問(wèn)題。

4.2 訓(xùn)練樣本的數(shù)量

關(guān)于訓(xùn)練樣本的數(shù)量比較難判斷，既要防止數(shù)據(jù)的欠擬合也要預(yù)防過(guò)擬合，而且采集現(xiàn)場(chǎng)也不能中斷生產(chǎn)以專供試驗(yàn)，所以比較好的方法是先采集一組小樣本數(shù)據(jù)，訓(xùn)練得到一個(gè)簡(jiǎn)單的模型后，再讓這個(gè)模型在現(xiàn)場(chǎng)進(jìn)行不斷的自我完善更新。

每一組樣本數(shù)據(jù)的生成過(guò)程如下：

（1）使用軌道衡在現(xiàn)場(chǎng)測(cè)出礦斗的載重重量m。

（2）結(jié)合體積，計(jì)算目標(biāo)礦斗的平均密度ρ。

（3）提取目標(biāo)礦斗的 RGB 圖像特征 g（x，y）。

（4）建立平均密度與RGB特征之間一對(duì)一的映射關(guān)系。

（5）重復(fù)前4步，持續(xù)采集數(shù)據(jù)。

樣本數(shù)據(jù)生成完畢后，便可將這些數(shù)據(jù)批量輸入算法中，進(jìn)行模型訓(xùn)練。模型訓(xùn)練的本質(zhì)就是尋求一個(gè)平均密度與RGB圖像特征之間的函數(shù)關(guān)系ρ=Y（g（x，y））。

最后，當(dāng)對(duì)模型輸入一個(gè)礦斗的RGB圖像特征g（x，y）后，經(jīng)過(guò)模型計(jì)算可得該礦斗的平均密度，然后結(jié)合礦斗體積可計(jì)算該礦斗的載重。計(jì)算公式如式（12）所示。

5 結(jié) 語(yǔ)

根據(jù)地下礦山企業(yè)出礦量的計(jì)量現(xiàn)狀，提出了在運(yùn)礦環(huán)節(jié)利用深度相機(jī)獲取礦斗表面的深度圖像和RGB圖像，經(jīng)過(guò)數(shù)據(jù)去噪、補(bǔ)償和篩選后，再利用數(shù)值積分的方法計(jì)算礦斗的載礦體積，然后結(jié)合密度-圖像庫(kù)匹配出與目標(biāo)礦斗的表面RGB圖像擬合程度最高的密度值，最后根據(jù)密度公式計(jì)算礦斗的實(shí)際載重這一解決方案。并且每一個(gè)礦斗的載重?cái)?shù)據(jù)都會(huì)存儲(chǔ)在后臺(tái)數(shù)據(jù)庫(kù)中，生成臺(tái)賬信息。因此，即使算法在速度上有一些滯后，也不會(huì)影響到具體的應(yīng)用。根據(jù)本方案可以很好地解決長(zhǎng)期困擾礦山企業(yè)計(jì)量礦石出礦量的問(wèn)題，同時(shí)提升地下礦山企業(yè)運(yùn)礦流程的自動(dòng)化程度，降低地下礦山企業(yè)的經(jīng)營(yíng)風(fēng)險(xiǎn)。