融合VGG16和最小二乘法的露天礦卡車裝載率識(shí)別研究與應(yīng)用開發(fā)

馬連成, 劉洪臻, 陸占國, 史曉東, 楊興悅, 孫效玉, 王仁炎

(1.鞍鋼礦業(yè)集團(tuán) 齊大山鐵礦, 遼寧 鞍山 114000; 2.東北大學(xué) 智慧礦山研究中心, 遼寧 沈陽 110819)

運(yùn)載計(jì)量是礦山的一項(xiàng)日常生產(chǎn)管理工作,精確掌握和控制礦巖產(chǎn)量,對礦山生產(chǎn)任務(wù)完成與車鏟司機(jī)績效考核具有重要意義[1]。由于露天礦山目前所使用的車鏟裝運(yùn)設(shè)備缺乏有效地在線計(jì)量裝置,對每個(gè)工作面的礦巖采出量采用運(yùn)載車數(shù)乘以約定的單車裝載量進(jìn)行粗略計(jì)量。這不但使露天礦生產(chǎn)數(shù)據(jù)嚴(yán)重失真,影響配礦的準(zhǔn)確進(jìn)行,同時(shí)也造成了油料消耗量與運(yùn)營考核的不準(zhǔn)確[2]。

除了人工計(jì)數(shù)和地磅稱重的傳統(tǒng)檢測方法外,現(xiàn)有的自動(dòng)化礦巖量檢測方法有傳感器檢測方法[3]和物位計(jì)檢測方法[4]。應(yīng)用實(shí)踐表明,傳感器設(shè)備成本與故障率高,同時(shí)易受到雨雪等惡劣天氣和礦山中粉塵及細(xì)碎礦渣的影響,給日常維護(hù)和生產(chǎn)管理帶來不便。物位計(jì)檢測方法需要物位計(jì)和控制儀表配合使用,對響應(yīng)時(shí)間要求較高,同時(shí)測量有遮擋的運(yùn)輸?shù)V巖體積較為困難。

近年來,隨著視覺傳感、圖像處理、人工智能等技術(shù)的快速發(fā)展,將計(jì)算機(jī)視覺技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在礦山生產(chǎn)過程中已成為一個(gè)新的趨勢,其非接觸式傳感、多層次信息融合、高速建模計(jì)算等特點(diǎn)滿足了礦山生產(chǎn)范圍大、不間斷、需及時(shí)反饋等要求[5]。TessierJ.等人提出了一種用于巖石混合物成分在線估計(jì)的通用機(jī)器視覺方法[6];Duan J.等人設(shè)計(jì)并提出了一個(gè)輕量級(jí)的U-net深度學(xué)習(xí)網(wǎng)絡(luò),從圖像中檢測顆粒并獲得顆粒輪廓的概率圖[7];H.HU等人提出了利用神經(jīng)網(wǎng)絡(luò)分類算法實(shí)現(xiàn)采礦車輛故障的早期檢測[8]。

本文使用卡車裝載礦巖時(shí)采集的大量圖像數(shù)據(jù)作為研究對象,經(jīng)過合理的圖像數(shù)據(jù)預(yù)處理策略,通過VGG16深度神經(jīng)網(wǎng)絡(luò)模型以及最小二乘法數(shù)據(jù)驅(qū)動(dòng)模型[9-10],實(shí)現(xiàn)對礦用卡車裝載體積的檢測。

1 數(shù)據(jù)采集和預(yù)處理

1.1 圖像采集

1.1.1 露天礦圖像采集

實(shí)際應(yīng)用中,攝像頭安裝于電鏟駕駛室頂部右上角,采用斜向俯視方式拍攝鏟斗裝載時(shí)的卡車圖像,如圖1所示。

圖1 現(xiàn)場攝像頭安裝位置與拍攝圖像

由于電鏟裝載具有較大的隨機(jī)性,裝載量波動(dòng)較大,想要獲取比較準(zhǔn)確的圖像樣本集需要耗費(fèi)大量時(shí)間,影響生產(chǎn)的正常進(jìn)行,因此電鏟實(shí)際采集主要用于測試集,測試集部分圖像如圖2所示。

圖2 現(xiàn)場測試集部分圖像

1.1.2 實(shí)驗(yàn)室環(huán)境下圖像采集

深度學(xué)習(xí)需要大量數(shù)據(jù),其體系結(jié)構(gòu)也很復(fù)雜。即使同一個(gè)類別,在深度學(xué)習(xí)模型訓(xùn)練中也需要數(shù)以千計(jì)的標(biāo)記圖像。由于如此大量的數(shù)據(jù)在實(shí)際礦山中短時(shí)間內(nèi)很難收集和標(biāo)注,因此本文主要采用實(shí)驗(yàn)室環(huán)境下的電鏟裝載礦車圖像對模型進(jìn)行訓(xùn)練與驗(yàn)證。

礦山實(shí)攝的礦車型號(hào)為北重NTE200,箱斗容量為平92(堆123)m3,載重172～186 t,車尺寸為13 000 mm×7 300 mm×6 900 mm。為保證有效性,實(shí)驗(yàn)室礦車模型尺寸為190 mm×112 mm×100 mm,箱斗容量為300 cm3,模型尺寸與真實(shí)車型大小約為70倍關(guān)系。

為了盡可能還原現(xiàn)場情況,保證實(shí)驗(yàn)的真實(shí)性,拍攝時(shí)高度固定,拍攝視角為俯視向前斜視。采用礦車模型、電鏟模型、量杯和沙土等制作實(shí)驗(yàn)室環(huán)境下的數(shù)據(jù)集,實(shí)驗(yàn)裝置與材料如圖3所示。

圖3 實(shí)驗(yàn)裝置圖

本文采用的數(shù)據(jù)集由5 500張圖像組成,其中,訓(xùn)練集由5種類別圖像組成:裝載率0%(空車)、裝載率25%、裝載率50%、裝載率75%、裝載率100%(滿車),每種類別1 000張。測試集由10種類別圖像組成:裝載率10%、裝載率20%、裝載率30%、裝載率40%、裝載率50%、裝載率60%、裝載率70%、裝載率80%、裝載率90%、裝載率100%,每種類別50張。通過試驗(yàn)裝置采集的部分圖像如圖4所示。

1.2 圖像預(yù)處理

圖像預(yù)處理是圖像檢測過程中十分重要的一步,圖像預(yù)處理的結(jié)果也會(huì)對模型的分類和預(yù)測效果產(chǎn)生直接的影響。圖像預(yù)處理的目的是減小模型處理的數(shù)據(jù)量,降低圖像中無用信息的干擾和特征提取的難度,進(jìn)而可以提高模型訓(xùn)練和預(yù)測的速度,使得模型的預(yù)測穩(wěn)定性和可靠性增強(qiáng)。本文采用小波閾值去噪、雙邊濾波和直方圖均衡化三種圖像預(yù)處理策略進(jìn)行處理。

1.3 基于TFRecord格式的數(shù)據(jù)集制作

(1)TFRecords文件數(shù)據(jù)的創(chuàng)建

TFRecords文件包含了tf.train.Example 協(xié)議緩沖區(qū)protocol buffer,協(xié)議緩沖區(qū)包含了特征Features。首先將數(shù)據(jù)填入到Example協(xié)議緩沖,然后將協(xié)議緩沖區(qū)序列化為字符串,通過tf.python_io.TFRecordWriter class寫入到TFRecords文件。

(2)TFRecords文件數(shù)據(jù)的讀取

首先,創(chuàng)建數(shù)據(jù)流圖,該數(shù)據(jù)流圖由一些流水線的階段組成,階段間用隊(duì)列連接在一起。第一階段將生成文件名,讀取這些文件名并且把它們排到文件名隊(duì)列中。第二階段從文件中讀取數(shù)據(jù),產(chǎn)生樣本,將樣本放在一個(gè)樣本隊(duì)列中。根據(jù)設(shè)置,也可以拷貝第二階段的樣本,使得它們相互獨(dú)立,這樣就可以從多個(gè)文件中并行讀取。在第二階段的最后進(jìn)行排隊(duì)操作,即入隊(duì)到隊(duì)列中去,在下一階段出隊(duì)。在開始運(yùn)行這些入隊(duì)操作的線程時(shí),訓(xùn)練循環(huán)會(huì)使得樣本隊(duì)列中的樣本不斷地出隊(duì)。

2 融合VGG16和最小二乘法的裝載率模型

礦用卡車裝載率檢測模型主要由兩部分組成:第一部分基于VGG16深度神經(jīng)網(wǎng)絡(luò)的圖像預(yù)分類模型,第二部分基于最小二乘算法的礦用卡車裝載率預(yù)測模型。圖像經(jīng)過VGG16深度神經(jīng)網(wǎng)絡(luò)圖像分類模型,輸出結(jié)果為所預(yù)測的每種類別的概率值。圖像分類預(yù)測的分類結(jié)果及對應(yīng)的概率值作為最小二乘法待擬合的數(shù)據(jù),經(jīng)過最小二乘回歸模型輸出結(jié)果為礦用卡車裝載率的預(yù)測值。

利用融合VGG16和最小二乘法的礦用卡車裝載率檢測模型,可以實(shí)現(xiàn)對礦用卡車裝載率的檢測。圖5展示了礦用卡車裝載率的檢測流程。

圖5 礦用卡車裝載率檢測流程圖

2.1 VGG16模型

VGG16網(wǎng)絡(luò)的輸入是固定尺寸大小的RGB的2D圖像,接著依次通過一系列堆疊的、核大小為3×3的卷積層。每兩個(gè)或者三個(gè)連續(xù)堆疊的卷積層,為一個(gè)網(wǎng)絡(luò)的小的單元模塊,命名為Block。每一個(gè)Block后面會(huì)接入一個(gè)Max-pooling 層,用于減小輸入圖像的尺寸大小,并保持網(wǎng)絡(luò)的平移不變性。經(jīng)過多個(gè)堆疊的Block單元后的輸出,會(huì)接入一個(gè)三層的傳統(tǒng)神經(jīng)網(wǎng)絡(luò),也就是三層全連接層。最后的分類輸出是一個(gè)softmax多分類器。VGG16網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 VGG16網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)中的每一個(gè)卷積層、全連接層后面使用激活函數(shù)進(jìn)行非線性的映射計(jì)算。在第一個(gè)和第二個(gè)全連接層的后面還使用了dropout技術(shù),來提高網(wǎng)絡(luò)的泛化能力,防止網(wǎng)絡(luò)的過擬合。

2.2 最小二乘回歸模型

圖像經(jīng)過VGG16深度神經(jīng)網(wǎng)絡(luò)圖像分類模型,輸出結(jié)果為所預(yù)測的每種類別的概率值。圖像分類預(yù)測的分類結(jié)果及對應(yīng)的概率值作為最小二乘法待擬合的數(shù)據(jù),輸出結(jié)果為礦用卡車運(yùn)載率的預(yù)測值。選取分類結(jié)果中可能性最大的前兩個(gè)分類結(jié)果及其對應(yīng)的概率值作為最小二乘回歸模型的待擬合數(shù)據(jù)。公式(1)中的X、Y、Z即為待擬合的三個(gè)系數(shù)。

待擬合公式為:

V=(X+YC1P1+ZC2P2)×Vm

(1)

其中,V為裝載礦巖體積,Vm為礦車最大裝載體積,C1、C2分別為最大概率類別與第二大概率類別,P1、P2分別為最大概率類別的概率值、第二大概率類別的概率值。

3 礦用卡車裝載率檢測模型的訓(xùn)練

3.1 VGG16深度神經(jīng)網(wǎng)絡(luò)模型

目前還沒有較系統(tǒng)的理論體系來幫助神經(jīng)網(wǎng)絡(luò)針對不同數(shù)據(jù)樣本確定出更有效的參數(shù)。其中,學(xué)習(xí)率是最影響性能的超參數(shù)之一,它以一種更加復(fù)雜的方式控制著模型的有效容量,當(dāng)學(xué)習(xí)率最優(yōu)時(shí),模型的有效容量最大。設(shè)置不正確的學(xué)習(xí)率可能會(huì)使得模型收斂速度過慢或震蕩,甚至無法收斂。另外,隨著模型可處理的數(shù)據(jù)量的增加以及電腦內(nèi)存的限制,一次性將過大的樣本數(shù)據(jù)輸入進(jìn)網(wǎng)絡(luò)中會(huì)嚴(yán)重影響模型的處理速度,每次送入網(wǎng)絡(luò)的樣本數(shù)量直接影響模型分類正確率和訓(xùn)練總體時(shí)間,因此BatchSize大小的選擇至關(guān)重要,從而實(shí)現(xiàn)對模型的優(yōu)化以及提高網(wǎng)絡(luò)的檢測速度。本文采用控制變量法分別從學(xué)習(xí)率、BatchSize、激活函數(shù)三個(gè)方面進(jìn)行大量的網(wǎng)絡(luò)拓?fù)渖蓪?shí)驗(yàn)來確定最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),以求網(wǎng)絡(luò)模型達(dá)到較好的網(wǎng)絡(luò)性能。在此過程中,選取多重相關(guān)系數(shù)R和均方根誤差RMSE(root mean squared error)作為評(píng)價(jià)模型性能的指標(biāo)。R是一個(gè)評(píng)價(jià)擬合好壞的指標(biāo),通過擬合結(jié)果和實(shí)測值的相關(guān)系數(shù)來反映擬合結(jié)果和實(shí)測結(jié)果的相關(guān)程度,R越接近1,擬合的回歸方程越優(yōu)。RMSE反映了預(yù)測數(shù)據(jù)和原始數(shù)據(jù)對應(yīng)點(diǎn)誤差大小,RMSE越接近0,擬合的回歸方程越優(yōu)。R和RMSE公式分別由公式(2)和公式(3)給出:

(2)

(3)

通過進(jìn)行大量的網(wǎng)絡(luò)拓?fù)渖蓪?shí)驗(yàn)及其對應(yīng)的結(jié)果分析,選擇最優(yōu)的網(wǎng)絡(luò)模型參數(shù)為:學(xué)習(xí)率0.002 5、BatchSize為30、Elu激活函數(shù)。此時(shí),R值約為0.997 8,RMSE值約為0.013 6,網(wǎng)絡(luò)擬合度較好,模型預(yù)測準(zhǔn)確性良好。

3.2 最小二乘數(shù)學(xué)模型

圖像經(jīng)過VGG16神經(jīng)網(wǎng)絡(luò)圖像分類模型,輸出結(jié)果為所預(yù)測的每種類別的概率值。圖像分類預(yù)測的分類結(jié)果及對應(yīng)的概率值作為最小二乘法待擬合的數(shù)據(jù),輸出結(jié)果為礦用卡車運(yùn)載計(jì)量的預(yù)測值。按著公式(1),通過Matlab中CFTOOL工具箱進(jìn)行優(yōu)化擬合,擬合結(jié)果分別如圖7所示與公式(4)。

圖7 最小二乘法擬合

V=(-0.240 1+2.4C1P1+1.474C2P2)Vm

(4)

4 實(shí)驗(yàn)結(jié)果分析評(píng)價(jià)

4.1 礦用卡車體積檢測模型的評(píng)價(jià)指標(biāo)

平均絕對誤差MAE(mean absolute error) 和均方根誤差 RMSE是衡量變量精度的兩個(gè)最常用的指標(biāo),同時(shí)也是機(jī)器學(xué)習(xí)中評(píng)價(jià)模型的兩把重要標(biāo)尺。本文采用這2個(gè)指標(biāo)對模型性能進(jìn)行全面評(píng)估,其中RMSE見公式(3),MAE計(jì)算公式如下:

(5)

MAE是對各預(yù)測數(shù)據(jù)的絕對誤差求平均,反映預(yù)測值誤差的實(shí)際情況;RMSE是觀測值與真值偏差的平方和與觀測次數(shù)L比值的平方根,衡量觀測值同真值之間的偏差。

4.2 礦用卡車體積檢測模型的實(shí)驗(yàn)結(jié)果分析

對10種類別(裝載率分別為10%、20%、30%、40%、50%、60%、70%、80%、90%、100%)礦用卡車裝載結(jié)果進(jìn)行檢測分析,結(jié)果如下:

(1)預(yù)測值與實(shí)際值關(guān)聯(lián)對比分析:其關(guān)聯(lián)折線圖如圖8所示。由圖可見,預(yù)測值分布在對應(yīng)實(shí)際值附近且相距較小,平均誤差不超過5%,證明模型預(yù)測效果較為準(zhǔn)確。

圖8 預(yù)測-實(shí)際關(guān)聯(lián)折線圖

(2)MAE與RMSE性能分析:圖9為MAE與RMSE性能直方圖,由圖可見,10種類別裝載率的平均MAE和平均RMSE較小,分別為0.060和0.081,證明所建立的模型的性能較好。

圖9 模型性能指標(biāo)直方圖

4.3 存在問題分析

用實(shí)驗(yàn)室測試集檢驗(yàn)結(jié)果很好,但用現(xiàn)場測試集檢驗(yàn)誤差較大。經(jīng)分析,其原因主要有以下兩點(diǎn):一是現(xiàn)場樣本集太少,無法有效參與樣本訓(xùn)練;二是實(shí)驗(yàn)室樣本集與現(xiàn)場樣本集存在一定的誤差。要達(dá)到現(xiàn)場應(yīng)用效果,第一種方法是通過增加現(xiàn)場采集樣本解決,這需要消耗較大的人力物力,且影響礦山的正常生產(chǎn)管理;第二種途徑是增加現(xiàn)場設(shè)備與運(yùn)行環(huán)境的模擬仿真,包括電鏟和卡車等設(shè)備、裝置礦巖物料、多視角攝像等,從當(dāng)前試驗(yàn)基礎(chǔ)上看,通過礦山運(yùn)輸裝載工藝環(huán)節(jié)的仿真,將成為該領(lǐng)域研究的最優(yōu)選擇。

5 礦用卡車裝載率檢測系統(tǒng)的開發(fā)

5.1 系統(tǒng)開發(fā)環(huán)境

(1)開發(fā)語言:Python;

(2)軟件環(huán)境:JetBrains PyCharm 2018.2.4 x64,Matlab R2018b;

(3)其他輔助開發(fā)工具包:PyQt5,OpenCV4.11;

本系統(tǒng)開發(fā)工作主要在PC端上完成,并打包成exe可執(zhí)行文件,使其具有跨平臺(tái)通用性。

5.2 系統(tǒng)功能模塊

依據(jù)系統(tǒng)需求,利用融合VGG16網(wǎng)絡(luò)和最小二乘法的礦用卡車裝載率檢測模型,以exe可執(zhí)行文件形式展現(xiàn)相應(yīng)功能。開發(fā)流程分為以下三個(gè)步驟:

(1)利用PyQt5輔助開發(fā)工具包實(shí)現(xiàn)系統(tǒng)界面繪制;

(2)利用Python語言實(shí)現(xiàn)系統(tǒng)界面中相應(yīng)功能;

(3)打包成exe可執(zhí)行文件進(jìn)行調(diào)試。

依據(jù)模塊化設(shè)計(jì)思想,將礦用卡車裝載率檢測系統(tǒng)模塊劃分如下:

(1)圖像導(dǎo)入模塊:實(shí)現(xiàn)圖像選擇和目錄顯示兩個(gè)功能。選擇本地圖片作為待檢測圖像并顯示其所在目錄。

(2)圖像顯示模塊:將所選擇待檢測圖像顯示到系統(tǒng)界面中。

(3)圖像檢測模塊:基于融合VGG16網(wǎng)絡(luò)和最小二乘法的礦用卡車裝載率檢測模型,將VGG16深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練好最優(yōu)網(wǎng)絡(luò)超參數(shù)和最小二乘法中最優(yōu)待擬合參數(shù)輸入模型中,對所選擇的圖像進(jìn)行裝載率檢測。

(4)檢測結(jié)果模塊:實(shí)時(shí)顯示礦用卡車裝載率的檢測結(jié)果。

(5)日期顯示模塊:顯示檢測日期和時(shí)間。

礦用卡車裝載率檢測系統(tǒng)運(yùn)行界面如圖10所示。

圖10 系統(tǒng)運(yùn)行主界面

6 結(jié)論

(1)融合VGG16和最小二乘法的露天礦卡車裝載率識(shí)別方法,經(jīng)過VGG16深度神經(jīng)網(wǎng)絡(luò)模型對礦石圖像進(jìn)行預(yù)分類,顯示分類結(jié)果并確定每種類別可能性大小,利用分類結(jié)果以及最小二乘算法計(jì)算礦用卡車裝載體積。

(2)利用實(shí)驗(yàn)室環(huán)境下的圖像數(shù)據(jù)對模型進(jìn)行驗(yàn)證,平均誤差不超過5%,證明了本文所提出的方法具有較高的預(yù)測精度和通用性。

(3)將人工智能技術(shù)和圖像識(shí)別技術(shù)引入礦用卡車裝載體積的檢測中,成本低廉,減少資源浪費(fèi)以及人力物力的使用,提高檢測自動(dòng)化程度。但如何有效獲取礦山真實(shí)礦車圖像裝載率樣本,是后續(xù)應(yīng)用需要進(jìn)一步解決的問題。