基于視覺檢測(cè)的非接觸式膏體濃度識(shí)別方法

馬博淵，周佳城，班曉娟，袁兆麟，阮竹恩

(1. 北京科技大學(xué) 北京材料基因工程高精尖創(chuàng)新中心，北京，100083；2. 北京科技大學(xué) 順德創(chuàng)新學(xué)院，廣東 佛山，528300；3. 北京科技大學(xué) 材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京，100083；4. 北京科技大學(xué) 人工智能研究院，北京，100083；5. 北京科技大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，北京，100083)

礦產(chǎn)資源是人類賴以生存、社會(huì)發(fā)展不可缺少的基礎(chǔ)資源，綠色礦山建設(shè)是實(shí)現(xiàn)礦業(yè)高質(zhì)量發(fā)展的重要途徑和必然要求，是我國實(shí)現(xiàn)由礦業(yè)大國向礦業(yè)強(qiáng)國轉(zhuǎn)變的必由之路[1-2]。膏體充填是綠色礦山建設(shè)過程中的重要組成部分，針對(duì)采礦作業(yè)造成的地下采空區(qū)，使用經(jīng)過科學(xué)配制的充填料漿對(duì)采空區(qū)進(jìn)行回填，控制覆巖開采破壞和地表沉陷，降低地表塌陷等災(zāi)害發(fā)生的風(fēng)險(xiǎn)，保護(hù)生態(tài)環(huán)境，減少土地資源的破壞與占用[2]。基于此，膏體充填技術(shù)已成為當(dāng)前我國礦山開采過程中的重要環(huán)節(jié)之一。

膏體充填對(duì)地表沉陷的控制效果主要取決于膏體料漿的濃度[3-4]，因此，膏體濃度的檢測(cè)精度是保證充填質(zhì)量的關(guān)鍵因素。合格的膏體具有濃度適中、不沉淀、不析水、不離析和便于輸送等特點(diǎn)[5-6]，因此，在膏體充填過程中，對(duì)膏體濃度的準(zhǔn)確檢測(cè)是提高充填質(zhì)量的關(guān)鍵環(huán)節(jié)。若膏體濃度太低，則會(huì)造成充填強(qiáng)度較低，存在地表塌陷的風(fēng)險(xiǎn)，若膏體濃度太高，則會(huì)造成充填管道堵塞，無法泵送膏體至采空區(qū)，甚至損壞設(shè)備[7]。傳統(tǒng)的膏體濃度測(cè)量方法包括濃度壺測(cè)量法、烘干法、射線測(cè)量法、壓差法、浮子法和電磁法[6]等，然而，由于這些方法均屬于接觸式測(cè)量方法，在攪拌機(jī)高速運(yùn)動(dòng)過程中，容易損壞測(cè)量設(shè)備或因測(cè)量時(shí)間長(zhǎng)而無法獲取實(shí)時(shí)濃度。在工業(yè)生產(chǎn)中，也常使用濃度計(jì)對(duì)膏體濃度進(jìn)行測(cè)量，主要包括超聲濃度計(jì)和核子濃度計(jì)。經(jīng)過實(shí)際工業(yè)生產(chǎn)驗(yàn)證，超聲濃度計(jì)在高濃度下的精度偏低，并且容易被損壞。核子濃度計(jì)存在大量的輻射，出于安全考慮，國內(nèi)并不允許使用核子濃度計(jì)測(cè)量膏體濃度[4]。基于視覺檢測(cè)的非接觸式膏體濃度實(shí)時(shí)識(shí)別方法成為適用于礦山生產(chǎn)的必然選擇。

通過現(xiàn)場(chǎng)大量現(xiàn)場(chǎng)實(shí)驗(yàn)分析，本文作者發(fā)現(xiàn)不同濃度的膏體在紋理表觀上具有明顯差異，如圖1所示。因此，圖像識(shí)別方法為膏體濃度識(shí)別提供可能的技術(shù)手段。

圖1 不同濃度的膏體形態(tài)Fig. 1 Different morphology of paste with different concentrations

近年來，隨著硬件計(jì)算能力的提高和人工智能理論的發(fā)展，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)依托于其強(qiáng)有效的特征提取能力[8-9]成為圖像處理與分析領(lǐng)域中的主流方法[10-11]。LECUN 等[12]提出卷積神經(jīng)網(wǎng)絡(luò)，KRIZHEVSRY 等[13]提出ALEXNET，在超大型數(shù)據(jù)集ImageNet 上將圖像識(shí)別的Top-5 錯(cuò)誤率降低至16.4%(Top-5錯(cuò)誤率指對(duì)每幅圖像同時(shí)預(yù)測(cè)5 個(gè)標(biāo)簽類別，若預(yù)測(cè)的5 個(gè)類別任意之一為該圖像的正確標(biāo)簽，則視為預(yù)測(cè)正確，否則視為預(yù)測(cè)錯(cuò)誤，Top-5錯(cuò)誤率指預(yù)測(cè)錯(cuò)誤的圖像數(shù)目與總圖像數(shù)目之比)。VGG[14]，GoogleNet[15]，ResNet[16]和DenseNet[17]等網(wǎng)絡(luò)多次將錯(cuò)誤率降低，截至2017年最后一屆ImageNet圖像識(shí)別競(jìng)賽，SENet[18]將圖像識(shí)別的Top-5錯(cuò)誤率降低至2.991%，遠(yuǎn)低于人類錯(cuò)誤率5.1%。目前，針對(duì)專有領(lǐng)域的特殊問題，如圖像細(xì)粒度分類[19-20]、神經(jīng)網(wǎng)絡(luò)的可解釋性分析[21-23]、視頻序列分類[24-25]、小樣本圖像學(xué)習(xí)[26-27]等，科研人員進(jìn)一步優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，旨在讓人工智能方法解決應(yīng)用過程中的實(shí)際問題。

在膏體圖像濃度識(shí)別任務(wù)中，膏體圖像具有紋理特征精細(xì)、干擾多、光照條件不均等特點(diǎn)?；诰矸e神經(jīng)網(wǎng)絡(luò)的膏體圖像識(shí)別面臨如下挑戰(zhàn)：

1) 膏體圖像具有圖像尺寸大且紋理特征精細(xì)的特點(diǎn)，而在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類應(yīng)用中，需要將圖像縮小成固定尺寸(如224 像素×224 像素)，以減少硬件資源的占用，提高訓(xùn)練效率。然而，如果縮小膏體圖像尺寸訓(xùn)練網(wǎng)絡(luò)模型，將損失圖像中的精細(xì)紋理特征，產(chǎn)生模型過擬合的風(fēng)險(xiǎn)。

2) 由于膏體圖像識(shí)別方法需要在實(shí)時(shí)工業(yè)生產(chǎn)環(huán)境中運(yùn)行，攪拌機(jī)的轉(zhuǎn)動(dòng)將會(huì)干擾圖像識(shí)別進(jìn)程，導(dǎo)致模型識(shí)別不準(zhǔn)確。

3) 在工業(yè)條件下，光照不均問題將影響卷積神經(jīng)網(wǎng)絡(luò)對(duì)紋理細(xì)節(jié)的分析。

為了解決以上問題，迫切需要針對(duì)膏體濃度識(shí)別領(lǐng)域中獨(dú)有問題改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練過程。采用卷積神經(jīng)網(wǎng)絡(luò)單獨(dú)分析局部紋理特征可為濃度識(shí)別提供充足的信息，但局部圖像不具有代表性且容易對(duì)轉(zhuǎn)動(dòng)的攪拌機(jī)葉片造成干擾，由此通過特征融合的方式融合多個(gè)局部區(qū)域進(jìn)行識(shí)別為大尺寸膏體圖像識(shí)別任務(wù)提供了可能性。通過預(yù)處理方法進(jìn)行數(shù)據(jù)增廣，可有效提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)于工業(yè)現(xiàn)場(chǎng)不同光照條件的穩(wěn)健性。

綜上所述，本文針對(duì)膏體濃度檢測(cè)領(lǐng)域中傳統(tǒng)接觸式濃度計(jì)識(shí)別精度低、易損壞且對(duì)人體產(chǎn)生有害輻射等問題，提出一種基于視覺檢測(cè)的非接觸式膏體濃度識(shí)別方法，利用圖像分析方法在非接觸條件下識(shí)別膏體的濃度，從而避免接觸式測(cè)量對(duì)儀器的侵蝕和核子濃度計(jì)的輻射對(duì)人體的損害。針對(duì)膏體監(jiān)測(cè)場(chǎng)景下圖像紋理特征精細(xì)、干擾多、光照條件不均等特點(diǎn)，設(shè)計(jì)基于深度特征融合的深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過多模型全連接層融合的方式融合局部區(qū)域的細(xì)節(jié)特征，并引入伽馬(Gamma)矯正數(shù)據(jù)增廣策略，有效提高膏體料漿紋理的識(shí)別準(zhǔn)確性及不同環(huán)境光照條件下的穩(wěn)健性。

1 基于深度特征融合的膏體圖像濃度識(shí)別

1.1 膏體數(shù)據(jù)集采集

在北京科技大學(xué)進(jìn)行模擬膏體制備實(shí)驗(yàn)，并拍攝不同濃度的膏體視頻圖像。整個(gè)實(shí)驗(yàn)環(huán)境包括攝像機(jī)、三腳架、攪拌缸、攪拌機(jī)、照明燈光以及混合膏體等。圖2和圖3所示分別為制備實(shí)驗(yàn)示意圖和流程圖。

圖2 模擬膏體制備及圖像采集實(shí)驗(yàn)環(huán)境示意圖Fig. 2 Simulation paste system preparation and image acquisition experiment environment diagram

圖3 模擬膏體制備及圖像采集流程圖Fig. 3 Simulation paste system preparation and image acquisition flow diagram

主要針對(duì)灰沙比為1∶16 的混合膏體濃度進(jìn)行研究，成分主要包括尾砂、粗骨料、水等，顏色呈灰色狀。在制備環(huán)境中，使用2 支為功率400 W，色溫為5 000 K，光通量為110 lm的LED燈給圖像采集提供照明。固定在攪拌機(jī)上方兩側(cè)，距底部80 cm。用三腳架將1 臺(tái)攝像機(jī)固定于攪拌機(jī)正上方140 cm 處，距離料漿80 cm 以上，拍攝畫面中心與料漿中心一致。

在保證實(shí)驗(yàn)效果的前提下，為節(jié)省財(cái)力、物力以及時(shí)間成本，使用灰沙比為1∶16 固體物料(包括尾砂、粗骨料等)以及不斷增加清水的方式進(jìn)行混合膏體配制。即先測(cè)量高濃度的膏體，然后增加定量的清水以逐級(jí)降低濃度。通過初始固體物料的質(zhì)量和每次增加清水之后的膏體總質(zhì)量，確定當(dāng)前的料漿實(shí)際濃度。

在數(shù)據(jù)采集前均勻攪拌，以確保濃度識(shí)別的準(zhǔn)確性。多濃度膏體視頻數(shù)據(jù)為基于圖像分析的膏體濃度高精度識(shí)別提供了關(guān)鍵信息。

在膏體制備過程中，將灰砂比為1∶16 的固體物料(包括尾砂、粗骨料等)和水按配比倒入攪拌缸中，并調(diào)整攝像頭進(jìn)行對(duì)焦[28-29]，再用攪拌機(jī)攪拌均勻。其中攪拌方式包括手動(dòng)攪拌和自動(dòng)攪拌。

本次拍攝的2 組膏體質(zhì)量分?jǐn)?shù)視頻有45 種(由于工業(yè)現(xiàn)場(chǎng)通常關(guān)注高濃度膏體識(shí)別的準(zhǔn)確性，因此本文進(jìn)行分階段采樣，當(dāng)質(zhì)量分?jǐn)?shù)為20%～60%時(shí)，按照5%的梯度采集；當(dāng)質(zhì)量分?jǐn)?shù)為60%～78%時(shí)，按照0.5%的梯度采集)。每種濃度均按照25 幀/s 的幀率錄制5 min，共有7 500 幀圖像。本文從中選取攪拌均勻、各個(gè)參數(shù)一致的5 000 幀，用以制作得到不同濃度的膏體數(shù)據(jù)集，最終在手動(dòng)攪拌和自動(dòng)攪拌2 種方式下對(duì)均具有112 500幀圖像的數(shù)據(jù)集用于深度學(xué)習(xí)模型分析。

1.2 Gamma矯正策略

在拍攝采集膏體圖像數(shù)據(jù)集時(shí)，由于拍攝角度與液位高度的變化，以及隨著拍攝時(shí)間的改變，現(xiàn)場(chǎng)光照亮度不穩(wěn)定，并且識(shí)別結(jié)果容易受到現(xiàn)場(chǎng)實(shí)驗(yàn)條件下環(huán)境光的影響，導(dǎo)致圖像存在噪聲。因此，本文采用Gamma 矯正策略改變膏體圖像的亮度，作為數(shù)據(jù)增強(qiáng)策略驅(qū)使網(wǎng)絡(luò)模型學(xué)習(xí)真正的紋理細(xì)節(jié)信息，以降低環(huán)境光對(duì)濃度識(shí)別的干擾，從而提高濃度識(shí)別的準(zhǔn)確性。

Gamma矯正策略是指對(duì)膏體圖像的Gamma曲線進(jìn)行轉(zhuǎn)換。其公式表示為

式中：I為原始輸入圖像矩陣(取值為[0，1])；f(I)為Gamma 矯正結(jié)果；λ為系數(shù)。當(dāng)λ＞1 時(shí)，圖像整體亮度變暗，當(dāng)λ＜1 時(shí)，圖像整體亮度變亮，如圖4所示。

圖4 Gamma矯正示意圖Fig. 4 Schematic diagrams of Gamma correction

1.3 單模型特征提取

由于CNN 模型只能輸入固定大小的圖像塊用于分析和計(jì)算[30-31]，為充分考慮全局特征和紋理細(xì)節(jié)，本文針對(duì)輸入模型的圖像，設(shè)計(jì)全圖縮小(full size shrinking)和隨機(jī)裁剪(random cropping) 2 種圖像預(yù)處理方式，將圖像尺寸由1 920 像素×1 080 像素縮小到224像素×224像素輸入CNN模型，如圖5所示。

圖5 2種圖像預(yù)處理方法Fig. 5 Two image processing methods

由圖5可知：全圖縮小的方式雖然可以使網(wǎng)絡(luò)模型訪問到全局圖像信息，但由于縮減過程中造成的紋理細(xì)節(jié)信息缺失，不利于對(duì)精細(xì)的膏體紋理細(xì)節(jié)進(jìn)行分析。而隨機(jī)裁剪的方式會(huì)丟失全局信息，并且容易受到旋轉(zhuǎn)過程中的攪拌機(jī)葉片干擾，降低識(shí)別準(zhǔn)確率。

因此，本文采用模型融合的方式進(jìn)行濃度分類，設(shè)計(jì)包括局部圖像級(jí)聯(lián)融合、全連接層融合和特征圖融合在內(nèi)的3種模型融合方式，通過結(jié)合全局和局部圖像特征，提升膏體圖像分類準(zhǔn)確率。由于模型融合是把獨(dú)立的學(xué)習(xí)器組合起來，因此，需要將裁剪得到的5 幅圖像分別輸入5 個(gè)CNN 模型，并且通過參數(shù)共享策略提升模型訓(xùn)練結(jié)果，從而提升學(xué)習(xí)效果。

1.4 多模型特征融合

本文采用多圖融合的方式實(shí)現(xiàn)模型融合，具體實(shí)現(xiàn)思路是在隨機(jī)裁剪的基礎(chǔ)上，從1 920 像素×1 080 像素的原圖中，按固定位置裁剪出5 幅224 像素×224 像素的小圖(如圖6 所示)，在模型參數(shù)共享的基礎(chǔ)上，分別送入模型進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，然后使用2種模型融合方式，提升膏體圖像分類的準(zhǔn)確率。本文選擇局部圖像級(jí)聯(lián)融合、全連接層融合以及特征圖融合3種方式進(jìn)行對(duì)比分析，模型融合網(wǎng)絡(luò)模型如圖7所示。

圖6 從膏體圖像原圖中按固定位置裁剪5張小圖示意圖Fig. 6 Schematic diagram of cut out five small pictures from original paste image in a fixed position

圖7 3種模型融合算法Fig. 7 Three model fusion algorithms and image stitching algorithm

本文使用的局部圖像級(jí)聯(lián)融合方式指將隨機(jī)裁剪得到的5張小圖融合為1張圖片，并將融合得到的圖片送入1 個(gè)深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析、訓(xùn)練、測(cè)試，以驗(yàn)證與局部裁剪的方式相比，膏體濃度識(shí)別準(zhǔn)確率是否有所提升。

使用的全連接層融合方式指將1張大尺寸膏體圖像中得到的5張局部圖像分別送入網(wǎng)絡(luò)的5個(gè)參數(shù)共享的特征提取分支中，使每張圖片經(jīng)過的每一層計(jì)算參數(shù)都保持一致，最后經(jīng)過逐個(gè)提取分支特征，每張局部圖像得到1個(gè)包含其屬于每一個(gè)分類概率的數(shù)組。然后，將5張局部圖像得到的數(shù)組進(jìn)行平均，再根據(jù)最終求得的概率，將概率最大值的分類作為對(duì)應(yīng)大尺寸膏體圖像的預(yù)測(cè)分類。

使用的特征圖融合方式指將特征提取分支輸出的5張局部圖像特征圖進(jìn)行通道級(jí)聯(lián)，再進(jìn)行全連接分析操作，得到概率矩陣，最后取最大概率對(duì)應(yīng)的分類作為預(yù)測(cè)結(jié)果。

通過后續(xù)實(shí)驗(yàn)分析，本文選擇VGG16 作為特征提取分支。

2 實(shí)驗(yàn)

首先選擇在圖像分類競(jìng)賽(imagenet large scale visual recognition challenge, ILSVRC)中典型的3 種模型(VGG16[14]，resnet50[16]和DENSENET121[17])作為特征提取分支的基線模型進(jìn)行分析，并選擇分類效果最好的模型進(jìn)行下一步模型融合實(shí)驗(yàn)。本文僅選擇上述基線模型以證明本文提出的深度特征融合方法的有效性，在實(shí)際應(yīng)用中可根據(jù)實(shí)際需要更換基線模型。

以經(jīng)過ImageNet 預(yù)訓(xùn)練的CNN 模型為基礎(chǔ)[32]，再用提前劃分得到的膏體圖像訓(xùn)練集，對(duì)模型進(jìn)行再訓(xùn)練。本文在手動(dòng)攪拌和自動(dòng)攪拌2種數(shù)據(jù)集中均有112 500幀圖像，并按照3∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，即訓(xùn)練集有67 500幀圖像，驗(yàn)證集和測(cè)試集均有22 500 張圖像，并分別標(biāo)記濃度標(biāo)簽。本文在預(yù)處理圖像的過程中，對(duì)比是否應(yīng)用Gamma 矯正的實(shí)驗(yàn)結(jié)果，以驗(yàn)證Gamma矯正對(duì)減弱光照條件變化帶來的誤差影響。

使用開源的深度學(xué)習(xí)框架Pytorch 進(jìn)行代碼編寫和資源管理，并采用4 塊NVIDIA GeForce GTX 1080Ti 對(duì)圖像識(shí)別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以提高網(wǎng)絡(luò)模型訓(xùn)練的運(yùn)算速度。統(tǒng)一設(shè)置網(wǎng)絡(luò)模型的參數(shù)：訓(xùn)練輪次為20 輪；batch size 為25；學(xué)習(xí)率初始為0.01，并采用cosine函數(shù)遞減算法，每輪次更新學(xué)習(xí)率，逐漸減小；動(dòng)量設(shè)置為0.9，并利用交叉熵?fù)p失函數(shù)(cross entropy loss)與隨機(jī)梯度下降(stochastic gradient descent, SGD)優(yōu)化器算法逆反饋優(yōu)化網(wǎng)絡(luò)參數(shù)，優(yōu)化網(wǎng)絡(luò)模型[33]。

2.1 單模型識(shí)別結(jié)果

針對(duì)同一預(yù)處理算法，3種模型的濃度識(shí)別準(zhǔn)確率結(jié)果如表1所示，其中，VGG-16與ResNet-50的準(zhǔn)確率明顯比DenseNet-121 的準(zhǔn)確率高，本文推測(cè)底層紋理特征適用于膏體濃度識(shí)別，而使用深層的卷積神經(jīng)網(wǎng)絡(luò)具有過擬合的風(fēng)險(xiǎn)。以VGG-16網(wǎng)絡(luò)為例，輸出局部裁剪的圖像及前5種濃度預(yù)測(cè)概率如圖8所示(實(shí)際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測(cè)結(jié)果中置信度最高的5個(gè)類別的置信度，帶有條紋橫向柱代表實(shí)際濃度對(duì)應(yīng)的置信度)。

表1 不同模型與預(yù)處理算法的膏體濃度識(shí)別準(zhǔn)確率Table 1 Paste concentration identification accuracy of different models and preprocessing algorithms

圖8 單模型膏體濃度識(shí)別結(jié)果Fig. 8 Recognition results in single model of paste concentration

從表1可以得出：采用單圖隨機(jī)裁剪的預(yù)處理方式，得到的實(shí)驗(yàn)結(jié)果和全圖縮小的實(shí)驗(yàn)結(jié)果相差約10%。從圖8可看出：運(yùn)用單模型的識(shí)別準(zhǔn)確率不高，甚至Top-5中不存在預(yù)測(cè)正確的濃度。經(jīng)對(duì)此分析，單純的局部裁剪無法有效地減弱攪拌機(jī)圖像對(duì)膏體信息的干擾，即存在影響濃度識(shí)別的噪聲信息，同時(shí)，全圖縮小的濃度識(shí)別準(zhǔn)確率在無Gamma矯正時(shí)超過95%，然而，應(yīng)用Gamma矯正后正確率驟降至25%。本文認(rèn)為該波動(dòng)超出正常范圍，原因在于采用全圖縮小的模型無法訪問到精細(xì)的膏體紋理特征，將環(huán)境光照亮度變化也作為分類依據(jù)，但這一特征與濃度無關(guān)，據(jù)此，本文設(shè)計(jì)全新的模型融合算法，以增強(qiáng)實(shí)驗(yàn)結(jié)果置信度，并降低噪聲信息。

2.2 單模型局部圖像級(jí)聯(lián)融合識(shí)別結(jié)果

上述結(jié)果表明，直接進(jìn)行局部裁剪并輸入網(wǎng)絡(luò)模型訓(xùn)練難以達(dá)到預(yù)期效果，因此，本文設(shè)計(jì)局部模型融合算法，將5張經(jīng)過局部裁剪得到的圖片進(jìn)行拼接融合，輸入網(wǎng)絡(luò)訓(xùn)練與測(cè)試。結(jié)果如表2 所示。以VGG-16 網(wǎng)絡(luò)為例，輸出圖像及前5種濃度預(yù)測(cè)概率如圖9 所示(實(shí)際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測(cè)結(jié)果中置信度最高的5個(gè)類別的置信度，帶有條紋橫向柱代表實(shí)際濃度對(duì)應(yīng)的置信度)。

表2 單模型局部圖像級(jí)聯(lián)融合算法的膏體濃度識(shí)別準(zhǔn)確率Table 2 Paste concentration recognition accuracy of local original image fusion

圖9 單模型局部圖像級(jí)聯(lián)融合膏體濃度識(shí)別結(jié)果Fig .9 Recognition results in single model local image cascade fusion of paste concentration

從圖9可以看出：局部圖像級(jí)聯(lián)融合算法比上述單圖局部裁剪的算法的濃度識(shí)別準(zhǔn)確率更高，且在Gamma 矯正后，沒有出現(xiàn)識(shí)別準(zhǔn)確率驟降的情況。對(duì)比圖8，所有的Top-5 都包含了正確的濃度，且?guī)缀跛袧舛榷荚赥op-1(預(yù)測(cè)結(jié)果中置信度最高的一個(gè)類別)位置預(yù)測(cè)正確。證明此方法可以明顯減小由于光照變化帶來的膏體濃度特征識(shí)別誤差，但是其準(zhǔn)確率較低，難以應(yīng)用于實(shí)踐。為進(jìn)一步提高膏體濃度識(shí)別準(zhǔn)確率，本文設(shè)計(jì)2種基于基線模型的模型融合算法：全連接層融合與特征圖融合。

2.3 多模型融合識(shí)別結(jié)果

如前文所述，本文設(shè)計(jì)并實(shí)現(xiàn)2種基于基線模型的模型融合算法：全連接層融合與特征圖融合。得到結(jié)果如表3所示。以VGG-16網(wǎng)絡(luò)和全連接層模型融合為例，輸出圖像及前5種濃度預(yù)測(cè)概率如圖10所示(實(shí)際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測(cè)結(jié)果中置信度最高的5個(gè)類別的置信度，帶有條紋橫向柱代表實(shí)際濃度對(duì)應(yīng)的置信度)。

表3 不同模型融合算法的膏體濃度識(shí)別準(zhǔn)確率Table 3 Paste concentration recognition accuracy of different model fusion algorithms

圖10 多模型全連接層融合膏體濃度識(shí)別結(jié)果Fig .10 Recognition results in multi-model full-connection layer fusion of paste concentration

由圖10可知：2種模型融合算法都比前述單圖隨機(jī)裁剪算法和單模型局部圖像級(jí)聯(lián)融合算法的濃度識(shí)別準(zhǔn)確率高。對(duì)比3種模型，與上述實(shí)驗(yàn)結(jié)果類似，VGG-16 的濃度識(shí)別準(zhǔn)確率最高，而ResNet-50 與DenseNet-121 的結(jié)果與之相比，相差7%～15%。對(duì)比2 種模型融合算法，全連接層融合的效果普遍比特征圖融合的效果好，證明對(duì)各自獨(dú)立的全連接層結(jié)果進(jìn)行平均能夠更好地提取濃度特征，提升濃度識(shí)別準(zhǔn)確率。

2.4 Gamma矯正策略對(duì)比

應(yīng)用Gamma 矯正策略可以中和圖像的光照信息，降低環(huán)境光噪聲信息對(duì)圖像濃度特征信息的干擾，據(jù)此，設(shè)計(jì)對(duì)比實(shí)驗(yàn)將Gramma矯正作為數(shù)據(jù)增強(qiáng)策略訓(xùn)練CNN模型。

結(jié)果表明，應(yīng)用Gamma 矯正策略可以顯著提高濃度識(shí)別準(zhǔn)確率。全圖縮小預(yù)處理方法在應(yīng)用Gamma 矯正策略后，濃度識(shí)別準(zhǔn)確率驟降，證明全圖縮小方法由于未訪問到膏體精細(xì)紋理特征造成該方法的泛化性能不強(qiáng)，而全連接層融合算法則可以很好的解決這一問題。全連接層融合算法針對(duì)手動(dòng)攪拌數(shù)據(jù)集和自動(dòng)攪拌數(shù)據(jù)集在增加Gamma矯正后，濃度識(shí)別準(zhǔn)確率均提升約2%。

3 討論

本文針對(duì)膏體充填任務(wù)中關(guān)鍵的濃度識(shí)別問題，提出一種基于視覺檢測(cè)的非接觸式膏體濃度識(shí)別方法，以膏體圖像數(shù)據(jù)集為基礎(chǔ)，對(duì)膏體濃度監(jiān)測(cè)準(zhǔn)確率進(jìn)行分析。實(shí)驗(yàn)證明，本文提出的方法為膏體濃度識(shí)別提供一套全新的解決方案，即通過分析膏體的紋理特征可有效對(duì)濃度進(jìn)行監(jiān)測(cè)。但該方法需要充分考慮現(xiàn)場(chǎng)環(huán)境因素的影響。實(shí)驗(yàn)證明，在引入Gamma 矯正的情況下，模型的準(zhǔn)確率受到一定的影響，但模型的穩(wěn)健性得到提高。

在未來的研究中，擬采用基于視頻分類的分析方法，以充分提取膏體攪拌過程中的紋理信息和運(yùn)動(dòng)信息，即在同一攪拌機(jī)轉(zhuǎn)速下，濃度高的膏體運(yùn)動(dòng)慢，濃度低的膏體運(yùn)動(dòng)快。本文認(rèn)為通過有效提取膏體料漿的運(yùn)動(dòng)信息有助于提高濃度識(shí)別的準(zhǔn)確率。

本文在預(yù)研實(shí)驗(yàn)中僅采集灰砂比為1∶16 的膏體，然而，在實(shí)際工業(yè)生產(chǎn)的充填膏體配料中，灰砂比有1∶4，1∶8，1∶16 和1∶24 這4 種配料方式，本文后續(xù)將驗(yàn)證模型在其他不同材料配比的膏體濃度分類的準(zhǔn)確率，并在輕量化模型部署、模型高速計(jì)算等方面進(jìn)行研究與實(shí)驗(yàn)。

4 結(jié)論

1) 采用深度學(xué)習(xí)算法，以膏體圖像數(shù)據(jù)集為基礎(chǔ)的基于視覺檢測(cè)的非接觸式膏體濃度識(shí)別方法可以有效實(shí)現(xiàn)膏體濃度監(jiān)測(cè)。

2) Gamma 矯正策略應(yīng)用于模型融合的各項(xiàng)對(duì)比實(shí)驗(yàn)中，識(shí)別準(zhǔn)確率均提升1.2%以上，對(duì)提升算法對(duì)不同環(huán)境的適應(yīng)性具有顯著效果。

3) 單模型局部圖像級(jí)聯(lián)融合算法比單模型非級(jí)聯(lián)算法具有更高的環(huán)境適應(yīng)性，多模型融合算法相較單模型局部圖像級(jí)聯(lián)融合算法的濃度識(shí)別準(zhǔn)確率提升7%以上，全連接層融合相較特征圖融合的準(zhǔn)確率提升1%以上，其針對(duì)手動(dòng)攪拌數(shù)據(jù)集和自動(dòng)攪拌數(shù)據(jù)集的濃度識(shí)別準(zhǔn)確率分別達(dá)到88.79%和91.42%。

4) 基于視覺檢測(cè)的非接觸式膏體濃度識(shí)別方法，可有效提高膏體料漿紋理的識(shí)別準(zhǔn)確性及對(duì)不同環(huán)境條件下的穩(wěn)健性，對(duì)于解決傳統(tǒng)接觸式濃度計(jì)識(shí)別精度低、易損壞且對(duì)人體產(chǎn)生有害輻射等問題有重要意義。