基于三通道分離特征融合與支持向量機(jī)的混凝土圖像分類研究

張 成，侯宇超，焦宇倩，白艷萍，李建軍

基于三通道分離特征融合與支持向量機(jī)的混凝土圖像分類研究

張 成1，侯宇超2，焦宇倩1，白艷萍1，李建軍1

(1. 中北大學(xué)理學(xué)院，山西 太原 030051； 2. 中北大學(xué)信息與通信工程學(xué)院，山西 太原 030051)

混凝土的不同配合比可決定材料的性能，對于多種配比和粒徑大小混凝土圖像的分類研究，有利于工業(yè)廢棄混凝土的高效回收利用。為了提升分類效果，提出了一種新的特征提取模塊(ITFA-DLF)，該模塊在圖像分離重構(gòu)出的R，G和B 3個通道上，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取3通道圖像的顏色特征，通過多塊局部二值模式(MB-LBP)提取3通道圖像的紋理特征，將2種特征進(jìn)行融合并輸入到網(wǎng)格搜索算法(GS)優(yōu)化的支持向量機(jī)(SVM)中進(jìn)行分類。采用混凝土圖像進(jìn)行實(shí)驗(yàn)，對比多種分類方法得出所提模型的效果最佳，9類圖像識別率達(dá)到了92%以上，在保證分類精度的同時縮短了分類時間，提高了混凝土圖像的分類效率，驗(yàn)證了所提方法的有效性。

混凝土圖像；卷積神經(jīng)網(wǎng)絡(luò)；多塊局部二值模式；特征融合；支持向量機(jī)

混凝土是現(xiàn)代土木建筑工程中不可缺少的重要材料，而配合比設(shè)計是混凝土材料研究的基礎(chǔ)，決定混凝土的強(qiáng)度、剛度、耐久性等基本性能，合理選擇混凝土原材料的配合比，是保證混凝土質(zhì)量的關(guān)鍵。混凝土配合比研究[1]是混凝土設(shè)計、生產(chǎn)和應(yīng)用中最重要的環(huán)節(jié)之一，是綜合考慮建筑物結(jié)構(gòu)特點(diǎn)、原材料性能、施工工藝及設(shè)備、施工環(huán)境、質(zhì)量管理等因素，結(jié)合混凝土的拌和物性能、力學(xué)性能和耐久性能要求，確定混凝土中各原材料的比例用量?；炷僚浜媳仍O(shè)計必須同時滿足設(shè)計規(guī)范要求、混凝土工程性能要求、混凝土施工性能要求和經(jīng)濟(jì)合理要求，必須合理選擇并優(yōu)化組合混凝土原材料，通過技術(shù)組合實(shí)現(xiàn)降低混凝土單價成本、節(jié)約資源和保護(hù)環(huán)境的目的?；炷敛煌浜媳鹊脑O(shè)計決定了混凝土技術(shù)先進(jìn)性、成本可控性和發(fā)展可持續(xù)性等水平，由此可見識別混凝土配比的重要現(xiàn)實(shí)意義。工業(yè)建筑產(chǎn)生的大量混凝土廢棄原料，通過對其配合比進(jìn)行精準(zhǔn)分類，結(jié)合不同配比的材料性能，有利于再次制造出滿足工業(yè)要求的混凝土材料。

現(xiàn)有大多為工業(yè)上根據(jù)用途對混凝土配比的研究，使用圖像識別方法對混凝土配比的研究還很少。魯?shù)蟍2]建立了一種基于多入多出(multiple input and multiple output，MIMO)的無模型自適應(yīng)控制(model-free adaptive control，MFAC)的彩色背景圖像提取方法，可直接在RGB 3個通道上對彩色圖像進(jìn)行處理，避免了其進(jìn)行灰度化處理丟失關(guān)鍵色彩信息的問題；霍福翠[3]采用陶粒作為輕骨料的混凝土砌塊為研究材料，選取水灰比、砂率及密度等級作為配合比設(shè)計參數(shù)，以抗壓強(qiáng)度為目標(biāo)，設(shè)計3因素4水平的正交試驗(yàn)方案，研究新型復(fù)合保溫混凝土砌塊的合理配比；馮城鐵[4]闡述了6種常用的混凝土配合比設(shè)計方式，表明提升混凝土的耐久性能需要進(jìn)行合理的混凝土配合比設(shè)計，以提升混凝土的使用年限和壽命；程嵐[5]通過實(shí)驗(yàn)分別從混凝土試件的外觀變化、質(zhì)量變化、抗壓強(qiáng)度的耐蝕系數(shù)3個方面得出鋼渣砂、鋼渣粉、秸稈灰、對混凝土抗硫酸鹽侵蝕能力的影響程度來確定最佳混凝土材料的配合比；ZHOU和SONG[6]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的新型巷道分類方法工具，并使用異構(gòu)圖像融合揭示道路混凝土裂紋發(fā)展的趨勢；張麗秀等[7]利用局部二值模式(local binary pattern，LBP)特征提取方法和支持向量機(jī)(support vector machine，SVM)分類器的組合模式對混凝土在電鏡下的圖像進(jìn)行特征提取和類別判定；鄭杭州[8]以建筑施工過程中的高性能混凝土為研究對象，列舉了混凝土在配比設(shè)計時存在的問題，并結(jié)合實(shí)際情況圍繞著混凝土所適用的配比設(shè)計方法展開實(shí)驗(yàn)，最終得出合理原材料配比。

混凝土圖像在采集過程中由于受到光照不足、相機(jī)曝光差異等因素的影響，導(dǎo)致圖像出現(xiàn)亮度過低、偏暗、圖像明暗夾雜陰影部分等不均勻現(xiàn)象，且待識別圖像間的配比非常接近，加之人為配比不均勻，增大了混凝土圖像配合比識別的難度。混凝土顆粒主要包含砼和磚2種成分，且2種配料的顏色不同，所以不同配比的混凝土圖像中顏色占比會有一定的差異，不同粒徑大小混凝土圖像中的紋理特征也不盡相同，這些差異均可作為圖像識別混凝土配比的依據(jù)。本文提出了一種新的特征提取模塊-圖像紋理與深度學(xué)習(xí)特征融合(image texture feature aided deep learning feature，ITFA-DLF)，在RGB 3個通道上對彩色圖像進(jìn)行處理，相比于灰度背景所檢測出的目標(biāo)更加清晰，3個通道上得到的融合特征既充分提取了彩色圖像的顏色特征，又考慮了光照對分類結(jié)果的影響，該模塊提取的特征使用SVM進(jìn)行分類，使用網(wǎng)格搜索算法優(yōu)化分類結(jié)果。

1 預(yù)處理

1.1 定位法裁剪

定位法裁剪即利用閾值分割法將所有圖像樣本目標(biāo)進(jìn)行定位，然后提取目標(biāo)圖片。具體操作為：首先對分割處理后的圖像進(jìn)行連通區(qū)域的邊界分析，得到連通區(qū)域內(nèi)所有的邊界坐標(biāo)和質(zhì)心坐標(biāo)，繪制出各連通區(qū)域，由于4個邊界的中心點(diǎn)理論上是質(zhì)心，以及利用混凝土目標(biāo)區(qū)域的像素個數(shù)大于空白區(qū)域的特點(diǎn)，挑選出混凝土目標(biāo)區(qū)域，最后在圖像中標(biāo)記4個頂點(diǎn)坐標(biāo)，即圖1中點(diǎn)，，和，然后對待識別目標(biāo)進(jìn)行裁剪，其大小統(tǒng)一調(diào)整為2000×2000。

圖1 定位法裁剪

1.2 直方圖均衡化

直方圖均衡化[9]對于光照效果有較強(qiáng)的魯棒性(圖2)，通過直方圖均衡化處理可以增強(qiáng)圖像的對比度，突出圖像細(xì)節(jié)信息，有利于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)提取出3個通道精確的顏色特征。變換函數(shù)(r)與原圖像概率密度函數(shù)p(r)之間的關(guān)系為

圖2 直方圖均衡化處理((a)原始圖像；(b)圖像的直方圖均衡化；(c)原始圖像直方圖；(d)直方圖均衡化圖像直方圖)

2 數(shù)據(jù)集介紹

混凝土圖像數(shù)據(jù)集(CIRD)來自中北大學(xué)土木工程專業(yè)，于2020年3月采集獲取。其中粒徑大小有3種，在0.075～0.300 mm范圍內(nèi)記為0075；在0.300～0.600 mm范圍內(nèi)記為0003；在0.600～ 1.180 mm范圍內(nèi)記為0006。3種配比為3∶7，5∶5和7∶3，分別在3種粒徑大小下對9類混凝土圖像進(jìn)行分類。相關(guān)數(shù)據(jù)見表1。

表1 文件目錄

圖3為部分待分類圖像(以55-0003為例)。

圖3 55-0003混凝土圖片示例

3 多特征提取

混凝土圖像在采集過程中受到不同光照效果及人為配比不均等因素的影響，本文分離重構(gòu)出混凝土圖像的R，G和B3個通道的圖像[10]，使用CNN提取3個通道的顏色特征；使用多塊局部二值模式(multi-block LBP，MB-LBP)提取3個通道的紋理特征，其對光照具有較強(qiáng)的魯棒性。

3.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN[11]是在人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了卷積層和池化層構(gòu)成的特征提取器，卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心組成部分，由一系列卷積核組成，即

池化層主要作用是縮減特征矩陣的維度，本文采用最大池化對卷積后的特征圖進(jìn)行下采樣。經(jīng)過多個卷積層和池化層的交替?zhèn)鬟f，然后依靠softmax分類器進(jìn)行分類，得到基于類別的概率分布。

本文構(gòu)建的CNN包括一個輸入層、2個卷積層、2個池化層、1個全連接層和1個輸出層(GS-SVM分類器)，卷積層卷積核的大小均為9×9，池化層的核大小均為2×2，本文所用CNN模型如圖4所示。

3.2 多塊局部二值模式

LBP[12]是一種用來提取圖像局部紋理特征的算子，描述其在紋理分類中的強(qiáng)區(qū)分能力，即

其中，(x,y)為中心像素坐標(biāo)；i為鄰域像素的灰度值；i為中心像素點(diǎn)的灰度值；()為符號函數(shù)。

圖4 CNN-GS-SVM結(jié)構(gòu)圖

MB-LBP可將圖像分成若干個小塊，每個小塊再分為若干個小區(qū)域，小區(qū)域內(nèi)的灰度平均值作為當(dāng)前小塊的灰度值，與周圍小塊灰度值進(jìn)行比較形成LBP特征。本文將圖像分成3×3的小塊，每個小塊再分成3×3的小區(qū)域，如圖5所示。

圖5 MB-LBP原理圖

3.3 GS-SVM模型實(shí)現(xiàn)

SVM最早由VAPNIK[13]提出，是一種有監(jiān)督的統(tǒng)計學(xué)習(xí)方法。

設(shè)已知訓(xùn)練集為

為處理非線性數(shù)據(jù)，選用RBF核函數(shù)對SVM進(jìn)行推廣，利用此函數(shù)將樣本映射到高維空間，以提高線性分類的準(zhǔn)確率。RBF核函數(shù)式為

其中，g為核函數(shù)半徑，即

構(gòu)造決策函數(shù)為

用SVM做分類預(yù)測時需要調(diào)整相關(guān)參數(shù)(懲罰參數(shù)和核函數(shù)參數(shù))來獲得理想的分類精度，本文采用網(wǎng)格搜索算法獲取最優(yōu)模型參數(shù)。網(wǎng)格搜索算法[14]是指定參數(shù)值的一種窮舉搜索算法，通過將估計函數(shù)的參數(shù)通過交叉驗(yàn)證的方法進(jìn)行優(yōu)化得到最優(yōu)的學(xué)習(xí)算法，即將各個參數(shù)可能的取值進(jìn)行排列組合，列出所有可能的組合生成的“網(wǎng)格”來獲取模型的最優(yōu)超參數(shù)。然后將各組合用于SVM訓(xùn)練，并使用交叉驗(yàn)證的方式對表現(xiàn)進(jìn)行評估，找出最高評分所對應(yīng)的參數(shù)組合后再返回到模型中進(jìn)行訓(xùn)練。

3.4 本文方法步驟

根據(jù)以上算法，本文提出了基于3通道分離特征融合與SVM的圖像分類方法，具體步驟如下：

步驟1.使用定位法裁剪提取出待識別目標(biāo)圖像，去掉無關(guān)信息；

步驟2.對提取出的混凝土目標(biāo)圖像進(jìn)行裁剪，大小為128×128；

步驟3.對裁剪后的圖像進(jìn)行直方圖均衡化處理，增強(qiáng)對比度；

步驟4.對均衡化處理后的圖像從RGB空間轉(zhuǎn)換到HSV空間，再轉(zhuǎn)換到RGB空間分別重構(gòu)出每張圖片的R，G和B通道；

步驟5.使用CNN提取3個通道圖像的顏色特征；

步驟6.使用MB-LBP提取3個通道圖像的手工紋理特征；

步驟7.將CNN提取的3通道顏色特征和MB-LBP提取的3通道手工紋理特征進(jìn)行融合[15](即ITFA-DFL模塊提取出的圖像特征)，將融合后的3通道特征數(shù)據(jù)使用SVM分類器進(jìn)行分類，并使用網(wǎng)格搜索算法對分類結(jié)果進(jìn)行優(yōu)化。

本文算法流程如圖6所示。

圖6 本文算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)準(zhǔn)備

采用定位法去掉無關(guān)區(qū)域后，得到360張2000×2000的混凝土圖像，由于樣本數(shù)量較少，本文將圖像裁剪成128×128大小，共得到6 750張。由于人工配比的混凝土分布不均勻，裁剪過小會導(dǎo)致圖像的真實(shí)配比出現(xiàn)差異，直接降低分類精度，經(jīng)實(shí)驗(yàn)驗(yàn)證當(dāng)裁剪大小為128×128時可以基本滿足真實(shí)配比，有利于混凝土特征的準(zhǔn)確提取。

ITFA-DFL模塊提取的3通道特征均作為一個樣本，則分離重構(gòu)后共得到20 250個樣本。實(shí)驗(yàn)選取樣本中的17 550張圖像作為訓(xùn)練數(shù)據(jù)，2 700張圖像作為測試數(shù)據(jù)。圖7是9類混凝土樣本圖像。

圖7 9類混凝土樣本圖像

4.2 實(shí) 驗(yàn)

4.2.1 實(shí)驗(yàn)1

本文首先測試混凝土圖像分離重構(gòu)3個通道與單通道灰度圖對分類結(jié)果的影響。在分離重構(gòu)3個通道時，本文使用MATLAB中cat函數(shù)分別將分離出的某1個通道與另2個通道進(jìn)行連接形成一個三維空間，從而得到了一個彩色單顏色圖片，此處另2個顏色通道均用零表示。在使用CNN提取單顏色圖片的特征時，為了提高處理速度，只取了非零部分的數(shù)據(jù)，使樣本維數(shù)相當(dāng)于單通道的維數(shù)，而且提取的顏色特征信息相比于單通道灰度圖更加準(zhǔn)確。

由于CNN在提取特征時的大量參數(shù)使得處理時間較長，因而本實(shí)驗(yàn)通過選取3類數(shù)據(jù)(統(tǒng)一粒徑大小對配比進(jìn)行分類)來驗(yàn)證上述2種分離方法對分類結(jié)果的影響。

由表2可以看出，3種粒徑大小的混凝土圖像分離重構(gòu)RGB后，由ITFA-DFL模塊提取特征的分類效果均優(yōu)于單通道，該方法可以充分提取圖像的色彩信息，并避免了將彩色圖像灰度化處理丟失關(guān)鍵色彩信息，提升了分類精度。

表2 3通道與單通道分類結(jié)果準(zhǔn)確率對比(%)

4.2.2 實(shí)驗(yàn)2

在分離重構(gòu)RGB方法的基礎(chǔ)上，分別做了4類實(shí)驗(yàn)，首先在同一粒徑大小下，對3種不同配比的混凝土圖像進(jìn)行分類，然后在前3組實(shí)驗(yàn)的基礎(chǔ)上，再分別對3種粒徑大小進(jìn)行分類，最終得到9類圖像的分類結(jié)果。4類實(shí)驗(yàn)分別測試了softmax，BP，SVM和GS-SVM分類器對數(shù)據(jù)集分類效果的影響，實(shí)驗(yàn)結(jié)果見表3。

表3 不同分類器分類結(jié)果準(zhǔn)確率對比(%)

由表3可知，softmax分類器對于訓(xùn)練集的分類效果遠(yuǎn)優(yōu)于對測試集的分類效果，是因模型出現(xiàn)了過擬合導(dǎo)致的。對比表3中第三列與最后一列數(shù)據(jù)可知，網(wǎng)格搜索算法結(jié)合支持向量機(jī)(CNN-GS- SVM)能有效解決過擬合對分類結(jié)果的影響，相比于容易過度擬合訓(xùn)練樣本的人工神經(jīng)網(wǎng)絡(luò)，SVM對于未知樣本具有更好地推廣能力，其分類最終轉(zhuǎn)化為二次型尋優(yōu)問題，得到的是全局最優(yōu)，解決了在神經(jīng)網(wǎng)絡(luò)中無法避免的局部極值問題。表3顯示CNN-GS-SVM在4種實(shí)驗(yàn)數(shù)據(jù)中均得到了最高分類準(zhǔn)確率，相比于CNN-SVM更全面地考慮了最優(yōu)參數(shù)對對分類精度的提升；CNN-GS-SVM對于本文待分類的9種混凝土圖像，分類精度均高于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)，取得了92.63%的識別準(zhǔn)確率。

4.2.3 實(shí)驗(yàn)3

網(wǎng)格搜索算法優(yōu)化的SVM使用交叉驗(yàn)證的方式尋求最優(yōu)參數(shù)組合時花費(fèi)的時間較長，降低了分類效率。本文通過主成分分析法(principle component analysis，PCA)降低特征維數(shù)來進(jìn)行實(shí)驗(yàn)，測試維數(shù)對分類精度的影響，主成分貢獻(xiàn)率越低時，圖像的分類速度越快。實(shí)驗(yàn)結(jié)果見表4。

表4 不同主成分貢獻(xiàn)率的分類結(jié)果準(zhǔn)確率對比(%)

由表4可知，主成分貢獻(xiàn)率對于分類精度的影響形似高斯曲線，主成分貢獻(xiàn)率為25%時，分類速度最快，但分類精度過低；主成分貢獻(xiàn)率為75%時，其分類精度與分類速度均低于主成分貢獻(xiàn)率為50%時的效果；當(dāng)主成分貢獻(xiàn)率為50%時，4類實(shí)驗(yàn)的分類精度均為最高，相比于原始數(shù)據(jù)，由于特征維數(shù)的降低使得分類速度得到了極大地提升。

5 結(jié) 論

(1) 實(shí)驗(yàn)結(jié)果表明分離重構(gòu)RGB 3通道相比于單通道灰度圖能夠更好地保留混凝土圖像的顏色和紋理信息，分離重構(gòu)出的3通道單顏色彩色圖像通過減少特征維數(shù)提高了特征提取的效率。

(2) ITFA-DFL模塊能充分提取混凝土圖像的特征，增強(qiáng)了特征提取的魯棒性。GS-SVM分類器能有效解決CNN提取特征時出現(xiàn)過擬合對分類結(jié)果的影響，相比于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)與SVM分類器，GS-SVM對9類混凝土圖像的分類效果更佳，取得了92.63%的分類準(zhǔn)確率。

(3) 網(wǎng)格搜索算法的參數(shù)尋優(yōu)過程需要花費(fèi)較長時間，降低了分類效率，通過采用PCA降維加快處理速度，結(jié)果表明主成分貢獻(xiàn)率為50%時，大大縮短分類時間的同時也取得了最高的分類精度。

本文在3通道分離重構(gòu)的基礎(chǔ)上，利用ITFA-DFL模塊提取特征對9類混凝土圖像進(jìn)行分類，使用機(jī)器學(xué)習(xí)方法為混凝土的配比識別問題提供了新的思路，進(jìn)而促進(jìn)了工業(yè)廢棄混凝土材料的高效回收利用。

[1] 莊詩雨, 歐陽東. 中美普通混凝土配比設(shè)計方法的系統(tǒng)比較和研究[J]. 硅酸鹽通報, 2016, 35(11): 3499-3510.

ZHUANG S Y, OUYANG D. Research and comparison on mix proportion design methods of ordinary concrete in China and USA[J]. Bulletin of the Chinese Ceramic Society, 2016, 35(11): 3499-3510 (in Chinese).

[2] 魯?shù)? 無模型自適應(yīng)控制方法在圖像識別中的應(yīng)用[D]. 北京: 北京交通大學(xué), 2019.

LU D. Application of model-free adaptive control method in image recognition[D]. Beijing: Beijing Jiaotong University, 2019 (in Chinese).

[3] 霍福翠. 新型復(fù)合保溫混凝土砌塊配比設(shè)計研究[J]. 山西建筑, 2020, 46(14): 111-113.

HUO F C. The study of proportioning design of new composite insulation concrete block[J]. Shanxi Architecture, 2020, 46(14): 111-113 (in Chinese).

[4] 馮城鐵. 耐久性混凝土配合比設(shè)計[J]. 四川水泥, 2019(6): 75.

FENG C T. Durable concrete mix design[J]. Sichuan Cement, 2019(6): 75 (in Chinese).

[5] 程嵐. 雙摻秸稈灰鋼渣綠色混凝土配合比設(shè)計及性能研究[D]. 張家口: 河北建筑工程學(xué)院, 2019.

CHENG L. Design and performance study of green concrete with double straw ASH and steel slag[D]. Zhangjiakou: Hebei University of Architecture, 2019 (in Chinese).

[6] ZHOU S L, SONG W. Deep learning–based roadway crack classification with heterogeneous image data fusion[J]. Structural Health Monitoring, 2021, 20(3): 1274-1293.

[7] 張麗秀, 田甜, 王俊海. 基于SVM混凝土電鏡圖像類型識別[J]. 沈陽建筑大學(xué)學(xué)報: 自然科學(xué)版, 2020, 36(1): 148-154.

ZHANG L X, TIAN T, WANG J H. Image recognition based on SVM concrete electron microscope image[J]. Journal of Shenyang Jianzhu University: Natural Science, 2020, 36(1): 148-154 (in Chinese).

[8] 鄭杭州. 高性能混凝土配合比設(shè)計及其存在的問題研究[J]. 四川水泥, 2019(3): 82.

ZHENG H Z. Study on mixture design and existing problems of high performance concrete[J]. Sichuan Cement, 2019(3): 82 (in Chinese).

[9] HUANG Z H, WANG Z C, ZHANG J, et al. Image enhancement with the preservation of brightness and structures by employing contrast limited dynamic quadri-histogram equalization[J]. Optik, 2021, 226: 165877.

[10] 沈盼盼, 樊豐, 伍瑞卿. 基于RGB三通道分離的運(yùn)動目標(biāo)檢測方法[J]. 電視技術(shù), 2012, 36(3): 137-140.

SHEN P P, FAN F, WU R Q. Moving object detection based on separating three-channel and background subtraction[J]. Video Engineering, 2012, 36(3): 137-140 (in Chinese).

[11] LEE G, LEE S J, LEE C. A convolutional neural network model for abnormality diagnosis in a nuclear power plant[J]. Applied Soft Computing, 2020, 99: 106874.

[12] 陳小芳, 于鳳芹, 陳瑩. 改進(jìn)MB-LBP特征與LBP算法在帶鋼表面缺陷識別上的應(yīng)用[J]. 傳感器與微系統(tǒng), 2020, 39(4): 156-160.

CHEN X F, YU F Q, CHEN Y. Application of improved MB-LBP features and LBP algorithm in strip surface defect identification[J]. Transducer and Microsystem Technologies, 2020, 39(4): 156-160 (in Chinese).

[13] VAPNIK V N. The nature of statistical learning theory[M]. New York: Springer, 1995: 133-137.

[14] 徐瑤, 李栓, 韓英華. 基于CNN-GS-SVM的用戶異常用電行為檢測[EB/OL]. [2021-02-21]. https://doi.org/10.14107/j. cnki.kzgc.20190655.

XU Y, LI S, HAN Y H. Abnormal Behavior Detection of Electric User Based on CNN-GS-SVM Classifier[EB/OL]. [2021-02-21]. https://doi.org/10.14107/j.cnki.kzgc.20190655 (in Chinese).

[15] SILWAL R, ALSADOON A, PRASAD P W C, et al. A novel deep learning system for facial feature extraction by fusing CNN and MB-LBP and using enhanced loss function[J]. Multimedia Tools and Applications, 2020, 79(1): 1-21.

Research on concrete image classification based on three-channel separation feature fusion and support vector machine

ZHANG Cheng1, HOU Yu-chao2, JIAO Yu-qian1, BAI Yan-ping1, LI Jian-jun1

(1. School of Science, North University of China, Taiyuan Shanxi 030051, China; 2. School of Information and Communication Engineering, North University of China, Taiyuan Shanxi 030051, China)

The different mix ratios of concrete determine the performance of the material. The research on the classification of concrete images with various mix ratios and particle sizes is conducive to the efficient recycling of industrial waste concrete. In order to improve the classification effect, a new feature extraction module—image texture feature aided deep learning feature (ITFA-DLF) was proposed. This module employed convolution on the R, G, and B channels reconstructed from image separation and reconstruction. Convolutional neural network (CNN) extracted the color features of the three-channel image, utilized the multi-block local binary pattern (MB-LBP) to extract the texture features of the three-channel image, and merged the two features and input them into the support vector machine (SVM) optimized by the grid search (GS) algorithm for classification. Experiments with concrete images were adopted to compare various classification methods. It is concluded that the model proposed can produce the best effect. The recognition rate of nine types of images has reached more than 92%, and the classification time was shortened while ensuring the classification accuracy, and the classification efficiency of the concrete image was improved, which verified the effectiveness of the proposed method.

concrete image; convolutional neural network; multi-block local binary pattern;feature fusion; support vector machine

TP 183

10.11996/JG.j.2095-302X.2021060917

A

2095-302X(2021)06-0917-07

2021-03-10；

2021-05-10

國家自然科學(xué)基金項(xiàng)目(61774137)；山西省自然科學(xué)基金項(xiàng)目(201801D121026)

張 成(1996-)，男，山西太原人，碩士研究生。主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、數(shù)字圖像處理與模式識別。E-mail：1328245652@qq.com

白艷萍(1962-)，女，山西太原人，教授，博士。主要研究方向?yàn)楝F(xiàn)代優(yōu)化理論與方法、神經(jīng)網(wǎng)絡(luò)算法及應(yīng)用研究等。E-mail：baiyp666@163.com

10 March，2021；

10May，2021

National Natural Science Foundation of China (61774137); Shanxi Provincial Natural Science Foundation of China (201801D121026)

ZHANG Cheng (1996-), male, master student. His main research interests cover machine learning，digital image processing and pattern recognition. E-mail：1328245652@qq.com

BAI Yan-ping (1962-), female, professor, Ph.D. Her main research interests cover modern optimization theory and method, neural network algorithm and application research, etc. E-mail：baiyp666@163.com