多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選

封 筠，趙 穎，畢健康，賴(lài)柏江，胡晶晶

多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選

封 筠1，趙 穎1，畢健康1，賴(lài)柏江1，胡晶晶2

(1. 石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043；2.北京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100081)

如何快速準(zhǔn)確地識(shí)別與評(píng)估瀝青路面裂縫病害，已成為路面養(yǎng)護(hù)和保障道路安全的重要任務(wù)之一。實(shí)際采集路面圖像中往往存在大量的非裂縫圖像，在保證裂縫圖像無(wú)漏篩的前提下，盡可能提高裂縫圖像的精確率與非裂縫圖像的真負(fù)例率，則對(duì)于降低人工篩選的工作強(qiáng)度，以及后續(xù)裂縫自動(dòng)分割與病害損壞程度評(píng)估具有重要實(shí)際意義。故此，提出了一種多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像篩選方法，由訓(xùn)練、微調(diào)與驗(yàn)證三階段構(gòu)成，利用微調(diào)集獲得softmax層輸入微調(diào)增量。為避免裂縫圖像召回率增加與精確率下降的問(wèn)題，在對(duì)比不同卷積神經(jīng)網(wǎng)絡(luò)篩除的非裂縫圖像異同基礎(chǔ)上，采用改進(jìn)AlexNet作為一級(jí)篩選網(wǎng)絡(luò)，VGG16或ResNet50作為二、三級(jí)篩選網(wǎng)絡(luò)的層次化處理模型。對(duì)于含噪聲及復(fù)雜路面圖像測(cè)試集的實(shí)驗(yàn)結(jié)果表明，三級(jí)層次化篩選模型能在100%召回裂縫圖像時(shí)，達(dá)到高的真負(fù)例率及準(zhǔn)確率。與其他方法的對(duì)比實(shí)驗(yàn)表明，所提方法可有效解決瀝青路面裂縫圖像漏篩問(wèn)題，且具有更好的檢測(cè)效果。

瀝青路面圖像；裂縫篩選；卷積神經(jīng)網(wǎng)絡(luò)；softmax層微調(diào)；多級(jí)網(wǎng)絡(luò)

隨著我國(guó)運(yùn)輸行業(yè)的完善和公路系統(tǒng)的健全，交通流量迅速增長(zhǎng)，如何有效地監(jiān)測(cè)和保障公路系統(tǒng)的正常運(yùn)轉(zhuǎn)受到了人們的密切關(guān)注，如何快速準(zhǔn)確地識(shí)別出路面裂縫已成為道路養(yǎng)護(hù)的重要任務(wù)之一。

近年來(lái)，基于計(jì)算機(jī)視覺(jué)技術(shù)的路面裂縫檢測(cè)與識(shí)別逐漸成為該領(lǐng)域的研究熱點(diǎn)。最初，采用傳統(tǒng)的圖像處理方法對(duì)路面裂縫進(jìn)行檢測(cè)。馬常霞等[1]利用分?jǐn)?shù)階微分對(duì)路面圖像中裂縫信息進(jìn)行增強(qiáng)，并通過(guò)圖像形態(tài)學(xué)法對(duì)路面裂縫進(jìn)行檢測(cè)。靳華中等[2]采用梯度方向直方圖得到裂縫的邊緣信息，再結(jié)合改進(jìn)的分水嶺算法實(shí)現(xiàn)路面裂縫的識(shí)別。盧紫微等[3]提取路面圖像的局部熵、灰度和紋理并進(jìn)行特征融合，利用支持向量機(jī)(support vector machine，SVM)分類(lèi)器實(shí)現(xiàn)路面裂縫的二分類(lèi)。邱延峻等[4]對(duì)三維路面圖像在4個(gè)方向的裂縫截圖進(jìn)行融合與去噪，根據(jù)路面粗糙度及高斯分布特征來(lái)實(shí)現(xiàn)路面裂縫的檢測(cè)。譚衛(wèi)雄等[5]在人工蜂群算法中融入自適應(yīng)因子，并與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，用于實(shí)現(xiàn)瀝青路面路表裂縫的識(shí)別。但是，由于路面圖像中的裂縫具有與背景差異小、對(duì)比度低且尺度變化大等特點(diǎn)，致使傳統(tǒng)經(jīng)典圖像處理方法在識(shí)別精度與魯棒性方面受限。

為了進(jìn)一步提升數(shù)據(jù)的處理效率和識(shí)別性能，近年來(lái)有些學(xué)者開(kāi)始探索利用深度學(xué)習(xí)方法解決路面裂縫的檢測(cè)與識(shí)別任務(wù)。趙任華[6]在研究不同的訓(xùn)練樣本和卷積核對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別精度影響的基礎(chǔ)上，提出了兩階段的卷積神經(jīng)網(wǎng)絡(luò)路面裂縫檢測(cè)方法。GOPALAKRISHNAN等[7]基于遷移學(xué)習(xí)利用預(yù)訓(xùn)練的VGG-16 DCNN模型對(duì)路面裂縫進(jìn)行檢測(cè)，該方法雖然在一定程度上提高了裂縫識(shí)別的準(zhǔn)確率，但仍未能學(xué)會(huì)從路面的接縫中區(qū)分裂縫。沙愛(ài)民等[8]搭建了3個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)路面圖像進(jìn)行訓(xùn)練，分別用來(lái)識(shí)別路面病害圖像、提取裂縫特征和坑槽特征。ZHANG等[9]提出了一種遞歸神經(jīng)網(wǎng)絡(luò)對(duì)三維瀝青路面裂縫進(jìn)行檢測(cè)的方法，以實(shí)現(xiàn)序列生成和序列建模兩階段處理。李剛等[10]結(jié)合低秩核與組卷積，提出了一種交錯(cuò)低秩組卷積混合深度網(wǎng)絡(luò)的混凝土路面裂縫檢測(cè)算法。侯越等[11]在對(duì)比不同的數(shù)據(jù)增強(qiáng)方法基礎(chǔ)上，提出了卷積自編碼預(yù)訓(xùn)練深度聚類(lèi)算法，用于實(shí)現(xiàn)路面圖像的無(wú)標(biāo)注識(shí)別。

上述研究在一定程度上實(shí)現(xiàn)了路面圖像中有無(wú)裂縫的分類(lèi)，但仍存在較高的裂縫圖像漏篩情況。在實(shí)際應(yīng)用環(huán)境中，對(duì)于由道路綜合檢測(cè)車(chē)所采集的瀝青路面圖像，裂縫圖像僅僅占少部分而大多數(shù)圖像為正常路面，若能保證在裂縫圖像無(wú)漏篩的前提下盡可能多地篩除非裂縫正常圖像，則不僅可以大大降低人工篩選的工作強(qiáng)度，而且將為裂縫全自動(dòng)識(shí)別中的后期裂縫分割與量化分析奠定基礎(chǔ)。

本文在研究不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)在路面裂縫圖像篩選分類(lèi)的基礎(chǔ)上，通過(guò)觀察對(duì)比不同網(wǎng)絡(luò)所篩除的非裂縫圖像的異同，提出了一種多級(jí)層次化卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像篩選方法，由訓(xùn)練、微調(diào)與驗(yàn)證3階段構(gòu)成。道路綜合檢測(cè)車(chē)所采集的瀝青路面圖像首先需要經(jīng)過(guò)灰度校正、圖像分塊、歸一化與數(shù)據(jù)增強(qiáng)等預(yù)處理。在模型構(gòu)建時(shí)，訓(xùn)練階段分別學(xué)習(xí)不同卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)，對(duì)于裂縫圖像存在漏篩的網(wǎng)絡(luò)，應(yīng)在微調(diào)階段利用微調(diào)集對(duì)網(wǎng)絡(luò)的softmax層的輸入值進(jìn)行調(diào)整，以達(dá)到裂縫圖像被全部召回的目的。由于在微調(diào)softmax層時(shí)，隨著裂縫圖像召回率的增加，其精確率會(huì)有所下降，所以為了篩除更多的非裂縫圖像，本文采用三級(jí)層次化卷積神經(jīng)網(wǎng)絡(luò)的裂縫圖像篩選處理過(guò)程。針對(duì)含噪聲及復(fù)雜路面圖像的實(shí)驗(yàn)結(jié)果表明，若采用改進(jìn)AlexNet作為一級(jí)篩選網(wǎng)絡(luò)，以及VGG16或ResNet50作為二級(jí)或三級(jí)篩選網(wǎng)絡(luò)，則不僅能夠有效解決路面裂縫圖像漏篩的問(wèn)題，而且可以達(dá)到級(jí)聯(lián)模型中最好性能，即具有高的真負(fù)例率與準(zhǔn)確率，以及低的圖像篩選檢測(cè)時(shí)間。

1 圖像采集與預(yù)處理

1.1 圖像采集

在路面裂縫篩選網(wǎng)絡(luò)模型構(gòu)建之前，主要工作是數(shù)據(jù)集的建立與圖像的預(yù)處理。本文通過(guò)道路綜合檢測(cè)車(chē)(圖1)的后側(cè)置攝像機(jī)對(duì)某高速公路的瀝青路面圖像進(jìn)行采集，為避免拍攝角度等干擾，保持拍攝設(shè)備與路面的距離不變。圖2列舉了部分瀝青路面圖像，其像素尺寸為1612×1841。

圖1 道路綜合檢測(cè)車(chē)

圖2 瀝青路面圖像示例((a)裂縫路面圖像；(b)非裂縫路面圖像)

1.2 圖像灰度校正

由于光照的影響，所采集的路面圖像在豎直方向上亮度分布不均勻，其不同位置上的裂縫可能會(huì)表現(xiàn)出不同的灰度均值，若直接放入分類(lèi)網(wǎng)絡(luò)中訓(xùn)練，對(duì)裂縫特征的提取會(huì)有所影響。因此，本文采用灰度校正法[12]，對(duì)路面圖像進(jìn)行預(yù)處理，存儲(chǔ)和保留車(chē)道線位置信息。具體方法如下：

(1) 計(jì)算圖像(×)中每列的灰度均值，保存在數(shù)組中，并計(jì)算的均值avg。

(2) 將車(chē)道線在圖像中的位置及像素值記錄在數(shù)組中，并用avg代替車(chē)道線處像素值。

(3) 計(jì)算每列的灰度校正系數(shù)和灰度均值偏離整體灰度均值的程度，即

(4) 非車(chē)道線像素點(diǎn)的灰度值按式(2)進(jìn)行校正，縮小不同列之間的灰度值差距，使圖像整體灰度分布更加均勻，車(chē)道線像素點(diǎn)則恢復(fù)為原來(lái)灰度值，即

由圖3灰度校正前后的圖像對(duì)比可見(jiàn)，在灰度校正后裂縫被保留下來(lái)的同時(shí)車(chē)轍印被消除或明顯減少，圖像灰度值分布更均勻，并且對(duì)于不垂直的傾斜圖像處理仍然有效。

圖3 圖像灰度校正((a)原始圖像；(b)灰度校正后的圖像)

1.3 圖像分塊

由于道路綜合檢測(cè)車(chē)所采集的路面圖像中大部分為非裂縫圖像，所以為避免樣本嚴(yán)重的不平衡問(wèn)題，除自行采集圖像外還引入了德國(guó)瀝青路面病害(GAPs)數(shù)據(jù)集[11,13]，其提供了1 969幅像素尺寸為1920×1080的灰度圖像，包括裂縫、凹坑等類(lèi)型的病害。GAPs384數(shù)據(jù)集是GAPs的子集，只含裂縫病害的數(shù)據(jù)，本文選取281幅像素尺寸為540×640的路面圖像及228幅像素尺寸為540×440的路面圖像。

考慮到自行采集的圖像數(shù)據(jù)與GAPs384數(shù)據(jù)集中的像素尺寸差別較大，本文按照6×6對(duì)自行采集的路面圖像進(jìn)行分塊，每個(gè)圖像塊(patch)大小為268×306；按照2×2對(duì)GAPs384數(shù)據(jù)集中的路面圖像進(jìn)行分塊，得到的圖像塊大小分別為270×320和270×220。自行采集的路面圖像分塊如圖4(a)所示，GAPs384數(shù)據(jù)集中像素尺寸為540×640的路面圖像分塊如圖4(b)所示。

圖4 圖像分塊示例((a)自行采集的數(shù)據(jù)集；(b) GAPs384數(shù)據(jù)集)

在分塊后，按照1∶2的比例由自行采集數(shù)據(jù)和GAPs384數(shù)據(jù)集來(lái)構(gòu)成本文所使用的路面圖像數(shù)據(jù)集，其中包含1 700幅裂縫圖像和2 033幅非裂縫圖像，將其劃分為訓(xùn)練集、微調(diào)集、驗(yàn)證集和測(cè)試集，分別用于訓(xùn)練階段、softmax層微調(diào)階段、多級(jí)篩選階段以及模型性能測(cè)試，其中來(lái)自GAPs384數(shù)據(jù)集的圖像塊只用作訓(xùn)練與測(cè)試。訓(xùn)練集、微調(diào)集、驗(yàn)證集和測(cè)試集兩兩之間沒(méi)有重疊的圖像數(shù)據(jù)，第4節(jié)將給出每個(gè)圖像子集的說(shuō)明。

另外，為滿足卷積神經(jīng)網(wǎng)絡(luò)模型輸入要求，應(yīng)對(duì)圖像塊進(jìn)行尺寸歸一化處理，例如在輸入VGG16網(wǎng)絡(luò)之前需要將圖像塊處理為224×224大小。為增加數(shù)據(jù)的多樣性和提高模型的魯棒性，本文對(duì)訓(xùn)練集與微調(diào)集進(jìn)行了翻轉(zhuǎn)、高斯模糊和對(duì)比度增強(qiáng)等數(shù)據(jù)增強(qiáng)處理。

2 卷積神經(jīng)網(wǎng)絡(luò)

近年來(lái)，AlexNet，VGG16和ResNet50[14]作為典型的卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于圖像識(shí)別領(lǐng)域，取得了良好的效果。本文分別采用改進(jìn)AlexNet[15]，VGG16和ResNet50作為骨干網(wǎng)絡(luò)，對(duì)路面圖像進(jìn)行特征提取，實(shí)現(xiàn)有無(wú)裂縫的分類(lèi)。VGG16和ResNet50網(wǎng)絡(luò)是基于遷移學(xué)習(xí)進(jìn)行訓(xùn)練，即在ImageNet預(yù)訓(xùn)練好的模型上進(jìn)行微調(diào)，可有效避免訓(xùn)練樣本過(guò)少而產(chǎn)生的欠擬合問(wèn)題。

2.1 改進(jìn)AlexNet網(wǎng)絡(luò)

相較于最初提出的AlexNet網(wǎng)絡(luò)，本文所采用的改進(jìn)AlexNet網(wǎng)絡(luò)具有更少的網(wǎng)絡(luò)層數(shù)和計(jì)算參數(shù)，同時(shí)具有更快的模型訓(xùn)練速度和更高的識(shí)別精度[15]。該網(wǎng)絡(luò)由3個(gè)卷積模塊和3個(gè)全連接層組成，卷積核大小為11×11和5×5。不同于最初的AlexNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)去掉了最后2個(gè)卷積層，并在前2個(gè)卷積層之后均加入Batch Normalization處理。改進(jìn)的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 VGG16網(wǎng)絡(luò)

VGG16網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，由5個(gè)卷積模塊和3個(gè)全連接層組成，每個(gè)卷積模塊具有2個(gè)或3個(gè)卷積核大小為3×3的卷積層和1個(gè)最大池化層。相較于傳統(tǒng)的淺層網(wǎng)絡(luò)，VGG16通過(guò)采用多層小卷積核(3×3)代替1個(gè)大卷積核，減少了參數(shù)的增長(zhǎng)，且較深的網(wǎng)絡(luò)結(jié)構(gòu)使其具有更豐富的特征和更強(qiáng)的辨別能力[16]。

圖6 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

2.3 ResNet50網(wǎng)絡(luò)

深度殘差ResNet網(wǎng)絡(luò)通過(guò)引入殘差單元，解決了網(wǎng)絡(luò)層數(shù)增加所帶來(lái)的梯度消失和網(wǎng)絡(luò)性能退化的問(wèn)題[14]。殘差單元利用恒等映射將網(wǎng)絡(luò)設(shè)計(jì)為()=()+，其結(jié)構(gòu)如圖7(a)所示，其中表示輸入，()表示殘差函數(shù)，可被轉(zhuǎn)換為學(xué)習(xí)一個(gè)殘差函數(shù)()=()–，擬合殘差更加容易。ResNet50網(wǎng)絡(luò)由若干個(gè)Bottleneck模塊組成，其每個(gè)模塊具有2個(gè)殘差塊，結(jié)構(gòu)分別如圖7(b)和(c)所示，每個(gè)殘差塊由卷積核大小為1×1和3×3的卷積層組成。

(c)

3 所提出的路面裂縫篩選方法

3.1 不同卷積神經(jīng)網(wǎng)絡(luò)篩除非裂縫圖像的異同對(duì)比

實(shí)際采集的瀝青路面圖像會(huì)受到陰影、對(duì)比度低以及車(chē)轍印、車(chē)道線、灌縫修補(bǔ)、噪聲點(diǎn)等因素的干擾，不同網(wǎng)絡(luò)模型在進(jìn)行裂縫圖像篩選時(shí)對(duì)具有不同干擾的非裂縫路面圖像的識(shí)別各有差異。圖8列舉了改進(jìn)的AlexNet，VGG16和ResNet50 3種卷積神經(jīng)網(wǎng)絡(luò)所篩除的部分非裂縫圖像，以集合文氏圖形式展示。由圖8可見(jiàn)，在較光滑或含白色噪聲點(diǎn)和車(chē)轍印的非裂縫圖像的篩除上，VGG16網(wǎng)絡(luò)表現(xiàn)較好，改進(jìn)AlexNet網(wǎng)絡(luò)次之；而在含有車(chē)道線的非裂縫圖像篩除上，3個(gè)網(wǎng)絡(luò)的表現(xiàn)各有差異，其中ResNet50網(wǎng)絡(luò)擅長(zhǎng)篩除車(chē)道線占比面積較大的非裂縫圖像，VGG16網(wǎng)絡(luò)所篩除的圖像含車(chē)道線最窄，而改進(jìn)AlexNet網(wǎng)絡(luò)擅長(zhǎng)篩除圖像背景較光滑的含車(chē)道線圖像。綜上可知，不同網(wǎng)絡(luò)在非裂縫圖像的篩除上各有優(yōu)勢(shì)，存在一定的互補(bǔ)。

3.2 裂縫圖像的三階段層次化篩選過(guò)程

鑒于對(duì)不同卷積神經(jīng)網(wǎng)絡(luò)篩除非裂縫圖像的差異分析，本文提出一種多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的裂縫圖像層次化篩選方法，其工作流程如圖9所示，主要分為以下3個(gè)階段：

圖8 3種卷積神經(jīng)網(wǎng)絡(luò)篩除非裂縫圖像示例

(1) 訓(xùn)練階段。將訓(xùn)練集數(shù)據(jù)分別輸入到改進(jìn)AlexNet，VGG16和ResNet50分類(lèi)網(wǎng)絡(luò)中，進(jìn)行路面裂縫圖像的二分類(lèi)訓(xùn)練。

(2) 微調(diào)階段。調(diào)用各個(gè)已訓(xùn)練好的網(wǎng)絡(luò)模型，判斷裂縫圖像的召回率是否為100%，若是，則直接進(jìn)入驗(yàn)證階段進(jìn)行裂縫圖像篩選；否則，輸入微調(diào)集，對(duì)網(wǎng)絡(luò)softmax層的輸入值進(jìn)行微調(diào)，直至每個(gè)裂縫圖像都被召回，保存此刻的微調(diào)值。

(3) 驗(yàn)證階段。利用條件(2)中保存好的微調(diào)值，對(duì)驗(yàn)證集進(jìn)行三級(jí)網(wǎng)絡(luò)裂縫圖像層次化篩選，將一級(jí)篩選網(wǎng)絡(luò)中被識(shí)別為裂縫類(lèi)的圖像輸入到二級(jí)篩選網(wǎng)絡(luò)中進(jìn)行篩選，之后，再將二級(jí)篩選網(wǎng)絡(luò)中被識(shí)別為裂縫類(lèi)的圖像輸入到三級(jí)篩選網(wǎng)絡(luò)中進(jìn)行篩選，從而得到最終含有裂縫的瀝青路面圖像，同時(shí)對(duì)于每一級(jí)篩選網(wǎng)絡(luò)可輸出該級(jí)網(wǎng)絡(luò)識(shí)別的非裂縫類(lèi)圖像。

不同于文獻(xiàn)[6]通過(guò)采用2次不同數(shù)量訓(xùn)練樣本的訓(xùn)練過(guò)程來(lái)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的兩階段方法，本文方法在微調(diào)階段是對(duì)已訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行的，即網(wǎng)絡(luò)模型參數(shù)均不做任何改變，引入微調(diào)階段的目的是考慮到用已訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)路面圖像進(jìn)行分類(lèi)，會(huì)將部分裂縫圖像識(shí)別為非裂縫類(lèi)，從而出現(xiàn)路面裂縫圖像漏篩的情況。通過(guò)上述3個(gè)階段層次化篩選過(guò)程，可在保證裂縫圖像無(wú)漏篩的前提下，盡可能多地篩除非裂縫正常圖像。

3.3 Softmax層微調(diào)

精確率-召回率(Precision-Recall)[17]是路面裂縫分類(lèi)網(wǎng)絡(luò)中常用的評(píng)價(jià)指標(biāo)，通過(guò)對(duì)比人工標(biāo)記的裂縫圖像和網(wǎng)絡(luò)檢測(cè)得到的裂縫圖像數(shù)量，計(jì)算出裂縫圖像的精確率和召回率，從而反映出算法的準(zhǔn)確性和全面性。為了解決分類(lèi)過(guò)程中所出現(xiàn)的裂縫路面圖像的漏篩問(wèn)題，本文利用微調(diào)數(shù)據(jù)，通過(guò)微調(diào)softmax層的輸入值對(duì)裂縫圖像的精確率和召回率進(jìn)行調(diào)節(jié)，從而達(dá)到裂縫圖像被完全召回的目的。

若訓(xùn)練階段獲得的網(wǎng)絡(luò)模型不能召回微調(diào)集中的全部裂縫圖像，則采用softmax激活函數(shù)對(duì)最后一個(gè)全連接層的輸出進(jìn)行概率微調(diào)計(jì)算。由于采用的是對(duì)路面圖像進(jìn)行有無(wú)裂縫篩選的二分類(lèi)網(wǎng)絡(luò)，所以softmax層對(duì)應(yīng)2個(gè)輸入值記作0和1，分別代表裂縫類(lèi)圖像(crack)和非裂縫類(lèi)圖像(non_crack)，當(dāng)0>1時(shí)，所輸入的圖像類(lèi)別為裂縫類(lèi)，否則為非裂縫類(lèi)。若softmax層最終輸出記作[0,1]∈(0,1)，則softmax層的計(jì)算為

為了實(shí)現(xiàn)路面裂縫圖像的全部召回，本文采用調(diào)節(jié)裂縫類(lèi)所對(duì)應(yīng)的0值大小的方法。當(dāng)增加0值時(shí)，裂縫類(lèi)的召回率將增加，但準(zhǔn)確率有所下降。0的微調(diào)增量Δ0計(jì)算式為

其中，為每次調(diào)節(jié)時(shí)0所增加的值；為0值調(diào)節(jié)的次數(shù)，本文將的值設(shè)為0.1。

0經(jīng)過(guò)微調(diào)后的值為0new，其計(jì)算式為

Softmax層微調(diào)結(jié)構(gòu)如圖10所示。

圖9 多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選流程圖

Fig. 9 Flow chart of asphalt pavement crack image hierarchical filtering based on multi-level convolution neural network

圖10 Softmax層微調(diào)

當(dāng)微調(diào)集中的全部裂縫圖像被召回時(shí)，微調(diào)增量Δ0即被確定，該值在驗(yàn)證及測(cè)試時(shí)不再發(fā)生變化，而是作為固定值去修正softmax層的輸入值0，進(jìn)而獲得微調(diào)后的0new值。微調(diào)集的樣本分布應(yīng)盡可能豐富，可選擇部分與驗(yàn)證集或測(cè)試集同分布的樣本，當(dāng)然一定要保證微調(diào)集與驗(yàn)證集及測(cè)試集沒(méi)有相同的樣本。在網(wǎng)絡(luò)模型用于真實(shí)篩選的工程實(shí)際任務(wù)時(shí)，微調(diào)集的選取可以來(lái)自道路綜合檢測(cè)車(chē)所采集道路的少量標(biāo)注樣本。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)硬件平臺(tái)為Intel(R) Xeon(R) CPU E5-2678 30 GB，NVIDIA GeForceTX1080Ti×4 11 GB，編程語(yǔ)言為Python3.6。

4.1 評(píng)價(jià)指標(biāo)

為評(píng)價(jià)分類(lèi)網(wǎng)絡(luò)模型在路面裂縫篩選中的有效性，本文選取精確率()、召回率()、真負(fù)例率()、準(zhǔn)確率()和1值作為評(píng)價(jià)指標(biāo)，其計(jì)算式分別為

其中，為裂縫圖像樣本中被正確識(shí)別的樣本數(shù)量；為非裂縫圖像樣本中被錯(cuò)誤識(shí)別為裂縫圖像的樣本數(shù)量；為非裂縫圖像樣本中被正確識(shí)別的樣本數(shù)量；為裂縫圖像樣本中被錯(cuò)誤識(shí)別為非裂縫圖像的樣本數(shù)量。模型對(duì)非裂縫圖像的篩除能力可以用真負(fù)例率來(lái)表達(dá)。

4.2 訓(xùn)練階段路面裂縫圖像分類(lèi)實(shí)驗(yàn)

首先分別選用改進(jìn)AlexNet、VGG16和ResNet50 3種卷積神經(jīng)網(wǎng)絡(luò)對(duì)路面圖像進(jìn)行有無(wú)裂縫的分類(lèi)篩選。其中，VGG16和ResNet50網(wǎng)絡(luò)是基于遷移學(xué)習(xí)進(jìn)行訓(xùn)練的。實(shí)驗(yàn)選取1 548幅裂縫圖像和1 523幅非裂縫圖像作為訓(xùn)練集。初始學(xué)習(xí)率為1e-3，訓(xùn)練批次大小為16，VGG16和ResNet50采用Adam迭代優(yōu)化，改進(jìn)AlexNet為SGD。

3種卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的準(zhǔn)確率(acc)和損失值(loss)變化如圖11所示。隨著迭代次數(shù)的增加，3種網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率和損失值逐漸趨于平緩收斂。這里，VGG16迭代輪次置為30，改進(jìn)AlexNet和ResNet50均為100次。

4.3 Softmax層微調(diào)實(shí)驗(yàn)

單一應(yīng)用3種卷積神經(jīng)網(wǎng)絡(luò)在微調(diào)集上的實(shí)驗(yàn)結(jié)果見(jiàn)表1。實(shí)驗(yàn)選取49幅裂縫圖像和77幅非裂縫圖像作為微調(diào)集。由表1可知，VGG16網(wǎng)絡(luò)在微調(diào)集上的各項(xiàng)評(píng)價(jià)指標(biāo)中表現(xiàn)最好。

為使得裂縫圖像被全部召回，本文通過(guò)微調(diào)softmax層輸入值，以提高裂縫圖像的召回率。圖12為微調(diào)過(guò)程中召回率、精確率與真負(fù)例率的變化。由圖12可見(jiàn)，隨著微調(diào)次數(shù)增加，裂縫圖像的召回率逐漸增加而精確率逐漸減小，同時(shí)非裂縫圖像的真負(fù)例率也逐漸減小。由于VGG16對(duì)裂縫圖像的召回率達(dá)到了100%，所以不需要對(duì)該網(wǎng)絡(luò)進(jìn)行微調(diào)，即微調(diào)值Δ0=0。若令改進(jìn)AlexNet網(wǎng)絡(luò)達(dá)到對(duì)裂縫圖像的100%召回率，則需要進(jìn)行29次微調(diào)，即微調(diào)值Δ0=2.9。若令ResNet50網(wǎng)絡(luò)達(dá)到對(duì)裂縫圖像的100%召回率，則需要進(jìn)行52次微調(diào)，即微調(diào)值Δ0=5.2。

表1 3種卷積神經(jīng)網(wǎng)絡(luò)路面裂縫圖像分類(lèi)結(jié)果對(duì)比(%)

表2顯示了3種卷積神經(jīng)網(wǎng)絡(luò)在softmax層微調(diào)后的實(shí)驗(yàn)結(jié)果與softmax層的均微調(diào)時(shí)間。其中，均微調(diào)時(shí)間指總的微調(diào)時(shí)間與微調(diào)集總量之比。通過(guò)比較表1和表2可知，微調(diào)后所有網(wǎng)絡(luò)的裂縫圖像被全部召回，VGG16網(wǎng)絡(luò)的裂縫圖像精確率以及非裂縫圖像的真負(fù)例率均是最高，改進(jìn)AlexNet網(wǎng)絡(luò)相對(duì)ResNet50在微調(diào)時(shí)間上花費(fèi)要少。

表2 Softmax層微調(diào)后結(jié)果對(duì)比

4.4 級(jí)聯(lián)結(jié)構(gòu)驗(yàn)證實(shí)驗(yàn)

為了驗(yàn)證本文方法的有效性，實(shí)驗(yàn)中利用微調(diào)好的分類(lèi)網(wǎng)絡(luò)進(jìn)行不同網(wǎng)絡(luò)的級(jí)聯(lián)，即分別對(duì)2種網(wǎng)絡(luò)以及3種網(wǎng)絡(luò)級(jí)聯(lián)進(jìn)行層次化篩選。選取10幅裂縫圖像和15幅非裂縫圖像作為驗(yàn)證集。實(shí)驗(yàn)結(jié)果見(jiàn)表3，這里用A表示改進(jìn)AlexNet，R表示ResNet50，V表示VGG16，A_R_V則表示3個(gè)網(wǎng)絡(luò)級(jí)聯(lián)的先后順序。

表3 級(jí)聯(lián)結(jié)構(gòu)的驗(yàn)證實(shí)驗(yàn)結(jié)果對(duì)比

由表3可得出：

(1) 由于softmax層微調(diào)的作用，所以給出的所有網(wǎng)絡(luò)模型對(duì)于驗(yàn)證集中的裂縫圖像召回率均達(dá)到100%，即裂縫圖像無(wú)漏篩；

(2) 采用2種網(wǎng)絡(luò)的級(jí)聯(lián)模型的精確率、真負(fù)例率與準(zhǔn)確率均好于2種網(wǎng)絡(luò)中的任意單一網(wǎng)絡(luò)，同樣3種網(wǎng)絡(luò)級(jí)聯(lián)模型性能均好于任意2種網(wǎng)絡(luò)級(jí)聯(lián)模型，3種網(wǎng)絡(luò)級(jí)聯(lián)模型的真負(fù)例率達(dá)到93.3%，即93.3%的非裂縫圖像均能被正確篩除；

(3) 在不同網(wǎng)絡(luò)級(jí)聯(lián)時(shí)，級(jí)聯(lián)的順序(即網(wǎng)絡(luò)篩選的級(jí)別)不會(huì)影響最終是否裂縫圖像的篩選結(jié)果，而不同的級(jí)聯(lián)順序僅僅影響圖像篩選的時(shí)間。當(dāng)改進(jìn)AlexNet網(wǎng)絡(luò)作為第一級(jí)篩選網(wǎng)絡(luò)時(shí)，所花費(fèi)的篩選時(shí)間要少，例如A_R_V級(jí)聯(lián)網(wǎng)絡(luò)的單幅圖像的均驗(yàn)證時(shí)間僅是V_R_A的57.1%。

因此，可選取真負(fù)例率、準(zhǔn)確率等評(píng)價(jià)指標(biāo)最高且篩選時(shí)間相對(duì)較短的一種網(wǎng)絡(luò)級(jí)聯(lián)方法作為最終的網(wǎng)絡(luò)級(jí)聯(lián)模型(A_R_V 或A_V_R)。

4.5 裂縫圖像層次篩選測(cè)試實(shí)驗(yàn)

4.5.1 不同復(fù)雜程度路面圖像的測(cè)試

考慮到本文自行采集的數(shù)據(jù)集具有不同的干擾和噪聲，因此需要測(cè)試網(wǎng)絡(luò)模型對(duì)于不同復(fù)雜程度的數(shù)據(jù)集的性能。本文選取2種復(fù)雜程度圖像進(jìn)行裂縫圖像的篩選，分別記作含噪聲路面圖像和復(fù)雜路面圖像，圖13為2種路面圖像示例。含噪聲路面圖像涉及含白色噪聲點(diǎn)和表面較光滑的圖像，復(fù)雜路面圖像是指不僅含噪聲而且包括車(chē)轍印、車(chē)道線等干擾的路面圖像。

圖13 測(cè)試集路面圖像示例((a)含噪聲路面圖像；(b)復(fù)雜路面圖像)

4.5.1.1 含噪聲路面圖像的測(cè)試

測(cè)試集中含噪聲路面圖像共包括10幅裂縫圖像和212幅非裂縫圖像。實(shí)驗(yàn)中分別采用不同的網(wǎng)絡(luò)模型進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果見(jiàn)表4。由表4可得出：

(1) 給出的所有網(wǎng)絡(luò)模型對(duì)于裂縫圖像的召回率均能達(dá)到100%；

(2) 3種網(wǎng)絡(luò)級(jí)聯(lián)模型評(píng)價(jià)性能要好于2種網(wǎng)絡(luò)級(jí)聯(lián)，2種網(wǎng)絡(luò)級(jí)聯(lián)要好于單一網(wǎng)絡(luò)模型。3種網(wǎng)絡(luò)級(jí)聯(lián)模型的真負(fù)例率及準(zhǔn)確率均達(dá)到98.6%；

(3) 與驗(yàn)證實(shí)驗(yàn)相同，3種網(wǎng)絡(luò)級(jí)聯(lián)的順序不影響網(wǎng)絡(luò)評(píng)價(jià)性能，且A_V_R和A_R_V網(wǎng)絡(luò)級(jí)聯(lián)模型的篩選時(shí)間最短，僅為V_R_A的32.0%。

4.5.1.2 復(fù)雜路面圖像的測(cè)試

測(cè)試集中復(fù)雜路面圖像包括13幅裂縫圖像和310幅非裂縫圖像，實(shí)驗(yàn)結(jié)果見(jiàn)表5。顯然，由表5可得出與表4相似的結(jié)論，只是3種網(wǎng)絡(luò)級(jí)聯(lián)模型的性能均低于含噪聲路面測(cè)試圖像，如真負(fù)例率為93.5%，準(zhǔn)確率為93.8%，這主要是由于路面圖像更復(fù)雜(即含有更多干擾因素)時(shí)會(huì)加大篩選的難度。

表5 復(fù)雜路面圖像測(cè)試結(jié)果對(duì)比

4.5.2 與其他方法對(duì)比

為了進(jìn)一步驗(yàn)證本文所提方法的有效性，與傳統(tǒng)方法及近期文獻(xiàn)中給出的深度學(xué)習(xí)方法(ASINVOS[13]，DRSN[18])進(jìn)行比較，其中傳統(tǒng)方法采用局部二值模式(local binary pattern，LBP)提取特征及SVM進(jìn)行篩選分類(lèi)。選用GAPs384數(shù)據(jù)集中不同于訓(xùn)練集的圖像作為測(cè)試樣本，各種方法所用的訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)均對(duì)應(yīng)一致。由表6的實(shí)驗(yàn)結(jié)果可知，雖然DRSN方法的精確率達(dá)到了68.1%，但是其裂縫召回率僅為80.0%；本文方法的裂縫圖像召回率可達(dá)100%，并且1值與準(zhǔn)確率最高，分別高出LBP+SVM方法32.0%與24.5%，高出ASINVOS方法16.0%與7.8%，高出DRSN方法4.9%與1.2%，能在保證全部召回裂縫圖像的前提下得到更好的檢測(cè)效果。

表6 不同裂縫檢測(cè)方法結(jié)果對(duì)比(%)

5 結(jié) 論

如何從道路綜合檢測(cè)車(chē)采集的大量瀝青路面圖像中全部自動(dòng)篩選出裂縫圖像的同時(shí)，并盡可能降低錯(cuò)誤篩選出非裂縫圖像比例，為路面病害自動(dòng)檢測(cè)提供前期技術(shù)支撐，對(duì)于公路養(yǎng)護(hù)信息化建設(shè)具有現(xiàn)實(shí)意義。本文提出了一種多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫圖像層次化篩選方法，最終可選取A_V_R或A_R_V網(wǎng)絡(luò)級(jí)聯(lián)方法作為本文的網(wǎng)絡(luò)模型的級(jí)聯(lián)順序，即一級(jí)篩選網(wǎng)絡(luò)采用改進(jìn)AlexNet，二級(jí)與三級(jí)可為VGG16或ResNet50網(wǎng)絡(luò)。所提出的3個(gè)階段層次化篩選模型構(gòu)建過(guò)程中，首先在訓(xùn)練階段分別學(xué)習(xí)3種網(wǎng)絡(luò)模型，然后通過(guò)對(duì)網(wǎng)絡(luò)softmax層的微調(diào)實(shí)現(xiàn)裂縫圖像的全部召回，最后在驗(yàn)證階段進(jìn)行三級(jí)網(wǎng)絡(luò)裂縫圖像的層次化級(jí)聯(lián)篩選，測(cè)試實(shí)驗(yàn)結(jié)果表明所構(gòu)建的模型可針對(duì)不平衡的裂縫與非裂縫二分類(lèi)篩選問(wèn)題，達(dá)到了裂縫圖像基本無(wú)漏篩前提下盡可能多地篩除非裂縫圖像的目的。本文方法有效實(shí)現(xiàn)路面裂縫的自動(dòng)篩選，降低了人工篩選的工作強(qiáng)度，并為后續(xù)路面圖像裂縫自動(dòng)分割及病害損壞程度評(píng)估奠定基礎(chǔ)。

[1] 馬常霞, 趙春霞, 狄峰, 等. 自然環(huán)境下路面裂縫的識(shí)別[J]. 工程圖學(xué)學(xué)報(bào), 2011, 32(4): 20-26.

MA C X, ZHAO C X, DI F, et al. Road crack detection under natural environment[J]. Journal of Engineering Graphics, 2011, 32(4): 20-26 (in Chinese).

[2] 靳華中, 萬(wàn)方, 葉志偉. 結(jié)合路面深度影像梯度方向直方圖和分水嶺算法的裂縫檢測(cè)[J]. 華中師范大學(xué)學(xué)報(bào): 自然科學(xué)版, 2017, 51(5): 715-722.

JIN H Z, WAN F, YE Z W. Pavement crack detection fused HOG and watershed algorithm of range image[J]. Journal of Central China Normal University: Natural Sciences, 2017, 51(5): 715-722 (in Chinese).

[3] 盧紫微, 張燕, 常東超, 等. 基于多特征分析的路面裂縫檢測(cè)算法[J]. 控制工程, 2018, 25(4): 591-595.

LU Z W, ZHANG Y, CHANG D C, et al. A road crack detection algorithm based on multi-feature analysis[J]. Control Engineering of China, 2018, 25(4): 591-595 (in Chinese).

[4] 邱延峻, 王國(guó)龍, 陽(yáng)恩慧, 等. 基于多特征檢驗(yàn)的三維瀝青路面裂縫檢測(cè)[J]. 西南交通大學(xué)學(xué)報(bào), 2020, 55(3): 518-524.

QIU Y J, WANG G L, YANG E H, et al. Crack detection of 3D asphalt pavement based on multi-feature test[J]. Journal of Southwest Jiaotong University, 2020, 55(3): 518-524 (in Chinese).

[5] 譚衛(wèi)雄, 王育堅(jiān), 李深圳. 基于改進(jìn)人工蜂群算法和BP神經(jīng)網(wǎng)絡(luò)的瀝青路面路表裂縫識(shí)別[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2019, 16(12): 2991-2998.

TAN W X, WANG Y J, LI S Z. Crack identification of asphalt pavement surface based on improved artificial bee colony algorithm and BP neural network[J]. Journal of Railway Science and Engineering, 2019, 16(12): 2991-2998 (in Chinese).

[6] 趙任華. 基于兩階段卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫識(shí)別方法研究[D]. 天津: 河北工業(yè)大學(xué), 2015.

ZHAO R H. Research on pavement crack recognition method based on two-stage convolutional neural network[D]. Tianjin: Hebei University of Technology, 2015 (in Chinese).

[7] GOPALAKRISHNAN K, KHAITAN S K, CHOUDHARY A, et al. Deep convolutional neural networks with transfer learning for computer vision-based data-driven pavement distress detection[J]. Construction and Building Materials, 2017, 157: 322-330.

[8] 沙愛(ài)民, 童崢, 高杰. 基于卷積神經(jīng)網(wǎng)絡(luò)的路表病害識(shí)別與測(cè)量[J]. 中國(guó)公路學(xué)報(bào), 2018, 31(1): 1-10.

SHA A M, TONG Z, GAO J. Recognition and measurement of pavement disasters based on convolutional neural networks[J]. China Journal of Highway and Transport, 2018, 31(1): 1-10 (in Chinese).

[9] ZHANG A, WANG K C P, FEI Y, et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces with a recurrent neural network[J]. Computer-Aided Civil and Infrastructure Engineering, 2019, 34(3): 213-229.

[10] 李剛, 劉強(qiáng)偉, 萬(wàn)健, 等. 復(fù)雜背景下交錯(cuò)低秩組卷積混合深度網(wǎng)絡(luò)的路面裂縫檢測(cè)算法研究[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(14): 287-296.

LI G, LIU Q W, WAN J, et al. A novel pavement crack detection algorithm using interlaced low-rank group convolution hybrid deep network under a complex background[J]. Laser & Optoelectronics Progress, 2020, 57(14): 287-296 (in Chinese).

[11] 侯越, 陳逸涵, 顧興宇, 等. 基于卷積自編碼的瀝青路面目標(biāo)與裂縫智能識(shí)別[J]. 中國(guó)公路學(xué)報(bào), 2020, 33(10): 288-303.

HOU Y, CHEN Y H, GU X Y, et al. Automatic identification of pavement objects and cracks using the convolutional auto-encoder[J]. China Journal of Highway and Transport, 2020, 33(10): 288-303 (in Chinese).

[12] 張德津, 李清泉, 陳穎, 等. 基于空間聚集特征的瀝青路面裂縫檢測(cè)方法[J]. 自動(dòng)化學(xué)報(bào), 2016, 42(3): 443-454.

ZHANG D J, LI Q Q, CHEN Y, et al. Asphalt pavement crack detection based on spatial clustering feature[J]. Acta Automatica Sinica, 2016, 42(3): 443-454 (in Chinese).

[13] EISENBACH M, STRICKER R, SEICHTER D, et al. How to get pavement distress detection ready for deep learning? A systematic approach[C]//2017 International Joint Conference on Neural Networks (IJCNN). New York: IEEE Press, 2017: 2039-2047.

[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778.

[15] 車(chē)艷麗. 基于深度學(xué)習(xí)的路面裂縫分類(lèi)與識(shí)別技術(shù)研究與實(shí)現(xiàn)[D]. 西安: 長(zhǎng)安大學(xué), 2018.

CHE Y L. Research and implementation of pavement crack classification and recognition based on deep learning[D]. Xi’an: Changan University, 2018 (in Chinese).

[16] 常亮, 鄧小明, 周明全, 等. 圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 自動(dòng)化學(xué)報(bào), 2016, 42(9): 1300-1312.

CHANG L, DENG X M, ZHOU M Q, et al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312 (in Chinese).

[17] ZOU Q, CAO Y, LI Q Q, et al. CrackTree: automatic crack detection from pavement images[J]. Pattern Recognition Letters, 2012, 33(3): 227-238.

[18] ZHAO M H, ZHONG S S, FU X Y, et al. Deep residual shrinkage networks for fault diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

Multi-level convolutional neural network for asphalt pavement crack image hierarchical filtering

FENG Jun1, ZHAO Ying1, BI Jian-kang1, LAI Bai-jiang1, HU Jing-jing2

(1. School of Information Science and Technology, Shijiazhuang Tiedao University, Shijiazhuang Hebei 050043, China; 2. School of Computer Science and Technology, Beijing Institute of Technology, Beijing 100081, China)

The quick and accurate identification and evaluation of asphalt pavement crack disease has become one of the important tasks of pavement maintenance and road safety. There are a number of non-crack images in the actual collected pavement images. On the premise of ensuring that there is no missing filter in the crack image, it is of great practical significance to improve the precision of crack images and true negative rate of non-crack pavement images as high as possible, thus reducing the work intensity of manual filtering, as well as subsequent automatic crack segmentation and disease damage assessment. A multi-level convolutional neural network method for asphalt pavement image filtering was proposed, which consists of three stages, i.e, training, fine-tuning and validation. The input fine-tuning increment of softmax layer was obtained using fine-tuning set. In order to avoid the problem that the precision decreases when the recall of crack image increases, based on the comparison of the similarities and differences of non-crack images excluded by different convolutional neural networks, a hierarchical processing model was proposed, in which the improved AlexNet was employed as the first level filtering network and VGG16 or ResNet50 as the second or third level filtering network. The experimental results on noisy and complex road images show that the three-level hierarchical filtering model can achieve high true negative rate and high accuracy when recalling crack images 100%. Compared with other methods, the experimental results show that the proposed method can effectively solve the problem of missing filter in asphalt pavement crack image, and can produce a better detection effect.

asphalt pavement image; crack filtering; convolutional neural network; softmax layer fine-tuning; multi-level network

TP 391

10.11996/JG.j.2095-302X.2021050719

A

2095-302X(2021)05-0719-10

2020-10-23；

2021-03-14

14 March，2021

23 October，2020；

國(guó)家自然科學(xué)基金項(xiàng)目(61772070，61972267)；河北省高等學(xué)校科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目(ZD2021333)；河北省研究生專(zhuān)業(yè)學(xué)位教學(xué)案例庫(kù)建設(shè)項(xiàng)目(KCJSZ2020068)；石家莊鐵道大學(xué)研究生創(chuàng)新資助項(xiàng)目(YC2021075)

National Natural Science Foundation of China (61772070, 61972267); Key Projects of Science and Technology Research in Colleges and Universities of Hebei Province (ZD2021333); Hebei Province Graduate Professional Degree Teaching Case Library Construction Project (KCJSZ2020068); Graduate Innovation Funding Project of Shijiazhuang Railway University (YC2021075)

封 筠(1971-)，女，河北石家莊人，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)與機(jī)器學(xué)習(xí)等。E-mail：fengjun@stdu.edu.cn

FENG Jun (1971–), female, professor, Ph.D. Her main research interests cover computer vision and machine learning, etc.E-mail：fengjun@stdu.edu.cn