基于MV-PearlNet的珍珠細(xì)粒度分類方法

錢 濤，熊 暉，陳晉音

(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州310023)

1 引 言

珍珠作為一種珠寶，自古以來就深受人們喜愛.珍珠的價值與它的屬性特征有關(guān)，如大小、光澤、形狀和紋理等.對珍珠分類后再進(jìn)行銷售可以大大提高收益.目前，珍珠的分類分揀主要依賴人工，對于珍珠分揀任務(wù)，同時考慮珍珠的多個特征比較困難，而且工作量大、成本高.同時分類準(zhǔn)確度容易受個人視力、鑒別能力、情緒等因素影響.因此迫切需要設(shè)計自動圖像分類模型來替代人工去處理細(xì)粒度珍珠圖片.

圖像分類的核心部分是圖像特征提取和特征分類.傳統(tǒng)的機(jī)器學(xué)習(xí)算法已經(jīng)提出了許多特征提取方法，比較代表性的有基于灰度強(qiáng)度、顏色直方圖、顏色矩陣等圖像顏色屬性的特征提取法[1，2]，基于邊界的傅立葉描述子、區(qū)域的矩不變量、有限元法、小波變換等形狀特征提取法[3，4]，基于共生矩陣、鄰接圖、統(tǒng)計灰度特征、直方圖特征等紋理特征提取法[5，6].李革等人[7]將珍珠圖像轉(zhuǎn)化到極坐標(biāo)系下，通過傅里葉系數(shù)來描述珍珠形狀，對珍珠進(jìn)行形狀分類.李益紅等人[8]提出新的珍珠形狀檢測算法，通過4個方向的邊緣算子獲得珍珠邊緣后，劃分到4個象限.通過計算各個象限中邊緣鏈碼之間的相似度來判斷形狀的均勻性，提出四象限邊緣鏈碼自相似檢測算法.在判斷珍珠形狀均勻性方面取得不俗的效果.以上所提到的這些算法在珍珠圖片分類上都取得了一定的效果，但它們利用單一特征的珍珠分類運(yùn)用到實(shí)際復(fù)雜場景中效率并不高.宣琦等人[9]設(shè)計了一種新的局部紋理提取方法，并通過提取珍珠多視角表面圖像的形狀特征、全局紋理特征和局部紋理特征訓(xùn)練支持向量機(jī)，獲得了良好的分類效果.這些傳統(tǒng)的手工特征提取法分別取得了一系列成果，但仍存在著許多不足：1)特征主要是低級特征，不具有語義信息，對于細(xì)粒度分類來說不具有區(qū)分度，很難使用一種手工特征來區(qū)分出所有的類別；2)特征需要有先驗(yàn)知識作為指導(dǎo)，對于設(shè)計人員要求較高，比較耗時耗力.

深度學(xué)習(xí)典型的代表結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)具有主動學(xué)習(xí)目標(biāo)對象特征的特點(diǎn)，近年來被廣泛應(yīng)用于圖像識別上.2012年，8層的AlexNet網(wǎng)絡(luò)[10]被提出，由于開創(chuàng)性的使用RELU激活函數(shù)，并使用LRN(Local Response Normalization)對輸出結(jié)果做平滑處理，在ILSVRC比賽上獲得最佳分類結(jié)果.2014年，GoogLeNet[11]采用Inception結(jié)構(gòu)，使網(wǎng)絡(luò)達(dá)到22層，在ILSVRC-2014中獲得了第一的成績.2015年，采用各層之間跨越幾層直連的Resnet模型被提出，通過在中間層添加輔助損失(Auxiliary Loss)的方式，使模型達(dá)到了152層，并且在ILSVRC-2015分類比賽中獲得第一名[12].Tian等人[13]提出一種批量重歸一化去噪網(wǎng)絡(luò)(BRDNet)，通過增加網(wǎng)絡(luò)的寬度和采取殘差學(xué)習(xí)方式，使模型獲得更多的功能.Jiang等人[14]將CNN用在蘋果農(nóng)藥殘留檢測上.Taheri等人[15]針對年齡識別問題，提出一種有向無環(huán)圖卷積神經(jīng)網(wǎng)絡(luò)(DAG-CNN)，將年齡估計的特征提取和分類階段融合到單個自動學(xué)習(xí)過程中，有效地提高了性能.以上的CNN模型只能處理單視角圖片，無法同時提取目標(biāo)圖片的多角度的特征信息，所以對于珍珠等視覺差異小的對象的細(xì)粒度分類，總體性能表現(xiàn)不佳.Xuan等人[16]基于多流卷積神經(jīng)網(wǎng)絡(luò)(MS-CNN)設(shè)計了一種自動珍珠分級機(jī)，在珍珠分類上取得良好的效果，但模型訓(xùn)練過程中并未考慮中間層損失的特征，導(dǎo)致特征利用不充分.

針對已有CNN模型的特點(diǎn)與不足，為了充分利用珍珠多視角圖像信息，本文提出基于多視圖珍珠卷積神經(jīng)網(wǎng)絡(luò)模型MV-PearlNet的自動圖像分類方法.主要有以下幾點(diǎn)貢獻(xiàn)：1)針對珍珠圖像特征提取不充分，提出了一種能同時提取多視角圖像特征的CNN結(jié)構(gòu)；2)為了充分利用前面層丟失的信息，采用中間層特征融合后的特征作為珍珠的特征表達(dá)；3)考慮到可能存在的訓(xùn)練數(shù)據(jù)量不足的情況下，通過結(jié)合K-means算法的方式進(jìn)行主動類標(biāo)學(xué)習(xí)，一定程度上解決帶類標(biāo)數(shù)據(jù)不足的問題，提高模型對于珍珠的分類準(zhǔn)確率.

2 基于MV-PearlNet珍珠精細(xì)分類卷積神經(jīng)網(wǎng)絡(luò)

2.1 MV-PearlNet模型結(jié)構(gòu)

針對上文中提到的珍珠圖像特征所具有的特點(diǎn)以及目前主流深度學(xué)習(xí)模型存在的不足，本文對已有的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，提出了多視角卷積神經(jīng)網(wǎng)絡(luò)模型.該模型共有5個視角的圖像輸入，每個視角CNN模型輸入一個視圖，其中第1個網(wǎng)絡(luò)的輸入為左視圖圖像，第2個網(wǎng)絡(luò)的輸入為右視圖，第3個網(wǎng)絡(luò)的輸入為主視圖，第4個網(wǎng)絡(luò)的輸入為俯視圖，第5個網(wǎng)絡(luò)的輸入為后視圖，充分利用了珍珠多視角圖像.此外，為了有效的融合各視角圖像之間的特征信息，本文設(shè)計了一個Else-Wise層將5個網(wǎng)絡(luò)的輸出逐元素相加進(jìn)行特征融合，最后輸入到softmax層得到分類標(biāo)簽.對于輸入的珍珠5視圖輸入，模型會輸出一個預(yù)測標(biāo)簽y′，通過損失函數(shù)l(y′，y)計算出y′與真實(shí)標(biāo)簽y之間的損失，本文中MV-PearlNet選擇交叉熵作為損失函數(shù)，模型各個分支網(wǎng)絡(luò)通過鏈?zhǔn)角髮?dǎo)法則反向傳播進(jìn)行聯(lián)合訓(xùn)練，來更新模型參數(shù).多個視角的模型共同訓(xùn)練能夠使得各個網(wǎng)絡(luò)接近最優(yōu)方向，可明顯提升整體網(wǎng)絡(luò)的性能.MV-PearlNet的具體結(jié)構(gòu)如圖1中所示.

圖1 MV-PearlNet結(jié)構(gòu)示意圖Fig.1 Schematic diagram of MV-PearlNet structure

由于GoogLenet網(wǎng)絡(luò)具有良好的分類性能，本文中MV-PearlNet每個單視角CNN模型都是基于GoogLenet網(wǎng)絡(luò)，前面幾層由交替堆疊的卷積層和池化層組成，后面緊跟著9個inception模塊，每個inception模塊由一系列1×1，3×3和5×5的卷積核以及一個3×3的最大化池化層組成，此部分具體結(jié)構(gòu)如圖1中每個模塊引申出來的部分，這主要是為了降低參數(shù)量和模型復(fù)雜度，同時為了避免梯度消失的問題.整個模型被分成3個部分，每3個inception結(jié)構(gòu)都會添加一個目標(biāo)損失函數(shù)，構(gòu)成了2個輔助分類模塊和1個最終的分類模塊，記為s1模塊，s2模塊和s3模塊.MV-PearlNet移除了LRN層，用BN(Batch Normalization)層[17]來替代.來起到加速收斂，縮短訓(xùn)練時間，控制過擬合，降低網(wǎng)絡(luò)對初始化權(quán)重的敏感性作用.

假設(shè)輸入模型的批量圖片數(shù)據(jù)集為B={x1，…，xn}，則整個BN過程可以描述如下：

(1)

(2)

(3)

(4)

整個訓(xùn)練過程中，卷積層的權(quán)重在5個視角之間共享.因此實(shí)際模型比沒有權(quán)重共享的模型占有更小的內(nèi)存.同時考慮到個體每個視角圖片之間存在差異，每個視角的CNN模型的全連接層之間的權(quán)重更新是獨(dú)立的.

本文將第l層的第k個神經(jīng)元輸出定義為fk，則可以用一系列的公式來表述訓(xùn)練的過程：

(5)

其中：

(6)

…

(7)

(8)

最終將這些特征通過全連接層的中間激活函數(shù)來堆疊起來形成最終的特征.

對于全連接層，文中使用ff1(x)表示第1個全連接層的特征圖，A表示是相應(yīng)的激勵函數(shù)，*表示卷積運(yùn)算的過程，wf1表示第1個全連接層的卷積核的權(quán)重，bf1表示全連接層的偏置量.具體用公式可以表示成：

(9)

對于MV-PearlNet來說，每個視角的CNN模型前向傳播過程都是一致的.如圖1所示，在倒數(shù)第2層進(jìn)行平均池化操作之前，添加一個Else-Wise層，采用逐元素求和的操作來對多個視角的特征進(jìn)行特征融合，我們得到一個新的特征F(x).

F(x)=∑k∈φ(ff1(x))k

(10)

其中φ是索引集{1，2，…，5}.F(x)包含了每個視角的信息，充分應(yīng)用了各視角圖像的特征信息.

特征融合之后，用Softmax函數(shù)在訓(xùn)練階段調(diào)整向后傳播的網(wǎng)絡(luò)權(quán)重，特征F(x)最終被送入Softmax函數(shù).模型將非線性Relu函數(shù)(y=max(0，x))用于除最后一個完全連接層以外的所有卷積層和所有全連接的層.相比于sigmoid函數(shù)，它具有更好的擬合能力.

2.2 基于特征融合后的類標(biāo)學(xué)習(xí)

本小節(jié)詳細(xì)闡述采用MV-PearlNet模型提取珍珠圖片特征的過程.其中MV-PearlNet模型分類器之前的層次結(jié)構(gòu)相當(dāng)于一個通用的特征提取器，輸入模型的圖片會生成一個類似于SIFT的具有很好泛化能力的特征向量.模型在下采樣的過程中，基于局部梯度的特征不可避免地丟失視覺信息.CNN中間層提取的特征是有用的，它們可以表達(dá)圖像的中間或低級信息.因?yàn)檩^低層的特征圖包含著圖像的更多結(jié)構(gòu)細(xì)節(jié)，簡單圖像在較低層處能很好地表示，較高層的特征圖更多的表現(xiàn)目標(biāo)對象的語義信息，具有復(fù)雜背景的圖像的前景可以在較高層激活，這些特征對于細(xì)粒度分類任務(wù)都是重要的，所以在分類問題中，從多個階段采用CNN模型提取特征是值得的.為了增加特征的區(qū)分度，本文在考慮語義信息等高級特征的同時，也考慮到了底層的紋理，輪廓等特征.

在特征提取模塊，將輔助分類器模塊s1，s2，提取的特征與最后s3的輸出特征進(jìn)行融合作為珍珠高維特征表示，從而提高特征的表達(dá)能力，具體過程如下列式子所示：

(11)

(12)

(13)

則整個MV-PearlNet提取的特征可以表示為：

(14)

考慮到MV-PearlNet模型提取的融合后的特征維度過高，對實(shí)驗(yàn)造成維度災(zāi)難的影響，所以實(shí)驗(yàn)先對融合后的特征進(jìn)行降維，這里采用主成分分析(Principle Component Analysis，PCA)[18]降維統(tǒng)計分析算法.假設(shè)MV-PearlNet模型提取的特征f是一個n*d維的數(shù)據(jù)，其標(biāo)準(zhǔn)化后的矩陣為Z.則矩陣Z中的組成元素zij計算公式如下：

(15)

則可以計算出特征樣本的協(xié)方差矩陣C，其中C每個元素則可以表示為：

(16)

其中i，j=1，…，d則進(jìn)一步可以求出協(xié)方差矩陣C對應(yīng)的特征向量u1，…，ud，特征根λ1，…，λd.選取前k個最大特征值構(gòu)建映射矩陣W，最后將特征矩陣Z轉(zhuǎn)換到新的子空間，則主成分矩陣Y即為ZW.

然后使用K-means算法[19]對處理后的特征進(jìn)行聚類，隨機(jī)初始化K個聚類中心，K值是珍珠數(shù)據(jù)的種類個數(shù).通過計算樣本到聚類中心的歐式距離，將每個對象分配到距離最近的那個簇內(nèi)，重新計算聚類中心為：

(17)

其中ei是聚類得到的簇，i=1，…，k，重新計算各個元素到新聚類中心的歐式距離，重新劃分簇，重復(fù)這個步驟，直到聚類中心不再發(fā)生變化或者達(dá)到預(yù)設(shè)的最大迭代次數(shù).為了準(zhǔn)確了解相應(yīng)的簇對應(yīng)的類標(biāo)，實(shí)驗(yàn)中，為了保證聚類簇中的樣本純度，實(shí)驗(yàn)只提取聚類中心周邊的樣本作為該簇中的代表樣本，將每個簇中的代表樣本都打上相應(yīng)的類標(biāo).此方法起到擴(kuò)大數(shù)據(jù)集的作用，也省去了人工打類標(biāo)的繁瑣工作，更經(jīng)濟(jì)、方便快捷.整體流程如圖2所示.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文論證模型的數(shù)據(jù)集使用的是從諸暨淡水湖中采集到的珍珠，通過單目多視角攝像裝置采集珍珠的圖像.單目多視角攝像裝置主要包括一個普通的CMOS攝像機(jī)和4個平面鏡，一次拍攝可以獲取俯視圖、主視圖、左視圖、右視圖、后視圖等5個視角的珍珠表面圖像，裝置具體細(xì)節(jié)可以參考文獻(xiàn)[20].實(shí)驗(yàn)從每類珍珠中都采集了1500顆作為圖像采集樣本，共采集到5個面總計10500張珍珠圖像.考慮到實(shí)驗(yàn)的科學(xué)性，采集到的圖像樣本都由專業(yè)的珍珠從業(yè)人員打上標(biāo)簽.珍珠按照珍珠顆粒大小以及紋理可以被細(xì)分成7個類：二檔沖頭、短螺紋、高檔米珠、差米形、中檔米珠，高檔顆頭螺紋、高檔面光，具體如圖3所示.實(shí)驗(yàn)將采集到的珍珠圖片背景顏色設(shè)置為黑色，通過閾值可以輕松得到珍珠部分的圖像[21]，然后按照6∶2∶2的比例劃分為訓(xùn)練集、驗(yàn)證集、測試集，即訓(xùn)練集最多為900顆珍珠數(shù)據(jù).

圖2 類標(biāo)學(xué)習(xí)的主要流程Fig.2 Main process of class learning

3.2 實(shí)驗(yàn)參數(shù)設(shè)置與結(jié)果分析

文中所有深度模型使用Tensorflow深度庫來實(shí)現(xiàn)，并在NVIDIA Tesla K40c GPU上進(jìn)行訓(xùn)練.實(shí)驗(yàn)通過隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)進(jìn)行端到端的訓(xùn)練，批量大小(Batch size)對于SGD方法很重要，值太小的話可能導(dǎo)致模型不會收斂，值太大則會耗盡內(nèi)存，通過結(jié)合GPU的運(yùn)算能力，最終設(shè)置為20，優(yōu)化器選擇動量優(yōu)化器(Momentum Optimizer)，學(xué)習(xí)率為0.05，動量為0.9，衰減為0.9，epsilon為0.1.卷積核權(quán)重采用符合均值為0，標(biāo)準(zhǔn)差為0.01的高斯分布來初始化，偏置值都初始化為0.1.網(wǎng)絡(luò)訓(xùn)練過程中，實(shí)驗(yàn)的迭代次數(shù)為43000，每迭代10000次，學(xué)習(xí)率衰減為原來的1/2.該實(shí)驗(yàn)共設(shè)計了3組對比實(shí)驗(yàn)，通過對比AlexNet、GoogLenet和VGG19 3種模型與MV-PearlNet的分類準(zhǔn)確度來驗(yàn)證方案的正確性.AlexNet、GoogLenet、VGG19和MV-PearlNet在測試數(shù)據(jù)上的正確率如表1中呈現(xiàn).同時為了驗(yàn)證MV-PearlNet的有效性，每個模型增加了一組將多視圖圖像全部作為訓(xùn)練集輸入單一卷積網(wǎng)絡(luò)中的實(shí)驗(yàn)(如表1中“同時輸入”一列表示).圖4、圖5分別顯示訓(xùn)練階段的損失變化趨勢和驗(yàn)證集上準(zhǔn)確率的變化趨勢.

圖3 7類珍珠的示例圖Fig.3 Example of seven types of pearls

表1 Alexnet，GoogLenet，VGG19與MV-PearlNet分類結(jié)果對比Table 1 Alexnet，GoogLenet，VGG19 and MV-PearlNet classification results comparison

從表1中可以看出，MV-PearlNet的表現(xiàn)總是比主流單視圖CNN模型好.在珍珠的細(xì)粒度分類任務(wù)中，MV-PearlNet獲得的準(zhǔn)確度最高可達(dá)到91.47%，明顯高于Alexnet，GoogLeNet和VGG19模型的84.71%，87.42%，87.51%.MV-PearlNet的性能提升主要?dú)w結(jié)于這幾點(diǎn)：使用了多視圖特征，使特征的表達(dá)能力更強(qiáng)；使用了特征融合，使表達(dá)輪廓、顏色、紋理的低層次特征和表達(dá)珍珠語義信息的高層次特征融合，產(chǎn)生高視覺相關(guān)性的類之間的區(qū)分度更加明顯的效果.相比于MV-PearlNet，單視角模型僅僅使用了一個面的特征，對于每個視角特征差異微小的球狀珍珠來說，并不具有充分的表達(dá)能力.

在進(jìn)一步的實(shí)驗(yàn)中，在使用的珍珠總量數(shù)據(jù)集一定的情況下，為了模型訓(xùn)練更充分，達(dá)到提高分類準(zhǔn)確率目的，將MV-PearlNet和K-means算法結(jié)合起來，分別使用7類珍珠中的300顆作為無監(jiān)督學(xué)習(xí)的學(xué)習(xí)對象，將MV-PearlNet提取的特征作為珍珠的特征表達(dá)輸出.PCA算法進(jìn)行降維后得到2100×50的特征向量，K-means算法的K設(shè)定為7，為了降低聚類算法聚類中心的隨機(jī)選擇對聚類結(jié)果的影響，本文采取了實(shí)驗(yàn)20次取平均值的方法來降低實(shí)驗(yàn)結(jié)果的隨機(jī)性.我們使用聚類的準(zhǔn)確度和純度作為評價指標(biāo)對聚類結(jié)果進(jìn)行評估.最終900顆的特征提取最充分，20次的實(shí)驗(yàn)結(jié)果的準(zhǔn)確度為76.52%，純度為76.61%.將聚類后打上類標(biāo)的數(shù)據(jù)和之前的訓(xùn)練集一起放入模型進(jìn)行訓(xùn)練，分類結(jié)果表2所示.

圖4 訓(xùn)練階段時驗(yàn)證集上準(zhǔn)確率變化趨勢Fig.4 Trend of accuracy on the verification set during the training phase

圖5 訓(xùn)練階段loss值變化趨勢Fig.5 Trend of loss value during training

表2 類標(biāo)學(xué)習(xí)前后分類結(jié)果對比Table 2 Comparison of classification results before and after class labeling

從表2可以看出，在訓(xùn)練數(shù)據(jù)量一定的情況下，擴(kuò)充后的模型分類正確率不同程度提高了，訓(xùn)練集數(shù)量越少提升效果越明顯，效果最明顯的提高了3.63%.這主要是因?yàn)椋涸谟邢薜挠?xùn)練集前提下，通過MV-PearlNet模型結(jié)合K-means的方法對未帶標(biāo)簽的數(shù)據(jù)進(jìn)行類標(biāo)學(xué)習(xí)，起到了擴(kuò)充訓(xùn)練數(shù)據(jù)量的效果，一定程度上豐富了訓(xùn)練樣本，改善了因訓(xùn)練數(shù)據(jù)不足導(dǎo)致的欠擬合現(xiàn)象，提高了模型的分類準(zhǔn)確率.這也一定程度證明了通過聚類算法打上類標(biāo)增加數(shù)據(jù)量的方法的有效性.

4 結(jié)束語

本文針對珍珠細(xì)粒度分類中單一視角模型不能充分利用圖像的特征問題提出了MV-PearlNet模型，該模型能同時處理多個視角的圖像輸入，并自動學(xué)習(xí)圖像的特征.同時針對訓(xùn)練數(shù)據(jù)量不足的問題，提出了基于MV-PearlNet結(jié)合K-means算法的擴(kuò)充數(shù)據(jù)集的方法.該方法充分結(jié)合了MV-PearlNet主動學(xué)習(xí)特征的能力以及K-means算法簡單快速的特點(diǎn)，通過在珍珠數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證后，表明在訓(xùn)練數(shù)據(jù)集不足的情況下，通過此方法進(jìn)行類標(biāo)學(xué)習(xí)后擴(kuò)充了訓(xùn)練數(shù)據(jù)集，能一定程度提升模型的分類準(zhǔn)確率.