融合高級(jí)語義特征的色紡織物圖像快速檢索

谷 遷， 袁 理， 楊亞莉， 劉軍平

(1. 武漢紡織大學(xué) 電子與電氣工程學(xué)院， 湖北 武漢 430200； 2. 武漢紡織大學(xué) 湖北省功能纖維加工及檢測(cè) 工程技術(shù)研究中心， 湖北 武漢 430200； 3. 武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院， 湖北 武漢 430200)

隨著信息化技術(shù)的發(fā)展，圖像數(shù)據(jù)量隨之增加。如何利用數(shù)字圖像處理技術(shù)對(duì)大量的紡織品圖像進(jìn)行高效地檢索與數(shù)字化管理，是目前紡織企業(yè)亟待解決的問題。

圖像檢索可分為基于文本和基于內(nèi)容的2種檢索方法。其中，基于內(nèi)容的圖像檢索方法是當(dāng)前研究的主流方向。方珍紅等[1]提出了利用模糊C均值聚類的方式構(gòu)造加權(quán)主顏色直方圖實(shí)現(xiàn)圖像檢索方法，在Corel圖像庫上的實(shí)驗(yàn)結(jié)果表明，該算法檢索性能優(yōu)于基于傳統(tǒng)顏色直方圖的檢索方法；崔紅靜等[2]提出基于分塊顏色直方圖和邊緣方向直方圖的檢索算法，該算法對(duì)織物圖像的檢索準(zhǔn)確率達(dá)80.83%；向忠等[3]針對(duì)織物印花花型存在同形不同色和同形異構(gòu)的特點(diǎn)，提出了一種融合花型邊緣和顏色特征的圖像檢索算法，結(jié)果表明，該算法對(duì)圖片的平移、縮放、旋轉(zhuǎn)具有魯棒性，平均準(zhǔn)確率可達(dá)93.17%。上述圖像檢索算法均是基于圖像的淺層視覺特征進(jìn)行相似性度量從而進(jìn)行圖像檢索，但根據(jù)淺層視覺特征無法完整地表征紡織品的圖像信息；同時(shí)，由于這種檢索方式缺少自主學(xué)習(xí)能力，且非常依賴特征提取模型的架構(gòu)設(shè)計(jì)和優(yōu)化[4]，因此，當(dāng)圖像語義屬性和樣本數(shù)量增加時(shí)，檢索效果不佳。

近年來利用深度學(xué)習(xí)的方式能夠克服淺層特征的局限性，消除圖像特征與高級(jí)語義特征之間存在的“語義鴻溝”[5]，并廣泛應(yīng)用于復(fù)雜模型的表征與圖像檢索。孫潔等[6]對(duì)淺層特征以及高級(jí)語義特征在織物圖像檢索中的應(yīng)用進(jìn)行了對(duì)比分析，指出深度卷積神經(jīng)網(wǎng)絡(luò)可以克服淺層視覺特征在大樣本數(shù)據(jù)集檢索中存在的局限性，具有理想的魯棒性；徐慧等[7]提出了基于多尺度特征融合的服裝款式檢索與推薦系統(tǒng)，該系統(tǒng)在圖像語義分割的基礎(chǔ)上，利用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取服裝款式語義信息，并結(jié)合空洞空間金字塔池化(ASPP)對(duì)圖像進(jìn)行多尺度特征提取，很大程度上提高了服裝相似性語義推薦的效率。上述基于深度學(xué)習(xí)的方式在一定程度上提升了圖像檢索的效果，但缺失了對(duì)于圖像淺層視覺特征的描述。

值得注意的是，色紡織物因其特殊的織造工藝[8-9]，同時(shí)具備表征色紡織物顏色、形狀以及紋理等特性的淺層視覺特征和描述色紡織物宏觀風(fēng)格等特性的高級(jí)語義特征。為全面表征色紡織物所具備的多層特征，本文提出一種融合淺層視覺特征和高級(jí)語義特征的圖像檢索算法；同時(shí)，為提高檢索系統(tǒng)的時(shí)效性，采用二進(jìn)制哈希編碼對(duì)高級(jí)語義特征進(jìn)行降維處理。在此基礎(chǔ)上，構(gòu)建層次化特征分類器，充分利用2類特征的描述特性對(duì)織物圖像進(jìn)行檢索，以期為色紡織物圖像數(shù)字化管理以及產(chǎn)品開發(fā)提供技術(shù)支持。

1 融合特征提取算法及檢索流程

1.1 淺層紋理特征提取算法

局部二值模式(LBP)[10]是描述圖像局部紋理特征的經(jīng)典算法，其基本原理是比較中心像素與其鄰域像素的灰度值大小，鄰域像素值大于或等于中心像素值則編碼為1，小于則編碼為0，具體定義為：

(1)

(2)

式中：LP,R為編碼后的二進(jìn)制值；gc為中心像素點(diǎn)的灰度值；gi為其鄰域像素點(diǎn)的灰度值；P為鄰域像素點(diǎn)個(gè)數(shù)；R為鄰域半徑；s(x)為符號(hào)函數(shù)。通過調(diào)整LBP的參數(shù)及編碼規(guī)則可以獲得不同的紋理特征。

與此同時(shí)，提取織物的方向梯度直方圖(HOG)特征。具體過程為：首先將圖像轉(zhuǎn)化為灰度圖，對(duì)整個(gè)圖像進(jìn)行Gamma壓縮來降低圖像局部的陰影和光照變化；然后，將織物圖像分割為若干個(gè)像素的單元，并按照梯度方向平均劃分為9個(gè)區(qū)間進(jìn)行直方圖統(tǒng)計(jì)，每相鄰的若干個(gè)單元構(gòu)成1個(gè)塊。色紡織物典型淺層特征如圖1所示。

圖1 色紡織物淺層特征Fig.1 Low order characteristics of colored spun fabrics.(a) Original image of fabric; (b) LBP pseudo gray spectrum; (c) HOG feature map

1.2 高級(jí)語義特征提取算法

卷積神經(jīng)網(wǎng)絡(luò)(CNN)具備理想的高級(jí)語義特征提取能力，被廣泛應(yīng)用于圖像分類與目標(biāo)檢測(cè)等復(fù)雜模式識(shí)別場景。本文采用經(jīng)典的AlexNet網(wǎng)絡(luò)提取色紡織物圖像的高級(jí)語義特征。需要指出的是，該網(wǎng)絡(luò)含65萬個(gè)神經(jīng)元，數(shù)千萬個(gè)參數(shù)，模型收斂過程很慢。針對(duì)此問題，采用遷移學(xué)習(xí)策略[11-12]，將預(yù)訓(xùn)練的網(wǎng)絡(luò)作為一個(gè)特征提取器，指定AlexNet網(wǎng)絡(luò)的第2個(gè)全連接層fc7的輸出結(jié)果作為輸入圖片的特征向量，實(shí)現(xiàn)CNN網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。

在此基礎(chǔ)上，使用深度學(xué)習(xí)二進(jìn)制哈希(DLBH)算法對(duì)提取的高級(jí)語義特征進(jìn)行降維，從而提高檢索效率。高級(jí)語義特征提取過程如圖2所示。

網(wǎng)絡(luò)模型的損失函數(shù)為SoftMax損失函數(shù)，見下式：

(3)

注：fc6、fc7、fc8均為卷積神經(jīng)網(wǎng)絡(luò)的全連接層。圖2 高級(jí)語義特征提取過程Fig.2 Advanced semantic feature extraction

1.3 基于融合特征的檢索流程

檢索流程分為2個(gè)階段：第1階段為初步檢索，使用深度哈希網(wǎng)絡(luò)得到查詢樣本和數(shù)據(jù)庫圖像的哈希編碼，并按照漢明距離查找最相似的圖像得到Top-20；第2階段將分別提取查詢樣本和Top-20的淺層特征和高級(jí)語義特征，進(jìn)行特征融合后排序，得到最終的檢索結(jié)果Top-10。

同時(shí)，為了保證特征間的有效融合，需要對(duì)Top-20樣本特征進(jìn)行歸一化處理，見下式：

(4)

在此基礎(chǔ)上，根據(jù)式(5)進(jìn)行特征相似度融合：

(5)

式中：ωi為3種特征的權(quán)重；sij為Top-20圖像中第j張圖像與樣本第i種特征之間的相似度。

(6)

最后根據(jù)式(5)得到Top-20中第j張圖像與樣本的最終距離，排序得到Top-10，見下式：

(7)

式中，Dj表示Top-20中第j張圖像與樣本的最終距離。

2 實(shí)驗(yàn)與結(jié)果

2.1 實(shí)驗(yàn)樣本及系統(tǒng)參數(shù)

委托合作企業(yè)提供了684份色紡針織物樣本用于測(cè)試分析，織造過程中的工藝參數(shù)和樣本具體數(shù)量如表1所示。

表1 樣本參數(shù)Tab.1 Sample parameter

全部樣本在相對(duì)濕度為65%狀態(tài)下平衡后，通過DigiEye Digital Imaging System系統(tǒng)進(jìn)行圖像采集，并在采集前通過白板和標(biāo)準(zhǔn)色卡對(duì)DigiEye系統(tǒng)相機(jī)進(jìn)行白平衡和顏色校正。每份織物樣本獲取其不同區(qū)域的3張標(biāo)準(zhǔn)圖像；同時(shí)，對(duì)采集到的圖像進(jìn)行水平鏡像翻轉(zhuǎn)，得到4 104張色紡織物圖像，其中3 800張圖像作為訓(xùn)練集，304張圖像作為測(cè)試集。部分樣本圖像如圖3所示。

圖3 部分色紡織物樣本圖Fig.3 Sample drawing of colored spun fabrics.(a)Budding heather yarn；(b)Home spun heather yarn；(c)Mirage mini heather yarn;(d)Siro heather yarn

實(shí)驗(yàn)測(cè)試系統(tǒng)為Windows10操作系統(tǒng)；算法開發(fā)環(huán)境為Python3.7與MATLAB2016a，并安裝Tensor Flow-gpu1.14.0、CUDA Toolkit10.0與cuDNN7.4。

2.2 實(shí)驗(yàn)結(jié)果評(píng)估標(biāo)準(zhǔn)

本文選擇查全率與平均準(zhǔn)確率(mAP)對(duì)檢索結(jié)果進(jìn)行評(píng)估。查全率定義如下：

(8)

式中：P為查全率，%；b為檢索結(jié)果中正確查詢到的圖片數(shù)量；a為相似的圖片數(shù)量。查全率只能反映有多少正確的結(jié)果被檢索出，而平均準(zhǔn)確率能補(bǔ)充對(duì)檢索位置信息的評(píng)估，計(jì)算公式為

(9)

式中：Q1為平均準(zhǔn)確率，%；m為檢索樣本的數(shù)量；i表示第i張；Q2為每次查詢的檢索精度，其計(jì)算公式為

(10)

式中：ni表示第i張圖像的返回結(jié)果中正確查詢到的圖片總數(shù);x為正確查詢到的圖片在相似圖片中的位置;y為正確查詢到的圖片在返回的檢索結(jié)果中的位置。

2.3 參數(shù)優(yōu)化

能夠影響檢索系統(tǒng)性能的參數(shù)很多，包括哈希碼的長度、LBP算子以及HOG算子參數(shù)等。以訓(xùn)練集為基礎(chǔ)，對(duì)檢索系統(tǒng)核心參數(shù)進(jìn)行優(yōu)化，結(jié)果如表2～4所示。

表2 哈希碼長度與Top-10檢索結(jié)果Tab.2 Hash codes length and Top-10 search results

表3 LBP算子參數(shù)與Top-10檢索結(jié)果Tab.3 LBP operator parameters and Top-10 search results

從表2可以看出，哈希碼的長度越大，其檢索效果越好。但考慮到系統(tǒng)的實(shí)時(shí)性要求，本文將fc7層的特征映射為128位二進(jìn)制哈希碼，可以兼顧其查全率與執(zhí)行效率。

表4 HOG算子參數(shù)與Top-10檢索結(jié)果Tab.4 HOG operator parameters and Top-10 search results

由表3可知，旋轉(zhuǎn)不變統(tǒng)一模式的LBP算子參數(shù)R和P，即算子的領(lǐng)域像素點(diǎn)數(shù)量與可變區(qū)域大小會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響。當(dāng)P=8,R=2時(shí)，算子的紋理表征能力可以達(dá)到最優(yōu)。

從表4可以看出，當(dāng)c=64,b=4時(shí)，檢索系統(tǒng)的查全率和平均準(zhǔn)確率都為最高。

綜上分析，檢索系統(tǒng)的關(guān)鍵參數(shù)設(shè)定為哈希碼長度128位；LBP算子P=8,R=2；HOG算子c=64,b=4。

2.4 實(shí)驗(yàn)結(jié)果與分析

對(duì)304張具有不同風(fēng)格類型的色紡織物圖像進(jìn)行檢索測(cè)試，結(jié)果如表5所示?？梢钥闯?，對(duì)于9種不同風(fēng)格的色紡織物圖像，本文檢索方法的查全率均能達(dá)到95%及以上，平均準(zhǔn)確率均在85%以上，說明本文融合淺層視覺特征和高級(jí)語義特征的算法能夠?qū)哂袕?fù)雜顏色和紋理特性的色紡織物圖像進(jìn)行有效檢索。

表5 檢索實(shí)驗(yàn)結(jié)果Tab.5 Search experimental results

迷你幻影紗Top-10檢索結(jié)果如圖4所示，編號(hào)越小說明與原圖越相似。可以看出，與檢索樣本相似的待檢圖片均已返回，且排名均靠前。

需要指出的是，在上述Top-10檢索結(jié)果中，第5號(hào)樣本圖像(水紋蠅帶紗)與檢測(cè)樣本不屬于同一類，屬于異常結(jié)果。經(jīng)過對(duì)比分析，發(fā)現(xiàn)該樣本存在大量的褶皺區(qū)域，從而導(dǎo)致特征提取出現(xiàn)偏差，如圖5所示。

圖4 相似色紡織物檢索結(jié)果Fig.4 Retrieval results of similar colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

圖5 色紡織物褶皺圖像Fig.5 Colored spun fabric wrinkle image

為進(jìn)一步驗(yàn)證織物褶皺對(duì)檢索結(jié)果的影響，對(duì)褶皺樣本進(jìn)行檢索測(cè)試，結(jié)果如圖6所示?？梢钥闯?，在返回的Top-10結(jié)果中，只有Top-3、Top-6、Top-7與檢索樣本較為相似，其他返回結(jié)果差異較大。說明褶皺影響了圖像本身的平整度，進(jìn)而導(dǎo)致圖像的特征發(fā)生改變，影響了最終的實(shí)驗(yàn)結(jié)果。

2.5 對(duì)比實(shí)驗(yàn)結(jié)果

為充分驗(yàn)證融合高級(jí)語義特征檢索方法的有效性與實(shí)用性，建立對(duì)比實(shí)驗(yàn)Ⅰ。其中:將未微調(diào)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)，記為方法1；將使用遷移學(xué)習(xí)并微調(diào)AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)，記為方法2；將直接提取圖像HOG特征進(jìn)行檢索，記為方法3；將利用LBP與HOG融合特征進(jìn)行檢索，記為方法4。對(duì)比實(shí)驗(yàn)結(jié)果如表6所示。

圖6 異常色紡織物檢索結(jié)果Fig.6 Retrieval results of abnormal colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

從表6可以看出，本文檢索方法查全率和平均準(zhǔn)確率分別為97.37%，87.54%。相較于單一淺層特征，對(duì)多特征進(jìn)行融合能提高系統(tǒng)的檢索性能，但由于缺乏對(duì)織物圖像風(fēng)格屬性的語義表征，檢索結(jié)果還有待提高。與其他方法對(duì)比，本文將淺層特征與高級(jí)語義特征相融合能有效提高檢索系統(tǒng)的查全率和平均準(zhǔn)確率。

表6 對(duì)比實(shí)驗(yàn)Ⅰ結(jié)果Tab.6 Contrast experiment Ⅰ results

同時(shí)，為驗(yàn)證本文系統(tǒng)的實(shí)時(shí)性，結(jié)合對(duì)比方法建立對(duì)比實(shí)驗(yàn)Ⅱ。其中，對(duì)比方法為在圖像數(shù)據(jù)庫中直接提取圖像的淺層視覺特征及高級(jí)語義特征，并將2種特征融合后進(jìn)行圖像檢索。結(jié)果發(fā)現(xiàn),本文方法的檢索時(shí)間為0.8 ms，對(duì)比方法的檢索時(shí)間為605 ms，執(zhí)行效率提升約750倍?？梢钥闯觯疚膶⒏呔S特征量化為二進(jìn)制哈希碼，能有效提高檢索系統(tǒng)的執(zhí)行效率，具有顯著優(yōu)勢(shì)。

3 結(jié) 論

為提高色紡織圖像檢索系統(tǒng)的有效性與實(shí)時(shí)性，本文建立了一種融合淺層紋理特征與高級(jí)語義特征的檢索系統(tǒng)。該系統(tǒng)利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)色紡織物圖像的花型風(fēng)格等語義特征進(jìn)行表征，同時(shí)融合圖像的局部二值模式與方向梯度直方圖等淺層紋理特征，從而構(gòu)建層次化檢索系統(tǒng)。在此基礎(chǔ)上，通過二進(jìn)制哈希編碼對(duì)高維特征向量進(jìn)行降維，降低檢索特征的匹配時(shí)間。對(duì)具有9種不同紋理風(fēng)格的色紡織物樣本圖像進(jìn)行檢索發(fā)現(xiàn)，該檢索系統(tǒng)的Top-10查全率與平均準(zhǔn)確率分別達(dá)到了97.37%和87.54%；同時(shí)，執(zhí)行效率提升約750倍，能夠滿足實(shí)時(shí)性要求。但該檢索系統(tǒng)對(duì)織物圖片褶皺區(qū)域的抗干擾能力較弱，如何提升其抗干擾能力將是下一步研究的重點(diǎn)內(nèi)容。