基于卷積神經(jīng)網(wǎng)絡(luò)的燈具商品圖像檢索

邰瑤 陳健美

摘? ?要：建材商品數(shù)字化對(duì)有效使用電商平臺(tái)家居資源具有重要意義，傳統(tǒng)分類(lèi)法未考慮主觀特性且大部分特征需人工提取，存在細(xì)節(jié)特征丟失等問(wèn)題。提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱CNN）的燈具圖像分類(lèi)法，并通過(guò)一系列預(yù)處理操作豐富數(shù)據(jù)集，提高圖像識(shí)別率。檢索過(guò)程結(jié)合卷積層和全連接層特征并融合YOLO算法完成復(fù)雜的標(biāo)簽分類(lèi)任務(wù)，效果更加高效準(zhǔn)確。

關(guān)鍵字：卷積神經(jīng)網(wǎng)絡(luò);商品圖片搜索;YOLO算法;多標(biāo)簽分類(lèi)任務(wù)

中圖分類(lèi)號(hào)：TP751.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Research on Lighting Product Image Based on CNN

TAI yao CHEN Jian-mei

（Computer Science and Communication Engineering Department，Jiangsu University，Zhenjiang，Jiangsu? 212000，China）

Abstract：The digitization of building materials is of great significance for the effective use of e-commerce platform home resources. The traditional classification method does not consider subjective characteristics and most of the features need to be manually extracted，and there are problems such as loss of detail features. A convolutional neural network is proposed. （CNN for short） luminaire image classification method，and improve image recognition rate by a series of pre-processing operation rich data sets . The retrieval process combines the convolutional layer and the fully connected layer features and incorporates the YOLO algorithm to complete the complex label classification task，and the effect is more efficient and accurate.

Key words：convolutional neural network;commodity image search;YOLO algorithm;multi-label classification task

目前基于CNN視覺(jué)特征的圖像視頻分類(lèi)/檢索、物體/行為估計(jì)等計(jì)算機(jī)視覺(jué)問(wèn)題已成為國(guó)內(nèi)外的研究熱點(diǎn)。之前通常采用對(duì)人為圖像細(xì)分類(lèi)然后貼上對(duì)應(yīng)標(biāo)簽的方法，但隨著海量圖像數(shù)據(jù)的爆發(fā)式增長(zhǎng)，其弊端也愈加凸顯出來(lái)，關(guān)鍵字表示圖像特征過(guò)于狹隘，人工標(biāo)注工作量大且存在主觀性上的大量圖片作為實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，能夠具有較高的識(shí)別能力，在商品識(shí)別問(wèn)題上誤差等一系列問(wèn)題急待解決[1]。而CNN作為流行的深度學(xué)習(xí)算法[2]，雖在圖像識(shí)別領(lǐng)域取得了諸多成就，但如果要獲得高識(shí)別率并獲得優(yōu)良檢索結(jié)果的例子頗少，但其在電商圈[3]有很大的優(yōu)勢(shì)和廣泛的（諸如家具、房子、汽車(chē)、服裝同款搜索等）應(yīng)用前景。此次我們搜集了某網(wǎng)絡(luò)科技公司和淘寶網(wǎng)上的大量圖片作為數(shù)據(jù)集，并著手研究設(shè)計(jì)基于CNN的燈具種類(lèi)檢索方法，較于傳統(tǒng)檢索方法有更高的檢索精度。

1.1? ?卷積神經(jīng)網(wǎng)絡(luò)模型

AlexNet模型是Alex Krizhevsky提出并在2012年ImageNet挑戰(zhàn)賽上所使用而名聲大噪的一種模型，目前這種深度學(xué)習(xí)模型正廣泛得應(yīng)用于圖像處理領(lǐng)域[4]。如圖1所示，我們?cè)诖嗽O(shè)計(jì)出整體檢索框架[5]，藍(lán)色箭頭指出離線訓(xùn)練過(guò)程，黑色箭頭指出用戶在線查詢過(guò)程。

1.2? ?商品圖像分類(lèi)

基于CNN的商品分類(lèi)實(shí)驗(yàn)具體包含數(shù)據(jù)預(yù)處理[6]、網(wǎng)絡(luò)訓(xùn)練和調(diào)參等操作。預(yù)處理即對(duì)卷積核進(jìn)行預(yù)訓(xùn)練，分成三部分：對(duì)圖像數(shù)據(jù)的灰度處理（消除光線影響因素）并對(duì)輸入數(shù)據(jù)加入一定概率分布的噪聲、PCA數(shù)據(jù)降維[7]以及進(jìn)行對(duì)圖像進(jìn)行區(qū)域扭曲形變。運(yùn)用流行的隨機(jī)梯度下降法SGD[8]（Stochastic gradient descent）對(duì)卷積核中權(quán)值的初始化并使用反向傳播算法微調(diào)網(wǎng)絡(luò)參數(shù)。這么做優(yōu)化于隨機(jī)初始化，可使卷積核特征得到更本質(zhì)的刻畫(huà)，同時(shí)更易于訓(xùn)練結(jié)果的收斂[9]。通過(guò)反復(fù)的前后向傳播，卷積層[10]、全連接層的參數(shù)不斷得到調(diào)整，最終實(shí)現(xiàn)網(wǎng)絡(luò)逼近于最優(yōu)解[11]。總體分類(lèi)模型如下：

2? ?系統(tǒng)搭建

2.1? ?基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型

對(duì)于分類(lèi)艱難的燈具來(lái)說(shuō)，只能依據(jù)經(jīng)驗(yàn)選擇和設(shè)計(jì)圖像特征，且人為因素對(duì)特征的有效性影響很大。傳統(tǒng)特征模型在不同的樣本庫(kù)上需要重新設(shè)計(jì)圖像特征而導(dǎo)致其通用性不強(qiáng)[12]。針對(duì)以上存在的種種不足，如圖3所示在圖像分類(lèi)問(wèn)題背景下提出了CNN卷積神經(jīng)網(wǎng)絡(luò)模型，下圖展示包括卷積層、池化層、全連接層和softmax層，最終可獲得分類(lèi)結(jié)果。

2.2? ?構(gòu)建樣本庫(kù)數(shù)據(jù)集

樣本是由網(wǎng)商（網(wǎng)址：http：//www.maideng8.com/）提供，另從淘寶網(wǎng)采集部分圖片得到部分?jǐn)?shù)據(jù)，共9種燈具圖片，其中70%用于訓(xùn)練，15%用于校驗(yàn)，15%用于測(cè)試。為便于建模，每幅圖像的分辨率設(shè)置為256×256×3。如圖4所示，這些類(lèi)型一般難以用傳統(tǒng)人工構(gòu)造圖像特征的方法進(jìn)行區(qū)分，更難以使用簡(jiǎn)單的淺層學(xué)習(xí)模型諸如支持向量機(jī)、最大熵方法等的分類(lèi)方法。在分類(lèi)之前對(duì)數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)，裁剪，局部変形等數(shù)據(jù)增強(qiáng)技術(shù)，提高泛化能力。首先對(duì)燈具的4類(lèi)語(yǔ)義屬性進(jìn)行分析，其中主要屬性有風(fēng)格[13]（美式、新中式、現(xiàn)代簡(jiǎn)約式）、類(lèi)型（吊燈、臺(tái)燈、壁燈、吸頂燈、落地?zé)簟㈢R前燈）、形狀（圓形、方形、不規(guī)則型），和規(guī)模（小型、中型、大型）。（注：每一列分別為吊燈，壁燈，臺(tái)燈;每一行分別為美/歐式，現(xiàn)代簡(jiǎn)約式，新中式）

2.3? ?分類(lèi)優(yōu)化

單標(biāo)簽分類(lèi)[14]在CNN網(wǎng)絡(luò)中應(yīng)用很普遍，實(shí)驗(yàn)中的圖像包含多元語(yǔ)義屬性，如各式風(fēng)格、規(guī)格等，這樣我們就需要進(jìn)行多標(biāo)簽多任務(wù)學(xué)習(xí)。 而在此采用的標(biāo)簽學(xué)習(xí)過(guò)程：（1）輸入圖像大小統(tǒng)一為256*256*1，提取該圖像228*228的子塊或其鏡像作為CNN輸入。（2）前四層卷積塊的結(jié)構(gòu)參照AlexNet[15]定義的結(jié)構(gòu)組成。（3）全連接層FC2層共享著FC1層的輸出，由多個(gè)獨(dú)立平行的子層構(gòu)成，這些子層分別對(duì)應(yīng)相關(guān)的Softmax分類(lèi)器[16]（類(lèi)別有新中式圓形小型吊燈、現(xiàn)代簡(jiǎn)約式方形中型臺(tái)燈、背景等，類(lèi)標(biāo)簽的概率一并輸出）。

2.4? ?圖像檢索優(yōu)化

YOLO（You Only Lool Once）檢測(cè)算法應(yīng)用：先將圖像分割成19*19的尺寸相同的矩形框，然后將小框裁剪出來(lái)的圖像輸入到CNN中，CNN能夠預(yù)測(cè)出框內(nèi)是否有匹配的燈具類(lèi)型，可輸出結(jié)果為分類(lèi)結(jié)果向量{Pc，b_x，b_y，b_h，b_w，c1，c2，Pc，b_x，b_y，b_h，b_w，c1，c2}，Pc分類(lèi)結(jié)果的概率，其他變量各自獨(dú)立，b_x，b_y，b_h，b_w分別為風(fēng)格、類(lèi)型、形狀，和規(guī)模，c的維度等于類(lèi)的數(shù)量，最高幾率Pc為最優(yōu)解，抑制非最大值方法可準(zhǔn)確測(cè)出位置。在檢索出相似的圖片中，我們把x圖的FC層輸出向量f（x）看成是輸入圖片的編碼，我們可以定義x1和x2兩圖的相似值：d（x1，x2）=||f（x1）-f（x2）||2 若d值越小，則兩圖片越相似。該算法可以提取感興趣候選區(qū)，而卷積神經(jīng)網(wǎng)絡(luò) （CNN） 可直接自動(dòng)去分類(lèi)和調(diào)整這些區(qū)域。

一般訓(xùn)練好的CNN網(wǎng)絡(luò)模型在提取數(shù)據(jù)特征特征和分類(lèi)上比較高效完善，而在神經(jīng)網(wǎng)絡(luò)中CNN的分類(lèi)信息和隱含層的特征圖均可作為圖像檢索指標(biāo)，利用分類(lèi)模型的隱含層輸出作為特征向量進(jìn)行檢索可得到更優(yōu)效果。在圖像檢索時(shí)，如果直接根據(jù)燈具語(yǔ)義屬性進(jìn)行快速檢索[17]，但是語(yǔ)義屬性往往是抽象屬性，并不方便描述一些細(xì)致的特征，為兼顧整體特征和細(xì)致特征，提高檢索精確，我們采取融合卷積層Conv4和全連接層FC1的輸出作為特征向量進(jìn)行檢索，其中第四層卷積共卷積核384個(gè)，輸出是64896維，F(xiàn)C1的輸出是4096維，融合后是68992維，之后進(jìn)行非線性降維處理得到特征。

3? ?實(shí)驗(yàn)結(jié)果和分析

3.1? ?分類(lèi)

由于同時(shí)識(shí)別多個(gè)屬性比識(shí)別單屬性要復(fù)雜，而加入數(shù)據(jù)增強(qiáng)[18]預(yù)處理之后明顯提高了網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確度，實(shí)驗(yàn)結(jié)果融合卷積層和全連接層比傳統(tǒng)CNN結(jié)果更加準(zhǔn)確。最終分類(lèi)結(jié)果如表1所示：

從表格結(jié)果可見(jiàn)，引入融合并行的特征比單獨(dú)采用各層進(jìn)行檢索，特征存儲(chǔ)空間并不是很大，且分類(lèi)準(zhǔn)確率有提高近4%的準(zhǔn)確率。（M_CNN代表融合卷積層和全連接層，DM_CNN代表引入預(yù)處理）

3.2? ?檢索

實(shí)驗(yàn)中檢索過(guò)程通過(guò)使用YOLO算法[19]的方式來(lái)縮小檢索范圍[20]以提高檢索運(yùn)行效率，若輸出結(jié)果判斷失誤，則檢索結(jié)果出錯(cuò)。而且對(duì)于分類(lèi)準(zhǔn)確率不高的語(yǔ)義屬性如燈具規(guī)模等，為規(guī)避這些冗余的特征提取操作，所以可直接進(jìn)行忽略[21]規(guī)模這個(gè)語(yǔ)義屬性。在整個(gè)檢索過(guò)程中，我們可以看到檢索結(jié)果不僅體現(xiàn)了全局信息，而且對(duì)于局部的紋理，圖像的亮度等也進(jìn)行了有效識(shí)別。檢索結(jié)果如圖5所示，包含了美式吊燈、現(xiàn)代簡(jiǎn)約吊燈和新中式吊燈。

4? ?結(jié)? ?論

提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的用快速檢索燈具的優(yōu)化算法，為適應(yīng)多個(gè)屬性判別，采用了復(fù)雜的多標(biāo)簽分類(lèi)，預(yù)處理可優(yōu)化提高增強(qiáng)特征提取準(zhǔn)確率。而對(duì)于圖像檢索問(wèn)題，使用融合卷積層、全連接層輸出的特征向量和YOLO算法可以使得分類(lèi)更為準(zhǔn)確，同時(shí)保留了燈具的整體和局部信息，然后比較各圖像特征向量間的相似性，從而得到最優(yōu)檢索結(jié)果。當(dāng)然為應(yīng)對(duì)家居建材越來(lái)越高的市場(chǎng)要求，人們對(duì)燈具智能化的需求也在快速增長(zhǎng)，智能家居正處于快速發(fā)展階段、發(fā)展前景巨大，而且我們還有許多問(wèn)題有待進(jìn)一步研究，比如說(shuō)根據(jù)燈具類(lèi)型預(yù)估出商品價(jià)格、根據(jù)圖像鑒別真假等。

參考文獻(xiàn)

[1]? ? 丁治國(guó). RFID關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2009.

[2]? ? 尹寶才，王文通，王立春. 深度學(xué)習(xí)研究綜述[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2015（1）：48—59.

[3]? ? 程華. 個(gè)體差異與消費(fèi)者接受網(wǎng)上購(gòu)物--基于杭州樣本的實(shí)證研究[D]. 杭州：浙江大學(xué)，2003.

[4]? ? 余凱，賈磊，陳雨強(qiáng)，等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計(jì)算機(jī)研究與發(fā)展，2013，50（9）：1799—1804.

[5]? ? 彭波. 大規(guī)模搜索引擎檢索系統(tǒng)框架與實(shí)現(xiàn)要點(diǎn)[J]. 計(jì)算機(jī)工程與科學(xué)，2006，28（3）：1—4.

[6]? ? 王耀南，李樹(shù)濤，毛建旭. 計(jì)算機(jī)圖像處理與識(shí)別技術(shù)[M]. 北京：高等教育出版社，2001.

[7]? ? 黨銀寧. 基于PCA數(shù)據(jù)降維和神經(jīng)網(wǎng)絡(luò)的能源審計(jì)對(duì)標(biāo)評(píng)價(jià)方法的研究[D].長(zhǎng)沙：中南大學(xué)，2011.

[8]? ? 周樸，劉澤金，馬閻星，等. 隨機(jī)并行梯度下降算法模擬兩路光纖放大器相干合成與實(shí)驗(yàn)研究[J]. 光學(xué)學(xué)報(bào)，2009，29（2）：431—436.

[9]? ? 高雪鵬，叢爽. BP網(wǎng)絡(luò)改進(jìn)算法的性能對(duì)比研究[J]. 控制與決策，2001，16（2）：167—171.

[10]? 陳先昌. 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D]. 杭州：浙江工商大學(xué)，2014.

[11]? 黃文明，魏鵬，梁金華. 基于卷積神經(jīng)網(wǎng)絡(luò)的哈希在圖像檢索中的應(yīng)用[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（2）：517—521.

[12]? 張麗平. 粒子群優(yōu)化算法的理論及實(shí)踐[D]. 杭州：浙江大學(xué)，2005.

[13]? 張曉龍. 論居室軟裝飾藝術(shù)設(shè)計(jì)[J]. 才智，2010（22）：184.

[14]? 蔣華，戚玉順. 基于球結(jié)構(gòu)SVM的多標(biāo)簽分類(lèi)[J]. 計(jì)算機(jī)工程，2013，39（1）：294—297.

[15]? KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097—1105.

[16]? 許素萍. 深度圖像下基于特征學(xué)習(xí)的人體檢測(cè)方法研究[D]. 廈門(mén)：廈門(mén)大學(xué)，2014.

[17]? 杭燕，楊育彬，陳兆乾. 基于內(nèi)容的圖像檢索綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2002，19（9）：9—13.

[18]? 朱金魁. 人臉識(shí)別算法的研究[D]. 哈爾濱：東北林業(yè)大學(xué)，2009.

[19]? 沈軍宇，李林燕，夏振平，等. 一種基于YOLO算法的魚(yú)群檢測(cè)方法[J]. 中國(guó)體視學(xué)與圖像分析，2018（2）：174—180.

[20]? 曾京文，汪慶寶，胡健. 指紋自動(dòng)識(shí)別中的中心點(diǎn)搜索和特征分塊抽取方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，1996，22（4）：115—121.

[21]? 徐進(jìn)，易綿竹. 計(jì)算語(yǔ)義學(xué)中的語(yǔ)言子系統(tǒng)理論[J]. 解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2014，37（3）：84—91.