圖像識別技術在紡織品及服裝研究中的應用

劉詠梅 洪雯婷 童衛(wèi)青

摘 要：紡織品及服裝研究與計算機、信息技術的融合發(fā)展是推進紡織品及服裝產業(yè)智能化的必然途徑，聚焦圖像識別技術在紡織品及服裝研究中的應用，歸納其研究內容和研究成果。如紡織品領域的纖維及織物組織識別、紡織品疵點檢驗、面料檢索，服裝領域的人體體型識別、服裝款式圖與樣版圖識別、服裝著裝圖檢索分類等;闡述圖像識別關鍵技術簡況及分類依據(jù)等。討論研究中存在的問題、空缺與難點，提出未來的研究方向和研究前景。

關鍵詞：圖像識別;紡織品檢驗;服裝圖像;計算機視覺;機器學習

中圖分類號：TS941.26? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? 文章編號：1674-2346（2019）04-0019-06

信息化時代快速發(fā)展下，紡織服裝領域中圖像信息所占比例日益提高，成為獲取和傳遞信息的重要工具。人們的生產生活方式也因此改變：在紡織服裝生產過程中，通過獲取與處理圖像將物理圖像轉化為所需信息，為自動化生產提供信息輸入;在紡織服裝作為商品的展示與銷售過程中，以紡織品及服裝為內容的圖像檢索、識別、標注等技術為用戶篩選商品信息提供了便利，還可進行個性化推薦等。

其中所用技術為圖像工程及人工智能領域中的圖像識別技術，其目的是讓計算機代替人類處理大量物理信息，對圖像作出各種處理、分析，最終識別所要研究的目標。圖像識別技術的研究進展與計算機圖形學、計算機視覺、機器學習、模糊邏輯等理論和技術有密切聯(lián)系，[1]其應用范圍涉及醫(yī)學、生物、工業(yè)自動化、公共安全等領域。[2]

本文結合國內外文獻研究及技術調查，針對紡織服裝圖像，對圖像識別相關技術進行簡要介紹;并就紡織品和服裝領域分別闡述圖像識別在其中的應用構想與結果。討論目前應用中存在的不足和研究空缺，期望促進圖像識別在紡織服裝領域的進一步發(fā)展，帶動傳統(tǒng)紡織服裝行業(yè)的轉型升級。

1? ? 圖像識別在紡織服裝上的應用

根據(jù)應用領域及生產過程的不同，圖像識別在紡織服裝上的應用可分為紡織品領域和服裝領域。

1.1? ? 紡織領域

圖像識別技術在紡織及紡織品中多用于纖維和織物組織識別、疵點檢測以及面料檢索等，其識別難度和應用廣泛度有所差異，介紹如下。

1.1.1? ? 纖維及織物組織識別

紡織階段，圖像識別技術可用于識別區(qū)分各類纖維及其織物，還可用于原棉加工前識別非棉雜質。對于織物組織結構，針織物中對緯編組織的研究較多，如對其編織周期的識別及組織結構的編碼分類等。[3]機織物中目前能夠識別出織物中的三原組織;還可輔以亮度累加法檢測分割經緯紗線、定位組織點，用于計算紗線密度和組織點的自動分類。[4]但由于織物組織結構復雜多樣，即使是人工識別，若非專業(yè)人士也難以輕易辨認，因此目前大多相關研究還停留在人工與計算機交互操作提取特征進行識別，難以大范圍推廣。

1.1.2? ? 織物疵點檢測

織物疵點檢測經過十數(shù)年的發(fā)展，已基本能完成疵點判別、疵點分割、疵點分類等功能，并應用于工業(yè)。識別準度是其中較為重要的驗收指標，但在保證準度的前提下，識別速度也需逐步提高，目前疵點在線監(jiān)測的速度要求一般高于60 m/min，檢測的疵點最小尺寸為0.5 mm。[5]近年進展多為提高精細度及速度、擴展識別疵點類別及檢驗規(guī)范化等，還有部分學者在對織物褶皺及折痕的研究中也使用了圖像識別相關技術，提出多視域織物外觀平整度客觀評級方法，嘗試讓機器判斷織物平整度并驗證，為織物表現(xiàn)性能的評估提供了有效的解決方案。[6]

1.1.3? ? 面料檢索

面料圖像的商業(yè)價值和大眾使用率較高，消費者和生產商都有挑選符合自己預期面料的需求;且面料圖像的顏色、紋理、形狀等底層特征相對較為簡單明晰，易于被計算機提取和區(qū)分。計算機除了能夠通過對比面料圖像實現(xiàn)相似面料的檢索之外，還可基于對部分特征明顯的面料進行感性屬性定義，實現(xiàn)對面料的主觀情感標注。如分析面料顏色的飽和度、對比度、色彩關系及紋理、圖案等，人工將客觀指標歸納至感性認知，用于面料檢索和推薦。[7]但目前的面料檢索研究樣本仍較為單一，多為同類面料不同色彩，或同類面料不同圖案的研究，且人工定義情感屬性局限較大，可嘗試多維度多分類研究。

1.2? ? 服裝領域

服裝領域中，對人體體型及服裝款式圖、樣板圖的識別多為服裝院校和服裝專業(yè)研究者完成;而計算機、信息技術領域等學者通常從識別服裝實物圖、著裝圖入手，對相關圖像進行識別、檢索、分割、分類及標注等。

1.2.1? ? 人體體型識別

人體是服裝的基礎，服裝的智能化生產離不開對個體體型的研究及描述。對人體體型的研究多基于來源于二維測量或三維人體掃描的數(shù)據(jù)，但就圖像識別技術發(fā)展以來，也漸有學者致力于對圖像信息的分析以識別體型。一般是對人體二維照片進行預處理后提取輪廓曲線，再用一定的描述方法對曲線分類、以達到對體型分類的目的。[8]

1.2.2? ? 服裝款式圖與樣版圖識別

關于服裝款式圖，可運用shock graph技術提取形狀特征再對其分類;[9]對于樣版圖，可對樣版邊緣進行識別，在樣片文件中儲存縫紉信息以用于自動縫紉技術。[10]但服裝行業(yè)中的款式圖風格不一，還未形成一個統(tǒng)一規(guī)范作為分類標準;且shock graph一般用于進行形狀外輪廓的識別與匹配，不包括內部細節(jié)，無法作為樣版庫的檢索依據(jù)。需求方面，對服裝款式圖與樣版圖的識別需求較小;識別難度方面，服裝款式圖和樣版圖像只包含黑白二色及線條，無顏色和紋理特征，就發(fā)展現(xiàn)狀而言識別難度較實物圖高，需要對比不同的圖像識別模型和方法，綜合選擇最合適的方案

1.2.3? ? 服裝著裝圖檢索分類（圖1）

服裝圖像識別可分為對服裝廓形、尺寸的識別，及服裝分類、檢索和標注。服裝廓形的識別中，一般先在人體著裝照片以人臉或人體膚色為參照來確定照片中的服裝，再對服裝掃描識別特征點、獲取數(shù)據(jù)，由人體身高比例或其他公式自動計算測量服裝廓形相關尺寸，以此定義照片中的服裝廓形。[11]借助計算機可實現(xiàn)部分服裝實物圖的尺寸及尺碼測量，但仍有較多人機交互工作量。[12]

服裝著裝圖的識別發(fā)展相對成熟，基本能夠實現(xiàn)對相同或相似服裝的檢索，服裝長度、寬松度及各部件等細節(jié)要素的識別，以及服裝圖像的分類和款式屬性標注，其中用到了大量計算機視覺及機器學習的前沿技術。[13]

2? ? 相關技術

圖像識別技術主要通過對比存儲的信息和當前信息從而識別圖像，不同圖像不同目的的識別分析稍有不同，在此介紹圖像識別的分類及其關鍵技術。

2.1? ? 圖像識別分類

2.1.1? ? 按發(fā)展階段

圖像識別的發(fā)展主要經歷了文字識別、數(shù)字圖像識別、物體識別3個階段。[14]可分為最初對擁有模式數(shù)據(jù)庫的印刷體文本的識別，對較為清晰的數(shù)字圖像提取輪廓、線條計算加以識別，以及掃描獲取現(xiàn)實物體圖像、記錄像素色值對物體進行識別3類。服裝標簽及樣版圖紙中的文字、符號可通過文字識別技術獲得，服裝圖像的識別也從外輪廓線條推進至內部細節(jié)和款式屬性的識別，即往識別細分類、自動化發(fā)展。

2.1.2? ? 按識別粒度

根據(jù)識別粒度不同，可分為通用圖像識別、細粒度圖像識別和更精細粒度圖像識別等。[15]其中通用圖像識別，指識別區(qū)分度較大、隸屬不同大類的物體，如目標檢測、圖像分割（將人體、衣物從背景中區(qū)分出來）和圖像分類等;細粒度圖像識別，則是對大類下的子類進行識別，如服裝中的各類服飾、款式識別等，大多采用深度學習方法;更精細粒度識別，包括人臉識別、指紋識別等，還有紡織品中的織物組織識別。根據(jù)目前的技術原理，其發(fā)展需要質量更好的大量織物組織圖片，以及對細部特征提取更為敏感的學習算法。

2.1.3? ? 按識別形式

常見的圖像識別技術形式有模式識別、神經網絡識別和降維形式識別等。模式識別原理是按一定的規(guī)則，對比已有圖像和新獲得圖像的相似度，相似度高為同類，一般用于面料和服裝的檢索、分類等。神經網絡識別形式是在傳統(tǒng)圖像識別的基礎上融合神經網絡算法。降維形式的圖像識別則是對圖像中包含的高維性特征數(shù)據(jù)信息進行降維。降維又可分為線性降維和非線性降維，一般用于特征篩選與表達。[16]

2.1.4? ? 按圖像語義層次

圖像語義可分為低層、中層、高層，也稱為視覺層、對象層和概念層，[17]對圖像的研究因此可分為圖像處理、圖像分析和圖像理解3個層次（圖2）。

圖像識別技術也可據(jù)此分為3類，它們的識別依據(jù)、識別技術路線都不同。基于低層語義的圖像識別以顏色、紋理和形狀為識別基礎，這些特征也被稱為底層特征語義;中層語義通常包含了屬性特征，及某一對象在某一時刻的狀態(tài)和特點，如服裝中可由數(shù)據(jù)歸納出的客觀屬性――款式細節(jié)等，目前需要人為歸納;高層語義指圖像表達出的接近人類理解的主觀感受語言，如人們對衣物的風格描述等，圖像識別可基于此進行情感或物體關系的描述。

2.2? ? 計算機視覺

計算機要進行圖像識別，首先需要“看見”、“看懂”圖像，這由計算機視覺相關技術實現(xiàn)，其關鍵技術有特征提取、圖像分割、圖像匹配等。

2.2.1? ? 特征提取

特征提取是將圖像上的特征點劃分為不同特征子集的過程，對圖像識別的精度和速度有重要影響。[2]圖像的基礎特征有顏色、紋理、形狀及各部分之間的空間關系等，其中空間關系特征包括圖像中不同識別目標的相對位置關系和每個目標在圖像中的絕對位置信息。服裝及人體的關鍵點及關鍵部位等的識別均以特征提取為基礎;[18]在對織物組織結構的識別中，重點提取組織點的色彩和紋理特征，再對提取出的特征向量進行運算和自動分類，有助于實現(xiàn)組織結構的自動識別。[4]吳歡等[19]基于CaffeNet模型通過女褲外輪廓并描述，對女褲廓形進行了分類，但在進行特征提取時由于自動化識別不足，還無法實現(xiàn)自動拾取關鍵點，需進行手動操作，這是識別系統(tǒng)實現(xiàn)全自動亟待解決的問題。

2.2.2? ? 圖像分割

根據(jù)不同識別目的，圖像分割可以是圖像識別的前期工作，如先將服裝從雜亂背景中分割出來、再進行進一步識別提高準確性;[20]也可以是最終成果，如著裝人體的服裝檢測、輪廓檢測、自動識別抓取衣物等。[21]分割方法有基于閾值、基于邊緣檢測，以及基于區(qū)域的圖像分割。目前借助各種理論模型提出的分割算法已達上千種，在進行某幅圖像分割時，只采用一種方法一般較難得到理想的分割結果，因此需要將以上各種方法有機結合并加以改造，構造多級分割體系，以獲得最優(yōu)的分割結果。

2.2.3? ? 圖像匹配

圖像匹配是指從不同視角得到的圖像中識別出與目標相同或相似的圖像區(qū)域。[2]最常用的匹配方法是模板匹配和模式識別，模板匹配形式較單一，基本是將圖像像素逐一對比，難以解決變形圖像的識別。

模式識別可用于圖像檢索和分類等，將相似的、與其他圖像區(qū)分度大的部分圖像分為同類，是人工智能發(fā)展的基石?，F(xiàn)今某些模式識別算法還可進行圖像理解和描述，如高珊[22]提出樣本之間的相似度可通過距離度量學習來得到，其建立了一種多標簽距離度量學習模型，并將該模型運用到已獲得的特征上，得到新的距離度量學習特征;之后結合服裝圖片的客觀風格文本描述信息，對多視圖學習特征集進行多標簽分類，得到服裝多個主觀風格的識別結果。

2.3? ? 機器學習

計算機視覺領域的圖像識別一般基于像素或底層特征，通過編寫一定的規(guī)則對圖像進行處理、檢索或分類。后期在機器學習助力下，計算機獲得一定的學習能力，規(guī)則發(fā)展為智能算法，圖像識別準確度和速度大幅提高。在此簡要介紹與圖像識別技術相關的機器學習算法。

2.3.1? ? 早期學習算法

機器學習算法在圖像識別中一般助于進行圖像分類。自1967年發(fā)展以來，較為典型的算法有k最近鄰算法（k-NearestNeighbor， kNN）、反向傳播算法（Backpropagation，BP）、決策樹（Decision Trees）算法、隨機森林算法（Random Forest， RF）等。李佳平等[23]對8種純紡織物采集高光譜圖像，基于光譜數(shù)據(jù)分別使用最小二乘支持向量機和最近鄰分類器進行分類識別，其中最近鄰分類器識別正確率達95.0%;鄧淇英[24]則對機織織物的三原組織利用灰度共生矩陣及BP神經網絡進行識別分類，準確率為96.4%以上。

2.3.2? ? 支持向量機

支持向量機（Support Vector Machine， SVM）對樣本量和編碼人員的要求相對較低，且提取屬性由研究人員按自己的理論歸納，因此服裝領域研究者使用率較高。如張春艷[7]對電商網站中部分面料提取顏色、紋理等底層特征，人工將其降維至三維情感因子空間，對面料進行感性定義，實現(xiàn)基于情感、風格的面料檢索。但支持向量機需要人工提取選擇特征，過程繁瑣，難以應用于大量數(shù)據(jù)分析。

2.3.3? ? 深度學習

近10年計算機信息存儲量和運算速度的提高為機器學習的進一步發(fā)展奠定了硬件基礎，以及進入上世紀90年代后圖像信息在多媒體傳播中占比的增加使圖像識別相關算法有了海量數(shù)據(jù)作為支撐，促使圖像識別技術進入快速發(fā)展階段。其中深度神經網絡中的卷積神經網絡（Convolutional Neural Networks， CNN）仿造生物的視知覺機制構建，被大量應用于計算機視覺領域，[25]卷積神經網絡經過一定的訓練可自行完成從圖像中抽取特征這個步驟，且能夠減少因圖像的平移、旋轉、拉伸、部分遮擋等因素造成的識別誤判。

深度學習研究者亦對服裝領域頗為關注，為此構建了2個服裝圖像數(shù)據(jù)集――香港中文大學多媒體實驗室公開的包含50類別、1000屬性的著裝圖數(shù)據(jù)集DeepFashion[26]和Zalando旗下研究部門的10類商品正面圖像數(shù)據(jù)集Fashion-MNIST[27]，供算法研究者們使用及訓練（圖3）。

基于以上數(shù)據(jù)集，羅夢研[28]在消除背景的干擾、圖像局部信息的利用及模型的輕量化處理上做出了改進;林城龍等[29]在不改變深度網絡模型的基礎上，基于組合層次化標注數(shù)據(jù)，提高服裝數(shù)據(jù)的分類準確率，并將服裝圖像數(shù)據(jù)的分類屬性依據(jù)相關性進行分層，用多任務網絡技術對應相關的多類別屬性進行訓練。

3? ? 結語

在紡織及服裝領域，先進制造技術一直是較為熱門的研究方向，也常借助圖像處理技術處理服裝各類圖像、提取數(shù)據(jù)等。除神經網絡中需要實現(xiàn)自動拾取關鍵點或自動提取輪廓線條的功能外，還需考慮因著裝人體的姿勢不同而產生服裝形態(tài)變化，及頭發(fā)肢體遮擋衣物導致的識別準確率下降問題。

神經網絡中的深層網絡結構能夠從大規(guī)模數(shù)據(jù)中學習輸入到輸出的映射，[30]但很多情況下難以獲取某一類帶有標簽的大量樣本，譬如越來越趨向于個性化定制的紡織品與服裝。因此如何在樣本量不多的情況下進行準確的檢索和分類也是當下一個具有挑戰(zhàn)性的問題。目前有部分論文使用了某種形式的預訓練、遷移學習或零樣本訓練。其中遷移學習（Transfer Learning）是指將從一個環(huán)境中學到的知識用來幫助新環(huán)境中的學習任務，能夠利用已經存在的相關任務或域中帶有標記的數(shù)據(jù)去處理新任務，相比于傳統(tǒng)的方法訓練模型更加具有廣泛的應用價值。[31]關于零樣本分類，由于訓練樣本和測試樣本分布不同，傳統(tǒng)監(jiān)督方法設計的分類器直接應用到零樣本圖像分類問題中可能會出現(xiàn)難理解和泛化性差等問題，但它在圖像檢索、人臉識別和語音識別等領域有著廣泛的應用前景。[32]

隨著移動設備及先進制造機器的廣泛使用，在各類產品上應用圖像識別技術已是大勢所趨。但就目前來說，在移動端及各種工業(yè)機器上應用部分圖像識別技術仍有一定難度，且量級越大越為困難，還要面對各種機型和硬件的指標要求，因此，如何使識別程序穩(wěn)定高效運轉也是一項挑戰(zhàn)。

參考文獻

[1]章毓晉.圖像工程上冊：圖像處理和分析[M].北京：清華大學出版社，1999：3.

[2]謝永杰，智賀寧.基于機器視覺的圖像識別技術研究綜述[J].科學技術創(chuàng)新，2018，（07）：74-75.

[3]KOPACZKA M，HAM H，SIMONIS K，et al.Automated enhancement and detection of stripe defects in large circular we-ft knitted fabrics[C].IEEE International Conference on Emerging Technologies & Factory Automation，2016.

[4]孫佳理.織物組織自動識別關鍵技術研究[D].杭州：浙江大學，2015.

[5]鄒超，汪秉文，孫志剛.基于機器視覺的織物疵點檢測方法綜述[J].天津工業(yè)大學學報，2009，28（2）：78-85.

[6]徐平華.基于稀疏編碼的多視域織物外觀平整度表征與評級[D].上海：東華大學，2016.

[7]張春艷.電商網站中面料商品的情感自動分類研究[D].北京：北京服裝學院，2017.

[8]龔昱.基于形狀上下文的體型分類和自動識別研究[D].上海：東華大學，2017.

[9]安立新.服裝款式圖提取及其模式識別的研究[D].上海：東華大學，2015.

[10]LEE J， SULIHJIJOC S. Construction of garment pattern shape information system using image analysis and shape recognition techniques[J].International Journal of Cloth-ing Science Technology， 2016，28（4）： 543-555.

[11]傅白璐，李峻，劉曉剛.基于人體分割的智能女裝廓形尺寸數(shù)據(jù)庫構建[J].紡織學報，2018，39（01）：119-125.

[12]王生偉，張侃健.基于角點檢測的服裝尺寸在線測量技術[J].信息技術與信息化，2018，（12）：73-75.

[13]包青平.基于深度學習的服裝圖像分類與檢索[D].杭州：浙江大學，2017.

[14]張家怡.圖像識別的技術現(xiàn)狀和發(fā)展趨勢[J].電腦知識與技術，2010，6（21）：6045-6046.

[15]GE Z Y， BEWLEY A， MCCOOL C， et al. Fine-grained classification via mixture of deep convolutional neural networks[C]. Applications of Computer Vision， 2016.

[16]宋炯，柏松平，王燕華.基于人工智能的圖像識別技術探討[J].科技傳播，2018（1）：106-107.

[17]趙婕.圖像語義理解的關鍵技術研究[D].太原：太原理工大學，2016.

[18]WEI S E， RAMAKRISHNA V， KANADE T， et al. Con-volutional Pose Machines[J].2016（6）：4724-4732.

[19]吳歡，丁笑君，李秦曼，等.采用卷積神經網絡Caffe-Net模型的女褲廓形分類[J].紡織學報，2019，40（04）：117-121.

[20]CYCHNERSKI J，BRZESKI A，BOGUSZEWSKI A，et al.Clothes detection and classification using convolutional neural net- works[C].IEEE International Conference on Emerging Technologies & Factory Automation，2018.

[21]RAMISA A，ALENY€？G，MORENO-NOGUER F，et al.Learning RGB-D descriptors of garment parts for informed robot gras- ping[J].Engineering Applications of Artificial Intelligence，2014，35（2）：246-258.

[22]高珊.基于距離度量學習和多視圖學習的服裝主觀風格識別方法[D].杭州：浙江大學，2016.

[23]李佳平，沈國康，歐耀明，等.應用連續(xù)投影算法及最小二乘支持向量機的單組分紡織品識別[J].紡織學報，2018，39（08）： 46-51.

[24]鄧淇英.基于數(shù)字圖像處理的織物組織結構自動識別研究[D].西安：西安工程大學，2016.

[25]GU J，WANG Z，KUEN J.Recent Advances in Con-volutional Neural Networks[J].Computer Science，2015（4）.

[26]LIU Z，PING L，SHI Q，et al.DeepFashion：Powering Robust Clothes Recognition and Retrieval with Rich Annotations[C].Com- puter Vision & Pattern Recognition，2016.

[27]XIAO H，RASUL K，VOLLGRAF R.Fashion-MNIST：a Novel Image Dataset for Benchmarking Machine Learning Algorithms [J].2017（9）.

[28]羅夢研，劉雁飛.基于輕量化卷積神經網絡的服裝分類方法[J].計算機系統(tǒng)應用，2019，28（3）： 223-228.

[29]林城龍，胡偉，李瑞瑞.基于深度卷積神經網絡的層次多任務服裝分類[J].中國體視學與圖像分析，2018，23（02）：39-45.

[30]K S， A Z.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science，2015.

[31]袁文翠，孔雪.基于遷移學習的圖像識別研究[J].微型電腦應用，2018，34（7）：10-12.

[32]LAMPERT C H，NICKISCH H，HARMELING S.Attribute-based classification for zero-shot visual object categorization[J]. IEEE Transactions on Pattern AnalysisMachine Intelligence，2014， 36（3）：453-465.

Application of Image Recognition Technology in Research of Textiles and Garments

LIU Yong-mei1，2 HONG Wen-ting1 TONG Wei-qing3

（1.College of Fashion and Design，Donghua University，Shanghai 200051，China;

2.Key Laboratory of Clothing Design and Technology，Ministry of Education，DonghuaUniversiry，Shanghai ? 200051，China;

3.Department of Computer Science and Software Engineering，East China Normal University，Shanghai ? 200062，China）

Abstract： The integration of textile and garment research with computer and information technology is an inevitable way to promote the intelligent development of textile and garment industry.Focusing on the image recognition technology in textile and garment research，this paper summarizes the contents and results of the research such as the identification of fabric and structure，the inspection of textile defects，the retrieval of fabrics， the identification of human bodies，garment style and pattern drawings， and the retrieval and classification of garments and dressing drawings，etc.It also describes the general situation of key technologies of image recognition and the classification basis.The problems，gaps and difficulties in the research are discussed， and the future research direction and prospect are proposed.

Key words： image recognition;textile inspection;garment drawing;computer vision;machine learning