服飾設計視覺顯著性檢測

孫菲菲， 徐平華， 丁雪梅， 王榮武， 吳雄英

(1. 東華大學 服裝與藝術設計學院， 上海 200051； 2. 東華大學 現(xiàn)代服裝設計與技術教育部重點實驗室，上海 200051； 3. 浙江理工大學 服裝學院， 浙江 杭州 310018； 4. 東華大學 紡織學院， 上海 201620；5. 上海出入境檢驗檢疫局， 上海 200135)

服飾設計是系統(tǒng)性、整體性的工作，通過視覺傳達誘導消費[1-3]。設計中，色彩、形態(tài)、質感等的對比能夠引起視覺沖突，強調設計理念、品牌文化[4-5]。除此之外，平面廣告、網站布局、工業(yè)設計等進行視覺傳達時，無一不在突顯設計重點，以一種刺激性的信息影響受眾，所引起的視覺關注度成為產品識別和視覺營銷中重要的評價指標[6]。

人類視覺具有較強的選擇性注意能力，可在復雜場景下迅速聚焦于服飾產品的感興趣區(qū)域(ROI)。

與文字相比，圖像更為醒目，便于長久記憶。眼動儀作為心理學基礎研究的重要儀器，目前已被廣泛應用于設計評價、消費行為研究當中[7-9]。多幅設計作品由于眼動追蹤設備誤差、測試人員生理和心理因素的干擾，很難定量衡量設計內容的視覺關注差異。隨著設計圖稿的快速增加，批量檢測和評估需要消耗大量的人力和時間，亟需一種相對客觀、穩(wěn)定的方法對設計內容進行可視化表征。

視覺注意客觀模型作為機器視覺研究中的熱點之一，從場景的角度來看，場景中的某些內容比其他內容更能引起觀察者的注意，稱之為視覺顯著。當前，圖像視覺顯著性檢測方法可概括為自底向上和自頂向下2大類別。其中：自底向上的顯著性檢測基于圖像本身，是從輸入圖像中提取的不同底層特征，獲得的視覺顯著性主要由底層的視覺信息(如顏色、光強、邊緣等)驅動[10]；自頂向下的顯著性模型則與具體任務有關，并由目標所驅動，受到主觀意識支配，依賴于具體的任務[11]。由于服飾圖像內容的不定性，本文采用自底向上的視覺顯著性檢測方法，首先依據(jù)圖像亮度、顏色和方向特征信息構建多尺度高斯金字塔，利用歸一化合并的方式對特征進行濾波和融合，并繪制出服飾圖像的顯著區(qū)域及顯著程度，提出用以量化視覺顯著度的評價指標。

1 底層視覺特征提取

人眼視網膜的感光細胞分為2類：一類是視桿細胞，可感知外界的亮度信息；另一類是視錐細胞，感知顏色信息，通過初級視覺皮層將視覺信息進一步細分和處理。基于此，文獻[12]提出了利用圖像的亮度、顏色和方向特征模擬人類視覺功能。圖像的亮度、色彩及紋理是3個可直接從圖像中提取的特征，屬于圖像的底層特征。本文采用自底向上的服飾顯著性檢測方法，首先對服飾圖像的亮度、色彩及紋理方向進行提取。

1.1 亮度特征提取

彩色圖像轉換為黑白圖像，其亮度值可用灰度值表示。常見的圖像灰度化的方法包括直接分量法、最大值法、平均值法及加權平均法。一幅RGB格式的圖像可分為紅、綠、藍3個通道，亮度特征從人體生理學角度出發(fā)，采用三通道加權的方式計算更符合生理視覺特性。

亮度(L)的計算方法如式(1)所示。

L=0.587g+0.299r+0.114b

(1)

式中，r、g、b分別代表圖像的紅、綠、藍3個通道，對其賦予不同的權重系數(shù)，進而計算得出圖像的亮度特征。

該方法依據(jù)YIQ色彩模型中人眼對色彩敏感程度，將圖像中的亮度分量分離出來[13]。

1.2 色彩特征提取

從人眼視錐細胞只能在明亮光線下感受顏色的生理機制出發(fā)，為剔除顏色與亮度間的耦合關系影響，本文研究對高亮區(qū)域的三通道值r、g、b分別進行歸一化處理，其余區(qū)域各通道值賦值為0。高亮區(qū)域的定義為亮度值超出圖像最大亮度值10%的區(qū)域。

RGB圖像只有紅、綠、藍3個顏色通道，為得到黃色通道，利用歸一化后的r、g、b值,根據(jù)Borji等[12]提出的方法重新計算4個通道值：

(2)

式中，R、G、B、Y分別為紅、綠、藍、黃4個變換得到的通道值。利用以上4個通道值，計算得出紅-綠、藍-黃的顏色對：

RG=|R-G|

(3)

BY=|B-Y|

(4)

式(3)、(4)中利用色彩絕對值，突顯出2個相反顏色中興奮值。

1.3 方向特征提取

大腦初級視覺皮層細胞對特定方向的刺激有強烈的反應。Daugman[14]研究發(fā)現(xiàn)，Gabor濾波器與視覺皮層的反應較為相近?；诖耍疚牟捎枚SGabor濾波器對圖像方向特征進行描述：

(5)

該函數(shù)由高斯核函數(shù)和余弦函數(shù)調制得出。其中：x′=xcosθ+ysinθ，y′=-xsinθ+ycosθ；λ為余弦函數(shù)的波長；θ為Gabor濾波器的方向；ψ表示相位；σ為高斯包絡的標準差。依據(jù)文獻[12]的簡化方法，固定次要變量，設定λ=7，ψ=0，γ=1，σ=2.333。對于重要變量θ，選擇了4個代表性的方向，分別為0°，45°，90°和135°，以此構造出4個濾波器，將輸入圖像濾波獲得4個方向的特征圖。

2 特征顯著圖構建與融合

2.1 特征顯著圖構造

圖像金字塔是以多分辨率來解釋圖像的一種結構，最初用于圖像壓縮。所謂圖像金字塔模型，是通過對輸入圖像構造不同分辨率的圖像組，按序排列形如金字塔的圖像集合。圖像高斯金字塔變換示意圖如圖1所示。

圖1 圖像高斯金字塔尺度變換Fig.1 Image Gauss pyramid scale transformation

特征顯著圖的構建依據(jù)Rodieck等[15]提出的生物同心圓拮抗感受野的數(shù)學模型。圖像高斯金字塔的尺度變換利用了低通濾波器-高斯函數(shù)對圖像進行平滑處理，降采樣(比例為1/2)對圖像進行變換，獲得尺度依次遞減的圖像組I(σ),其中σ=0,1,2,…,8。以亮度圖為例，

I(t,b)=|I(t)ΘI(t+b)|

(6)

式中：t=2,3,4;b=3,4(見圖1)；符號Θ表示2幅圖像相減。由于2幅特征圖尺度不同，在處理前需將小尺度圖像放大至大尺度圖像，這樣，利用每個特征圖構造出的9個金字塔圖像可計算得出6幅高斯差分圖。類似地，將色彩、方向等7個特征進行差分計算，共計獲得42幅特征顯著圖。

2.2 特征篩選

為模擬神經元側抑制，剔除冗余信息，增強反差效果[15]，需要對2.1中計算得出的42幅特征顯著圖進行特征競爭和篩選。

本文采用迭代的局部交互方式，對大量反復出現(xiàn)的特征區(qū)域相互抑制，突出少量出現(xiàn)的顯著區(qū)域。利用Rodieck[15]提出的感受野數(shù)學模型：

(7)

式中：σex=2%，表示興奮區(qū)域的范圍；σih=5%表示抑制區(qū)域的范圍；cex為興奮常數(shù)；cih為抑制常數(shù)，取值參照文獻[16]分別設定為0.5和1.5。利用該函數(shù)對特征圖并行濾波，以迭代的方式逐漸抑制圖像的均勻區(qū)域，突出顯著區(qū)域。

2.3 特征顯著圖融合

亮度、顏色及方向特征的顯著圖處理后分別得出1、2、4幅顯著圖，因此需將多個特征顯著圖進行融合，合并為一幅最終的服飾視覺顯著圖。

首先，需對同類特征顯著圖進行歸一化合并處理。顏色特征和方向特征分別有多幅特征顯著圖，需進行合并處理。以方向特征為例，將4幅歸一化合并出的圖再次處理，得到方向特征的總體顯著圖。

(8)

(9)

3 視覺注意熱區(qū)分析

利用圖像分析技術，客觀地描繪視覺熱區(qū)，并提出視覺覆蓋率和分散度2個指標，用以衡量服裝設計元素的視覺關注效果。

3.1 視覺覆蓋率

基于2.3節(jié)提出的視覺綜合特征顯著圖，首先按照顯著權重對熱點覆蓋區(qū)域占比進行評價，得出視覺覆蓋率(Hv)評價指標。

(10)

式中：i為熱點分割圖中0～255之間的任意亮度值；Si為亮度值為i的像素點個數(shù)；S為圖像像素點總數(shù)；Hv結果采用百分制表示。

3.2 視覺分散度

此外，為測定視覺分散特征，首先提取熱點分割圖中視覺落點最為顯著和致密的區(qū)域，并提取出視覺重心Pc，目的在于尋找出該陳列場景的聚焦落點位置。視覺分散度依據(jù)次顯著落點與視覺重心的分離程度進行測算：

(11)

4 結果與分析

服裝設計中涵蓋了色彩、造型、款式、材質等基本要素，構成了服裝整體視覺效果，因此本文實驗選取了色塊圖、不同紋理的材質圖、配飾效果圖、服裝款式圖及成衣圖進行視覺顯著性檢測。以上算法采用Visual V++語言編程，實現(xiàn)檢測結果的輸出和存儲。

以圖2所示色塊圖為例，顏色涵蓋黑、品紅、黃、藍及過渡色塊，包含了常用的主要色彩。以此圖為檢測對象，檢驗本文方法對不同顏色的敏感程度及關注區(qū)域。

圖2 色塊圖Fig.2 Color blocks map

圖3示出色塊圖的視覺顯著度檢測結果?？煽闯?，色塊圖的視覺顯著性檢測分布因輸入圖像的顏色及亮度的不同而產生差異。圖中：灰度值越大(原值越接近255，歸一化值越接近1)，表明視覺關注度越顯著；灰度值越小(原值越接近0，歸一化值越接近0)，則表明視覺關注度越低。除表達出視覺顯著程度外，若根據(jù)該圖的域值進行分割，便可有效地劃分出輸入圖像的顯著區(qū)域。

圖3 色塊圖的視覺顯著度檢測結果Fig.3 Visual saliency detection of color blocks

為更好地將顯著結果可視化表達出來，本文實驗將不同顯著度定義為不同的顏色，其中深紅色表示視覺關注度最高，黃色次之，綠色、藍色、灰色部分的顯著度依次衰減，處理結果如圖4所示。服飾設計傳達效果除色彩外，與作品本身的材質、紋理、廓型等息息相關。圖5～8分別示出面料、配飾、成衣圖、著裝圖的視覺顯著性檢測結果。

圖4 色塊圖的視覺熱點分布圖Fig.4 Visual hot area distribution of color blocks

圖5 縐組織織物視覺顯著性檢測結果Fig.5 Visual saliency detection of wrinkled fabric.(a)Original image;(b)Visual hot map;(c)Overlay visual area;(d)Visual dispersive map

圖6 彩繪襪視覺顯著性檢測結果Fig.6 Visual saliency detection of painted socks image.(a)Original image;(b)Visual hot map;(c)Overlay visual area;(d)Visual dispersive map

圖7 成衣圖視覺顯著性檢測結果Fig.7 Visual saliency detection of garment image.(a)Original image; (b)Visual hot map;(c)Overlay visual area; (d)Visual dispersive map

圖8 著裝圖視覺顯著性檢測結果Fig.8 Visual saliency detection of dress chart.(a)Original image; (b)Visual hot map;(c)Overlay visual area; (d)Visual dispersive map

2.2中的特征篩選和融合充分模擬了人眼的中心偏差理論，即假定人眼的初始視野中心鎖定在圖像的中心，并將人的視覺中心設定為顯著性特征的分布中心后進行特征的篩選和融合。圖5中縐組織織物的視覺顯著圖最為顯著的區(qū)域集中在圖像中心區(qū)域，這是由于其表面紋理分散均勻，其視覺覆蓋率Hv為35.33%，視覺分散度Dv為0.7082；而圖6、7的顯著區(qū)域集中在色彩和形狀沖突嚴重的位置，圖6的視覺覆蓋率Hv為22.57%，視覺分散度Dv僅為0.279 7，圖7的視覺覆蓋率Hv為17.73%，視覺分散度Dv更低，其值為0.137 1。圖8示出人體穿著服裝的整體效果，其視覺興趣在檢測中不僅包含服裝，還涵蓋了人體形態(tài)和面部特征，因此其視覺關注區(qū)域集中在考慮到服裝顯著性的同時，也對人體的裸露部分進行視覺追蹤。視覺落點集中到面部區(qū)域和少量的服裝區(qū)域，其視覺覆蓋率Hv為22.50%，視覺分散度Dv為0.180 2。以上典型樣本顯著中心分散到圖像色彩、亮度或紋理方向突出的區(qū)域中，與人眼的視覺機制較為吻合。視覺熱點圖可視化地描繪了圖像各區(qū)域的顯著情況，而視覺覆蓋率和分散度用于對圖像顯著性的2個方面進行全局性描述和定量評價。

在檢測速度方面，以1幅尺度為840像素×1 100像素、分辨率為120像素的色塊圖(見圖2)為例，系統(tǒng)檢測時間為0.886 s。系統(tǒng)硬件配置為：CPU Intel(R)2.70 GHz，RAM為8 GB。本文實驗選取的圖像最大尺度為1 200像素×3 200像素，最小尺度為500像素×500像素，檢測時間均小于1 s，檢測耗時隨著圖像分辨率及尺度等的差異會有所不同。

5 結 論

從機器視覺角度提出了采用圖像視覺顯著性檢測，以滿足當前服飾品設計的客觀、批量化評估的需求。首先對圖像亮度、顏色、紋理方向等底層特征進行提取，利用多尺度的分解方法構建出金字塔模型；采用歸一化合并的方式對特征顯著圖進行濾波；最后，對形成的3類特征圖進行融合，根據(jù)顯著程度繪制出視覺熱點圖及亮度圖，從而劃分圖像的視覺顯著區(qū)域，并提出了2個用于全局性評價整幅圖像顯著度的評價指標。

結果表明，本文所采用的算法可快速完成服飾圖像的視覺顯著區(qū)域及顯著程度的檢測，本文實驗所采用的圖像檢測時間均小于1 s。服飾設計視覺顯著性檢測方法的研究，有助于實現(xiàn)產品設計質量的客觀、批量化評估，對平面廣告、家裝設計、店鋪陳列同樣具有一定的應用價值。后續(xù)的研究重點將關注算法檢測出的視覺顯著區(qū)域及顯著度與眼動儀對主觀受試者檢測均值的一致性，從而對算法進行優(yōu)化，以適應紡織品服裝視覺顯著性檢測需求。本文融合圖像底層特征形成視覺顯著圖，一定程度上反映了服飾圖像的視覺沖擊力，有助于促進今后服飾部件自動分解和語義解讀的深入研究。

[1] BESTLEY R, NOBEL I. Visual Research: An Introduction to Research Methods in Graphic Design[M]. London:Bloomsbury Publishing, 2016:15-18.

[2] 鄭晶晶, 季曉芬. 消費者對服裝陳列的視覺感知[J]. 紡織學報, 2016, 37(3):160-165.

ZHENG Jingjing, JI Xiaofen. Visual perception of consumers on clothing display[J]. Journal of Textile Research, 2016, 37(3):160-165.

[3] 穆紅, 林清華. 基于視覺搜索的服裝店鋪陳列優(yōu)化[J]. 紡織學報, 2015, 36(9):125-128.

MU Hong, LIN Qinghua. Display optimizing of retail clothing store based on visual search[J]. Journal of Textile Research, 2015, 36(9):125-128.

[4] WORKMAN J E, CALDWELL L F. Centrality of visual product aesthetics, tactile and uniqueness needs of fashion consumers[J]. International Journal of Consumer Studies, 2007, 31(6): 589-596.

[5] 范康寧. 服裝設計中的色彩運用[J]. 美術大觀, 2009(9): 128.

FAN Kangning.Color application in fashion design[J]. Art Panorama, 2009(9): 128.

[6] 厲莉. 基于服裝品牌產品的視覺識別元素應用系統(tǒng)研究[D]. 上海：東華大學, 2012:3-4.

LI Li .Study on application systems of visual identity elements based on the products of apparel brand[D].Shanghai:Donghua University,2012:3-4.

[7] 馬冬陽, 周洪雷, 王云儀. 服裝非對稱外輪廓設計的視覺均衡感研究[J]. 東華大學學報(社會科學版), 2012, 12(3): 196-199.

MA Dongyang,ZHOU Honglei,WANG Yunyi. Study on visual balance of asymmetrical apparel contour design[J]. Journal of Donghua University(Social Sciences Edition), 2012, 12(3): 196-199.

[8] 胡寧. 基于視覺注意機制的服飾平面廣告[D]. 上海：東華大學, 2010:4-8.

HU Ning. Study on assessment of fashion print advertisement based on visual attention mechanism[D]. Shanghai:Donghua University,2010:4-8.

[9] 蔡鈺茹, 陳彩霞, 楊以雄. 基于頭盔眼動跟蹤實驗的服裝賣場櫥窗陳列探析[J]. 東華大學學報(社會科學版), 2013, 13(2): 81-86.

CAI Yuru,CHEN Caixia,YANG Yixiong. Research on display of clothing store window based on helmet eye tracking experiment[J]. Journal of Donghua Univer-sity(Social Sciences Edition), 2013, 13(2): 81-86.

[10] 管聲啟, 高照元, 吳寧, 等. 基于視覺顯著性的平紋織物疵點檢測[J]. 紡織學報, 2014, 35(4):56-61.

GUAN Shengqi,GAO Zhaoyuan,WU Ning,et al. Defect detection of plain weave based on visual saliency mechanism[J].Journal of Textile Research,2014, 35(4):56-61.

[11] 王巖. 視覺注意模型的研究與應用[D]. 上海：上海交通大學, 2012:7-8.

WANG Yan. Research and application of visual attention model[D]. Shanghai:Shanghai Jiaotong University,2012:7-8.

[12] BORJI A, SIHITE D N, ITTI L. What stands out in a scene? a study of human explicit saliency judgment[J]. Vision Research, 2013, 91(15): 62-77.

[13] GUNJAL B L, MALI S N. Comparative performance analysis of DWT-SVD based color image watermarking technique in YUV, RGB and YIQ color spaces[J]. International Journal of Computer Theory and Engineering, 2011, 3(6): 714.

[14] DAUGMAN J G. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1988, 36(7): 1169-1179.

[15] RODIECK R W, STONE J. Analysis of receptive fields of cat retinal ganglion cells[J]. Journal of Neurophysiology, 1965, 28(5): 832-849.

[16] LI Zhicheng, ITTI L. Saliency and gist features for target detection in satellite images[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2017-2029.