基于三維視覺的服裝信息智能提取方法*

于述平

(大連藝術(shù)學(xué)院 服裝系， 遼寧 大連 116600)

服裝自動化生產(chǎn)是服裝生產(chǎn)企業(yè)的發(fā)展趨勢，在平常的服裝生產(chǎn)場景中，服裝的擺放狀態(tài)通常不整潔，表面容易出現(xiàn)褶皺，為服裝圖像二維信息提取帶來了困難，影響后續(xù)的服裝智能化生產(chǎn).智能三維圖像處理技術(shù)的不斷改進(jìn)，為服裝信息的智能提取提供了技術(shù)支持.三維圖像處理是多角度視覺、多負(fù)載模型、多時間相位和多方向傳感等技術(shù)的統(tǒng)稱，用來觀測大覆蓋面積的事物，可做到精細(xì)信息的高強度提取[1].

目前，通過空間定位的服裝信息智能提取方法有很多，文獻(xiàn)[2]引入了光學(xué)定位技術(shù)，通過光學(xué)攝像機從服裝的頂部開始進(jìn)行圖像拍攝，借助定位系統(tǒng)掃描服裝圖像，對掃描信息進(jìn)行處理后即可提取出服裝信息，這種方法隨著傾斜角定位技術(shù)的興起而被逐漸取代；文獻(xiàn)[3]闡述了基于傾斜角定位技術(shù)的智能提取方法，比起光學(xué)定位技術(shù)，其在處理服裝信息遮擋方面表現(xiàn)出更高的精度，但在實際使用中由于要不斷變更觀測角度，操作難度很大.由此可知，服裝三維信息提取需要一種簡易且觀測精準(zhǔn)的多角度視覺技術(shù)，歐洲一些國家曾投入大量資金用于研究符合這種要求的提取方法，如文獻(xiàn)[4-5]使用的人工視覺和單目序列技術(shù)，但至今為止，高度可靠的服裝信息智能提取方法仍十分少見.

三維視覺是空間遙感中相對成熟的技術(shù)之一，具備良好的立體觀測潛力，因此，本文提出一種基于三維視覺的服裝信息智能提取方法.基于三維視覺拍攝到的服裝圖像，其優(yōu)點較為明顯，主要表現(xiàn)為信息采集點方位清晰、背景干擾易于去除等，通過評價圖像對比度視覺強弱關(guān)系進(jìn)行三維圖像分割，其運算量小，空間干擾低，信息提取結(jié)果準(zhǔn)確度高.

1　智能提取方法

1.1　設(shè)計方法總體流程

基于三維視覺的服裝信息智能提取方法將企業(yè)生產(chǎn)過程中的服裝成品設(shè)為研究對象，圖1為方法總體流程圖.

圖1　方法總體流程圖Fig.1　Overall flow chart of method

通過三維視覺采集服裝圖像時，人為手動開啟三維視覺成像系統(tǒng)，提取視頻中含有服裝結(jié)構(gòu)和材質(zhì)的重點幀，通過分析幀的先后順序組成三維視覺服裝圖像[6].一方面對重點幀進(jìn)行像素估計，獲取圖像背景和前景的估計結(jié)果；另一方面將圖像切割成塊并分析圖像像素視覺的強弱關(guān)系，在切割塊的基礎(chǔ)上計算并優(yōu)化三維圖像的顯著性.將背景估計結(jié)果和顯著性計算結(jié)果相融合，并設(shè)置閾值進(jìn)行結(jié)果校準(zhǔn)，最終提取出服裝信息.

1.2　基于聚類技術(shù)的三維視覺圖像切割方法

基于三維視覺的圖像切割方法將三維視覺圖像看成一張無方向圖[7]，設(shè)G=(V，E)，V為服裝結(jié)構(gòu)頂點像素集合，其內(nèi)部元素為vi；E為服裝邊線集合，其內(nèi)部元素為vj.兩個結(jié)構(gòu)頂點用一條邊線連接，稱為邊線段，其關(guān)系式為(vi，vj)∈E，邊線段(vi，vj)在集合E中的比重大于或等于零，比重為w，它取決于兩個結(jié)構(gòu)頂點之間的特征差值，可由灰度和色彩度等特征入手求取.

三維視覺圖像切割塊集合為S，其定義是：服裝結(jié)構(gòu)頂點像素集合V經(jīng)由S被切割成數(shù)目不定的切割塊C，C∈S，切割后三維視覺圖像被轉(zhuǎn)化成新的無方向圖，用G*=(V，E*)表示，E*為E的子集[8].最好的切割結(jié)果是切割塊中所有服裝結(jié)構(gòu)頂點的像素比重越小越好，服裝邊線比重則越大越好.三維視覺通過聚類技術(shù)把特征相似的結(jié)構(gòu)頂點融合在一起，使用最小生成樹構(gòu)造最小比重像素樹，獲取頂點邊線，完成三維視覺服裝圖像切割，得到最佳切割塊集合.

聚類技術(shù)從三維視覺服裝圖像的最高結(jié)構(gòu)頂點開始進(jìn)行融合，需要應(yīng)用到圖像的色彩度，分別用(r1，g1，b1)和(r2，g2，b2)表示兩個最高的結(jié)構(gòu)頂點坐標(biāo)，其間距為

(1)

在三維視覺圖像中，兩點之間的距離可直接用來評價塊與塊之間的特征差值，大致切割出圖像特征區(qū)域.圖2為三維數(shù)據(jù)圖像皺褶區(qū)、平整區(qū)、高聚集區(qū)的聚類前像素點示例圖，可以看到未經(jīng)聚類技術(shù)處理之前，高聚集區(qū)的特征差值獨立區(qū)過小，皺褶區(qū)的切割塊之間難以分離，僅平整區(qū)的切割效果可用，這些情況不利于進(jìn)行服裝信息精準(zhǔn)提取[9].

聚類技術(shù)為了改善以上不利情形，采用自適應(yīng)方法計算三維視覺服裝圖像的像素差值，設(shè)圖2切割結(jié)果中某一個切割塊C的個體像素差值等于其服裝邊線比重最大值，也就是極大像素差值，即

Int(C)=MAXC∈G(C，E)，w(C)

(2)

兩個切割塊C1和C2之間的像素差值等于服裝結(jié)構(gòu)頂點比重最小值，其表達(dá)式為

Dif(C1，C2)=MINvi∈C1，vj∈C2，w(vi，vj)

(3)

如果C1和C2之間不相鄰，則有

Dif(C1，C2)=∞

(4)

式(2)、(3)中定義的像素差值需要進(jìn)行匹配分析，確定切割塊C1和C2是否應(yīng)該融合，匹配分析函數(shù)表達(dá)式為

圖2　色彩度特征切割示例圖Fig.2　Cutting examples of color degree features

(5)

式中：true為“應(yīng)該融合”；false為“不應(yīng)該融合”；MInt(C1，C2)為利用最小生成樹構(gòu)造最小比重的像素樹，其表達(dá)式為

MInt(C1，C2)=MIN[Int(C1)+τ(C1)，

Int(C2)+τ(C2)]

(6)

由式(5)計算可得，“不應(yīng)該融合”的原切割塊應(yīng)列隊進(jìn)入G*=(V，E*).

1.3　基于對比度的顯著性計算

色彩度特征切割是在三維視覺服裝圖像RGB色彩模式上進(jìn)行的，顯著性則需要在Lab(顏色模型)上進(jìn)行計算[10]，這期間包含一個將RGB轉(zhuǎn)換成Lab的坐標(biāo)更替過程，切割塊坐標(biāo)也隨之自動變化.設(shè)PK、PL為三維視覺服裝圖像P的像素和亮度，坐標(biāo)更替函數(shù)表達(dá)式為

(7)

式中：D()為坐標(biāo)距離度量；m為像素點數(shù)量.

圖3為RGB同Lab的坐標(biāo)轉(zhuǎn)換原理圖.由圖3可以獲取Lab坐標(biāo)的取值范圍，其中，L為亮度，也就是黑白單色，取值為0～100；a為紅綠色彩區(qū)間，取值為-130～130；b為黃藍(lán)色彩區(qū)間，取值同紅綠色彩區(qū)間.

圖3　RGB同Lab的坐標(biāo)轉(zhuǎn)換原理圖Fig.3　　　　Principle diagram of coordinate conversion between RGB and Lab

三維視覺服裝圖像的對比度定義為任意像素點Ci與其他像素點Cj的色彩度距離總和[11].由對比度定義可知，色彩度一致的像素點，其對比度顯著性o(Ci)也是相同的，其表達(dá)式為

(8)

式中：n為三維視覺服裝圖像中色彩度總量；fi為像素點Ci色彩度的顯示比重.

三維視覺服裝圖像的顯示效果較好，色彩度總量高達(dá)上千種，使用式(8)進(jìn)行計算過于浪費時間，可以通過圖像平滑降低像素點對比度，對高頻色彩著重定義，將低頻色彩用平均色彩度聚眾處理，這樣色彩度總量可以降至100種以下[12].但上述過程出現(xiàn)的圖像噪聲也不容忽視，可采取計算加權(quán)平均值的方法減少圖像噪聲，則式(8)可轉(zhuǎn)化為

(9)

基于對比度的顯著性計算方法是在各個圖像切割塊中進(jìn)行計算的，不但要進(jìn)行單一像素點與其他像素點的比對，還要進(jìn)行任意切割塊與其他切割塊的比對，這樣才能提取出整個三維視覺服裝圖像的顯著性信息.任意兩個切割塊Ri和Rj之間的色彩度像素距離為

(10)

式中：ni、nj為兩個切割塊的色彩度總量；f(Cm，i)為Ri中色彩Cm，i的顯示比重；f(Cn，j)為Rj中色彩Cn，j的顯示比重.

由于服裝信息應(yīng)從圖像中間提取，因此，應(yīng)增加中間區(qū)域色彩的顯示比重，添加一個比重量，即

(11)

式中：|Rj|為切割塊中的所有像素點；σ為比重調(diào)整參數(shù).

根據(jù)式(10)、(11)，切割塊之間的顯著性計算公式為

o(Ri)=w(Rj)Dr(Ri，Rj)∑w(Rj)

(12)

1.4　基于高斯函數(shù)的背景參數(shù)估計

像素估計是由于三維視覺服裝圖像中背景嚴(yán)重干擾了服裝信息的提取精度而產(chǎn)生的去噪方法，像素估計分前景刪除和背景估計.前景是要進(jìn)行服裝信息提取的目標(biāo)區(qū)域，背景是前景的干擾信息.高斯函數(shù)定義了圖像前景的像素分布規(guī)律，以此來區(qū)分前景與背景.

對服裝生產(chǎn)視頻中的事物來說，單位時間內(nèi)動作變動小的最可能是服裝信息提取的目標(biāo)區(qū)域，由于機械設(shè)備的控制動作更加精細(xì)，每時每刻都在發(fā)生變動，服裝只是機械設(shè)備的控制物體[13].高斯分布根據(jù)w/σ的比值關(guān)系對三維視覺服裝圖像中的像素點進(jìn)行由大到小排列，利用排列規(guī)律關(guān)聯(lián)背景的變動情況.排列在前端的高斯分布動作變動較大，因此是前景，設(shè)有N個前端數(shù)據(jù)，T為前景動作的閾值，刪除前景便可得到背景估計結(jié)果，其表達(dá)式為

(13)

1.5　服裝三維信息的智能提取

將背景估計結(jié)果和顯著性計算結(jié)果融合，設(shè)置一個閾值進(jìn)行服裝信息提取結(jié)果校準(zhǔn)，過程函數(shù)可表示為

(14)

式中：H為三維視覺成像系統(tǒng)的圖像信息分布強度，一般與系統(tǒng)的運算速度有關(guān)，正常情況下H取值4或5；η(C)為閾值，在圖像顯著性被正確定義的前提下，其提取函數(shù)表達(dá)式為

(15)

其中，u為三維視覺成像系統(tǒng)允許的最大視覺偏差.

2　實驗方法及分析

2.1　實驗場景搭建

對本文提出的基于三維視覺的服裝信息智能提取方法進(jìn)行魯棒性和三維填補效果的性能解析，利用傾斜角遙感法和單目序列法與本文方法進(jìn)行對比，實驗場景如圖4所示，圖右側(cè)是一個三維視覺成像系統(tǒng)，左側(cè)連接計算機進(jìn)行服裝信息的處理和顯示.選擇一段長度為2 h的連衣裙生產(chǎn)視頻，事先建立出一個三維坐標(biāo)系，以水平面為X軸，Y軸由北向南延伸，原點位于幀中點.三種服裝信息智能提取方法各自使用的坐標(biāo)系均由事先建立的坐標(biāo)系轉(zhuǎn)動形成，這樣可以避免一部分實驗測量誤差.表1為實驗程序試穿模型參數(shù).

圖4　實驗場景圖Fig.4　Experimental scene

身高cm體重kg胸圍cm腰圍cm肩寬cm臀圍cm背長cm16350846839.59037

2.2　魯棒性實驗

在解析服裝信息智能提取方法魯棒性的實驗中，對三種方法使用的三維坐標(biāo)軸進(jìn)行旋轉(zhuǎn)，獲取服裝信息提取結(jié)果的特征變化狀態(tài).當(dāng)旋轉(zhuǎn)Z軸和Y軸所處平面時，服裝信息提取結(jié)果的特征變化將顯示在X軸上，如果距離變動較大，那么相關(guān)方法則不能描述出服裝信息的真實狀態(tài)，表現(xiàn)為魯棒性不強.

圖5～7分別為特征變化顯示在X軸、Y軸和Z軸上的記錄曲線，所選取的旋轉(zhuǎn)角度均從0°開始，至360°停止.

圖5　X軸特征變化曲線Fig.5　Characteristic variation curves of X axis

圖6　Y軸特征變化曲線Fig.6　Characteristic variation curves of Y axis

圖7　Z軸特征變化曲線Fig.7　Characteristic variation curves of Z axis

從三個坐標(biāo)軸的變化曲線中可以看到，Y軸的距離特征變化值最大，呈波動上升趨勢，其次是X軸，呈波動下降趨勢，Z軸呈現(xiàn)出的是一種近似周期性、小規(guī)模的特征變化.對于傾斜角遙感法和單目序列法來說，本文提出的三維視覺法距離特征變化值最小，魯棒性最強.

三維坐標(biāo)軸旋轉(zhuǎn)會產(chǎn)生一定的誤差，匹配度代表了服裝信息智能提取方法對誤差的排除程度，也是魯棒性的一種解析指標(biāo).本文方法由于特征變化而產(chǎn)生的三維視覺特征匹配度為

Acc=U0/U

(16)

式中：U0為正確的特征匹配數(shù)量；U為特征總量.

計算三維視覺特征匹配度時，在各坐標(biāo)軸的U0上引入旋轉(zhuǎn)誤差B，其表達(dá)式為

(17)

式中：M為坐標(biāo)點數(shù)量；ρ為誤差階級；zc為M的高程數(shù)值；c為zc的序列.

計算出本文方法旋轉(zhuǎn)三個坐標(biāo)軸的三維視覺特征匹配度，并繪制成曲線圖，結(jié)果如圖8所示.本文方法在三個坐標(biāo)軸上的匹配度受旋轉(zhuǎn)誤差影響不大，基本維持在0.9以上，表明其具有魯棒性強的性能優(yōu)勢.

圖8　本文方法匹配度曲線Fig.8　Matching degree curves of proposed method

2.3　三維填補效果實驗

一般來說，將服裝信息引入三維坐標(biāo)系得到的三維信息結(jié)構(gòu)容易因為服裝材質(zhì)光學(xué)性能的差異而減弱服裝信息提取精度，對三維信息結(jié)構(gòu)進(jìn)行填補是服裝信息智能提取方法必須擁有的基本性能.實驗利用本文方法、傾斜角遙感法和單目序列法先對目標(biāo)服裝信息進(jìn)行提取，獲取服裝信息測量特征值與目標(biāo)特征值之間的間距，觀察三種方法所提取信息特征點之間的密集程度，用來解析各方法的三維填補效果.

實驗所用的服裝信息在提取角度為30°、90°和180°時擁有結(jié)構(gòu)、能量和相關(guān)性3個重要特征類型，相關(guān)提取信息結(jié)果如表2所示.

表2　服裝信息特征點提取結(jié)果Tab.2　Extraction results of feature points of clothing information

將表2中目標(biāo)特征值與測量特征值相減取絕對值，得到的三維填補效果解析數(shù)據(jù)如表3所示.

由表3給出的數(shù)據(jù)可知，本文方法所提取的信息特征點之間密集程度良好，表示其能夠精準(zhǔn)描述服裝信息的局部特征細(xì)節(jié)，具有良好的三維填補效果.

表3　三維填補效果解析數(shù)據(jù)Tab.3　Analytic data of 3D filling effect

3　結(jié)　論

三維視覺具有像素清晰、運算量小、空間干擾度低等優(yōu)點，本文研究了基于三維視覺的服裝信息智能提取方法，同時應(yīng)用了三維視覺成像系統(tǒng)、聚類技術(shù)、高斯函數(shù)、對比度、顯著性等定義以及原理，通過實驗解析了本文方法的性能優(yōu)勢.實驗結(jié)果表明，在相同條件下與傾斜角遙感法和單目序列法相比，本文方法的魯棒性更強，三維填補效果更好.