基于CPM及親和度向量的服裝關(guān)鍵點(diǎn)檢測(cè)方法

湯啟凡，黃 晉，何儒漢，彭 濤，陳 佳

(1.紡織服裝智能化湖北省工程研究中心 湖北 武漢 430200；2.武漢紡織大學(xué) 計(jì)算機(jī)與人工智能學(xué)院 湖北 武漢 430200；3.湖北省服裝信息化工程技術(shù)研究中心 湖北 武漢 430200)

0 引言

隨著服裝網(wǎng)購(gòu)的迅速發(fā)展，消費(fèi)者可以便捷地選購(gòu)服飾，同時(shí)也對(duì)服裝樣式提出了個(gè)性化的需求。為了盡可能準(zhǔn)確地描述并展示在消費(fèi)者面前各種款式的服裝姿態(tài)，現(xiàn)有的方法主要是利用服裝關(guān)鍵點(diǎn)對(duì)服裝進(jìn)行定位，然后連接所有關(guān)鍵點(diǎn)以確定服裝的大致輪廓[1]。服裝關(guān)鍵點(diǎn)的定位是一項(xiàng)基礎(chǔ)性的工作，能夠推動(dòng)在線試衣、服飾部位對(duì)齊、服飾局部屬性識(shí)別、服飾圖像自動(dòng)編輯等應(yīng)用[2]。

與人體關(guān)鍵點(diǎn)檢測(cè)相比，服裝關(guān)鍵點(diǎn)檢測(cè)有其自身的特殊性。首先類別作為服裝重要的屬性，影響著關(guān)鍵點(diǎn)的數(shù)量和關(guān)鍵點(diǎn)的空間分布。例如連衣裙的關(guān)鍵點(diǎn)數(shù)量為15個(gè)，分布在連衣裙的肩部、腰部等位置。褲子的關(guān)鍵點(diǎn)數(shù)量為7個(gè)，分布在褲腳等位置。在關(guān)鍵點(diǎn)數(shù)量和分布上，連衣裙和褲子存在明顯的差別；相同類別服裝在款式設(shè)計(jì)上也存在差異，且柔性的服裝容易受外部因素的影響而發(fā)生較大的形變；在真實(shí)環(huán)境中服裝可能部分被遮擋，這會(huì)破壞了服裝的完整性，直接改變了服裝關(guān)鍵點(diǎn)的個(gè)數(shù)和分布；服裝在展示時(shí)可能出現(xiàn)多個(gè)部位重疊，這會(huì)導(dǎo)致多個(gè)關(guān)鍵點(diǎn)重合或聚集。

本文針對(duì)服裝關(guān)鍵點(diǎn)檢測(cè)難點(diǎn)，借鑒人體關(guān)鍵點(diǎn)檢測(cè)方法，提出了一個(gè)兩階段的檢測(cè)方法。首先，F(xiàn)aster RCNN能夠確定服裝的類別和目標(biāo)區(qū)域，旨在縮小關(guān)鍵點(diǎn)檢測(cè)的范圍，降低復(fù)雜背景的干擾。通過(guò)類別屬性確定服裝關(guān)鍵點(diǎn)的數(shù)量和空間分布，減小由于關(guān)鍵點(diǎn)數(shù)量不定對(duì)檢測(cè)的影響。其次，借鑒并改進(jìn)人體關(guān)鍵點(diǎn)檢測(cè)方法，同時(shí)采用親和度向量對(duì)服裝關(guān)鍵點(diǎn)信息建模，實(shí)現(xiàn)相鄰點(diǎn)間相對(duì)距離和相對(duì)角度約束，該模型對(duì)多類別服裝的形變、部分遮擋等都具有較強(qiáng)魯棒性，能更準(zhǔn)確地提取關(guān)鍵點(diǎn)特征。

本文貢獻(xiàn)如下:

1) 提出了一種兩階段服裝關(guān)鍵點(diǎn)檢測(cè)模型，將服裝的類別屬性和邊界框信息作為先驗(yàn)信息[3]加入到服裝關(guān)鍵點(diǎn)檢測(cè)中。不僅有效縮小了檢測(cè)的范圍，并根據(jù)服裝類別確定服裝關(guān)鍵點(diǎn)的空間分布。

2) 根據(jù)服裝關(guān)鍵點(diǎn)位置分布不定的特點(diǎn)改進(jìn)原有的CPM網(wǎng)絡(luò)，加入空洞卷積以增大感受野，使單張?zhí)卣鲌D[4]上包含更多關(guān)鍵點(diǎn)信息，獲得更多有效特征。同時(shí)使用中間監(jiān)督機(jī)制，加快模型的訓(xùn)練。

3) 提出了一種基于親和度向量的關(guān)鍵點(diǎn)檢測(cè)方法，定義了服裝相鄰關(guān)鍵點(diǎn)的親和度向量。依據(jù)相鄰關(guān)鍵點(diǎn)之間的空間相關(guān)性，建立相鄰點(diǎn)間相對(duì)距離和相對(duì)角度約束，不僅可以防止檢測(cè)中遺漏關(guān)鍵點(diǎn)，還可以有效解決關(guān)鍵點(diǎn)的分散性、背景復(fù)雜、遮擋等難題。

1 相關(guān)工作

1.1 人體關(guān)鍵點(diǎn)檢測(cè)

現(xiàn)有人體關(guān)鍵點(diǎn)檢測(cè)的研究主要集中在提取關(guān)鍵點(diǎn)位置信息和消除復(fù)雜背景影響兩個(gè)方向。針對(duì)關(guān)鍵點(diǎn)位置信息的提取，Wei[5]等綜合考慮了關(guān)鍵點(diǎn)的位置特征和空間分布信息，引入關(guān)鍵點(diǎn)之間空間依賴的熱圖來(lái)表達(dá)關(guān)鍵點(diǎn)信息，提出了人體關(guān)鍵點(diǎn)檢測(cè)任務(wù)的通用方法卷積姿態(tài)機(jī)(convolution pose machines,CPM)，該方法在多個(gè)數(shù)據(jù)集上精確度最高。同年，Newell[6]等采用沙漏型結(jié)構(gòu)先降采樣后上采樣的方式提出SHN(stacked Hourglass network)網(wǎng)絡(luò)進(jìn)行人體關(guān)鍵點(diǎn)的檢測(cè)。上采樣使用最近鄰插值和反卷積[7]的方式，使網(wǎng)絡(luò)輸出的特征圖有較高分辨率和較大的感受野。該方法能有效防止關(guān)鍵點(diǎn)信息丟失，在MPII數(shù)據(jù)集姿態(tài)分析中獲得最優(yōu)效果。

針對(duì)復(fù)雜背景影響的問(wèn)題，研究者提出了關(guān)鍵點(diǎn)位置信息關(guān)聯(lián)和關(guān)鍵點(diǎn)位置局部調(diào)整的方法。在基于關(guān)鍵點(diǎn)位置信息關(guān)聯(lián)的方法中，Cao等采用bottom-up的模式對(duì)人體關(guān)鍵點(diǎn)進(jìn)行檢測(cè)[8]，引入親和度向量場(chǎng)(part affinity fields,PAF)來(lái)確定各個(gè)關(guān)鍵點(diǎn)的連接關(guān)系。該方法較好地解決了關(guān)鍵點(diǎn)只有位置編碼，沒(méi)有方向編碼的問(wèn)題，對(duì)遮擋、重疊等問(wèn)題有較強(qiáng)的魯棒性。在基于關(guān)鍵點(diǎn)位置局部調(diào)整的方法中，Chen等針對(duì)人體關(guān)鍵點(diǎn)不可見和復(fù)雜背景下檢測(cè)誤差大的問(wèn)題提出了級(jí)聯(lián)金字塔網(wǎng)絡(luò)(cascaded pyramid network,CPN)[9]。該方法可以提取更加豐富的語(yǔ)義信息，但隨著網(wǎng)絡(luò)模型復(fù)雜化，更多的參數(shù)將導(dǎo)致檢測(cè)效率的降低。

1.2 服裝關(guān)鍵點(diǎn)檢測(cè)

隨著時(shí)尚行業(yè)的迅速發(fā)展，服裝姿態(tài)估計(jì)和服裝關(guān)鍵點(diǎn)檢測(cè)也成為計(jì)算機(jī)視覺的重要研究方向。由于服裝具有款式多樣、姿態(tài)多變的特點(diǎn)，導(dǎo)致服裝關(guān)鍵點(diǎn)檢測(cè)比人體關(guān)鍵點(diǎn)檢測(cè)更加復(fù)雜。Liu等通過(guò)多任務(wù)復(fù)合網(wǎng)絡(luò)FashionNet聯(lián)合預(yù)測(cè)服裝類別和關(guān)鍵點(diǎn)位置[10]。Yan等提出了一種DLAN網(wǎng)絡(luò)[11]，該方法通過(guò)不同尺度特征空間的轉(zhuǎn)換器，建立高層特征圖和原圖的映射，旨在消除復(fù)雜背景的影響。在服裝關(guān)鍵點(diǎn)數(shù)量少且數(shù)量不變時(shí)可以完成檢測(cè)，但當(dāng)服裝類別增加時(shí)準(zhǔn)確度會(huì)明顯降低。Yu等為了解決服裝關(guān)鍵點(diǎn)不規(guī)則分布導(dǎo)致的關(guān)鍵點(diǎn)位置特征難以提取的問(wèn)題[12]，將提取到的關(guān)鍵點(diǎn)特征映射為結(jié)構(gòu)化的圖節(jié)點(diǎn)，然后根據(jù)圖節(jié)點(diǎn)的位置變化推理出關(guān)鍵點(diǎn)的位置，最后將圖節(jié)點(diǎn)位置映射回特征空間。該方法可以有效地增強(qiáng)關(guān)鍵點(diǎn)的特征,但該方法對(duì)圖節(jié)點(diǎn)位置變化趨勢(shì)的預(yù)測(cè)受很多因素的影響，模型訓(xùn)練時(shí)需要有更大的數(shù)據(jù)量。李維乾等為了更準(zhǔn)確地提取關(guān)鍵點(diǎn)位置信息，提出了CSPN(cascaded stacked pyramid network)模型[13]。該方法在Deepfashion數(shù)據(jù)集下檢測(cè)效果較好，但未考慮服裝類別對(duì)關(guān)鍵點(diǎn)檢測(cè)的影響，僅對(duì)關(guān)鍵點(diǎn)數(shù)量不變的情況具有魯棒性。Wang等為了在服裝關(guān)鍵點(diǎn)檢測(cè)中加入先驗(yàn)知識(shí)來(lái)引導(dǎo)關(guān)鍵點(diǎn)位置的變化[14]，提出了卷積遞歸神經(jīng)網(wǎng)絡(luò)(bidirectional convolutional recurrent neural networks，BCRNNs)。該方法根據(jù)人體運(yùn)動(dòng)學(xué)和服裝對(duì)稱性的原理，對(duì)服裝關(guān)鍵點(diǎn)建立拓?fù)浣Y(jié)構(gòu)以增強(qiáng)關(guān)鍵點(diǎn)之間的聯(lián)系。其方法具有一定的有效性，但柔性的服裝與人體運(yùn)動(dòng)變化有一定的差異，且服裝的對(duì)稱性難以保證。

已有的服裝關(guān)鍵點(diǎn)檢測(cè)方法未能很好地解決服裝姿態(tài)變化多、易受環(huán)境影響的問(wèn)題，受親和度向量場(chǎng)的啟發(fā)，根據(jù)服裝關(guān)鍵點(diǎn)雖分布范圍廣，但相鄰關(guān)鍵點(diǎn)空間位置相近且相互約束的特點(diǎn)，本文提出具有廣泛應(yīng)用性的基于CPM及親和度向量的兩階段服裝關(guān)鍵點(diǎn)檢測(cè)模型。該方法運(yùn)用親和度向量將服裝關(guān)鍵點(diǎn)兩兩相連，不僅加強(qiáng)空間位置相近的相鄰點(diǎn)的聯(lián)系，同時(shí)，間接地將所有關(guān)鍵點(diǎn)形成一個(gè)整體，使得遠(yuǎn)距離的點(diǎn)也產(chǎn)生了聯(lián)系。

2 基于CPM及親和度向量的兩階段服裝關(guān)鍵點(diǎn)檢測(cè)方法

2.1 兩階段服裝關(guān)鍵點(diǎn)檢測(cè)方法架構(gòu)

本文提出的基于CPM及親和度向量的兩階段服裝關(guān)鍵點(diǎn)檢測(cè)模型如圖1所示，該方法將目標(biāo)分類和回歸檢測(cè)兩個(gè)部分相結(jié)合。第一階段利用Faster RCNN獲得原圖像中服裝的位置和類別。第二階段將處理后的服裝圖像送入關(guān)鍵點(diǎn)檢測(cè)器中，檢測(cè)器根據(jù)服裝類別所確定的關(guān)鍵點(diǎn)數(shù)量和空間位置選擇檢測(cè)網(wǎng)絡(luò)。

圖1 關(guān)鍵點(diǎn)檢測(cè)流程圖Figure 1 Key point detection flow chart

2.2 基于CPM及親和度向量的關(guān)鍵點(diǎn)檢測(cè)器

2.2.1親和度向量 雖然服裝關(guān)鍵點(diǎn)存在分散性、背景復(fù)雜等特點(diǎn)，導(dǎo)致特征難以提取、信息易丟失，但點(diǎn)與點(diǎn)之間相互依賴、相互約束，相鄰關(guān)鍵點(diǎn)之間存在自相關(guān)性。本文對(duì)相鄰關(guān)鍵點(diǎn)的相對(duì)位置信息進(jìn)行抽象，利用親和度向量將離散的關(guān)鍵點(diǎn)按序有向連接，旨在提高相鄰關(guān)鍵點(diǎn)的相互約束，形成點(diǎn)與點(diǎn)之間的傳遞鏈，使所有服裝關(guān)鍵點(diǎn)形成一個(gè)整體，以此來(lái)適應(yīng)服裝復(fù)雜的變化。

本文定義親和度向量用于表示相鄰服裝關(guān)鍵點(diǎn)的相對(duì)位置關(guān)系，如圖2(a)所示。關(guān)鍵點(diǎn)個(gè)數(shù)為6個(gè)，點(diǎn)Xj、Xk為相鄰關(guān)鍵點(diǎn)坐標(biāo)，圖2(c)中親和度向量Xk-Xj的長(zhǎng)度d=|Xk-Xj|，方向?yàn)閄j指向Xk，與水平線的夾角為θ。如圖2(b)為網(wǎng)絡(luò)訓(xùn)練過(guò)程中的親和度向量，節(jié)點(diǎn)表示預(yù)測(cè)的關(guān)鍵點(diǎn)，節(jié)點(diǎn)上的值表示預(yù)測(cè)點(diǎn)的置信值。

圖2 親和度向量Figure 2 Affinity vector

親和度向量在模型訓(xùn)練過(guò)程中通過(guò)相鄰點(diǎn)的距離和向量角度計(jì)算，經(jīng)過(guò)網(wǎng)絡(luò)不斷學(xué)習(xí)優(yōu)化，逐步縮小距離偏差Δd和角度偏差Δθ。如圖2(d)所示為預(yù)測(cè)親和度向量與真實(shí)親和度向量，其中距離偏差Δd=‖Xk-Xj|-|xk-xj‖,角度偏差Δθ=|θk-θj|。

2.2.2關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò) 第二階段在已知服裝類別和服裝位置的情況下進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。關(guān)鍵點(diǎn)檢測(cè)器中包含多個(gè)檢測(cè)網(wǎng)絡(luò)，每個(gè)檢測(cè)網(wǎng)絡(luò)只對(duì)一種類別服裝進(jìn)行檢測(cè)。檢測(cè)網(wǎng)絡(luò)應(yīng)具有以下特點(diǎn)。

1) 為了加快檢測(cè)的速度，減少參數(shù)的數(shù)量，每個(gè)單獨(dú)的網(wǎng)絡(luò)結(jié)構(gòu)不能過(guò)于復(fù)雜。

2) 在關(guān)鍵點(diǎn)回歸時(shí)，低像素的特征圖有更豐富的語(yǔ)義信息[15]，檢測(cè)網(wǎng)絡(luò)應(yīng)具有較好的特征提取能力。

3) 關(guān)鍵點(diǎn)之間存在著或近或遠(yuǎn)的關(guān)系，檢測(cè)網(wǎng)絡(luò)要有足夠大的感受野[16]，不能丟失重要信息。

因此模型選用CPM分階段重復(fù)地提取特征，每個(gè)階段都采用相對(duì)簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)。經(jīng)過(guò)多階段持續(xù)地對(duì)關(guān)鍵點(diǎn)位置信息進(jìn)行加強(qiáng)，調(diào)整關(guān)鍵點(diǎn)的置信值，從而極大地提高檢測(cè)的精度。本文對(duì)CPM網(wǎng)絡(luò)進(jìn)行如下改進(jìn)。

1) 在每個(gè)階段的中間加入特征融合，充分提取關(guān)鍵點(diǎn)特征且防止信息丟失。每個(gè)階段之間加入中間監(jiān)督，防止反向傳播的梯度隨著過(guò)多層傳播而消失。

2) 網(wǎng)絡(luò)中加入空洞卷積來(lái)增大感受野，旨在盡可能保留關(guān)鍵點(diǎn)之間的空間位置信息。

2.3 關(guān)鍵點(diǎn)空間位置和損失函數(shù)

2.3.1關(guān)鍵點(diǎn)空間位置 為了更好地描述關(guān)鍵點(diǎn)之間的空間位置關(guān)系，本文采用高斯熱圖的方式描述關(guān)鍵點(diǎn)的坐標(biāo)信息。熱圖中每個(gè)坐標(biāo)點(diǎn)上的數(shù)值對(duì)應(yīng)的是置信值，置信值越大就越有可能是關(guān)鍵點(diǎn)，數(shù)值的大小同時(shí)也反映了關(guān)鍵點(diǎn)之間的聯(lián)系，越靠近關(guān)鍵點(diǎn)的點(diǎn)在熱圖上對(duì)應(yīng)坐標(biāo)點(diǎn)上的置信值越大，置信值服從高斯分布。關(guān)鍵點(diǎn)坐標(biāo)對(duì)應(yīng)的置信值計(jì)算為

其中：(x0,y0)代表置信值為1的關(guān)鍵點(diǎn)坐標(biāo)；(x,y)為熱圖上除關(guān)鍵點(diǎn)外的其他坐標(biāo)點(diǎn)；bv為熱圖上坐標(biāo)點(diǎn)(x,y)上對(duì)應(yīng)的置信值。

2.3.2損失函數(shù) 模型在定義損失函數(shù)時(shí)對(duì)CPM每個(gè)階段輸出的熱圖和親和度向量都有一次損失。損失函數(shù)主要由3個(gè)部分組成，關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)每個(gè)階段輸出的熱圖與標(biāo)簽熱圖的偏差(L2損失)、相鄰點(diǎn)預(yù)測(cè)距離與相鄰點(diǎn)真實(shí)距離的偏差Δd、親和度向量的方向與真實(shí)方向的偏差Δθ，損失函數(shù)L計(jì)算為

其中：α=0.5,β=0.3,γ=0.2為權(quán)重；C=256為親和度向量長(zhǎng)度歸一化常量；a為階段數(shù)，共有6個(gè)階段；n為關(guān)鍵點(diǎn)個(gè)數(shù)，根據(jù)不同類別的服裝確定；Yj表示第j個(gè)真實(shí)關(guān)鍵點(diǎn)坐標(biāo)生成的單張熱點(diǎn)圖；Hij表示在網(wǎng)絡(luò)訓(xùn)練過(guò)程中第i階段輸出的第j個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)的熱圖；Xj表示第j個(gè)真實(shí)關(guān)鍵點(diǎn)坐標(biāo)；Xk表示Xj的相鄰關(guān)鍵點(diǎn)坐標(biāo)；Xk-Xj表示真實(shí)相鄰坐標(biāo)點(diǎn)的親和度向量；xj表示在模型訓(xùn)練過(guò)程中預(yù)測(cè)的第j個(gè)關(guān)鍵點(diǎn)坐標(biāo)；xk表示xj的相鄰關(guān)鍵點(diǎn)坐標(biāo)；xk-xj表示模型預(yù)測(cè)的相鄰關(guān)鍵點(diǎn)親和度向量。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)選取2018 FashionAI服裝關(guān)鍵點(diǎn)定位數(shù)據(jù)集，共有76 866個(gè)樣本，服裝圖片被分為5大類，分別為外套、上衣、褲子、連衣裙、半身裙。服裝關(guān)鍵點(diǎn)的個(gè)數(shù)和空間位置由類別決定，圖3為不同類別服裝的關(guān)鍵點(diǎn)位置和數(shù)量。

圖3 服裝數(shù)據(jù)集Figure 3 Clothing dataset

3.2 實(shí)驗(yàn)參數(shù)和評(píng)價(jià)指標(biāo)

3.2.1實(shí)驗(yàn)參數(shù) 本文實(shí)驗(yàn)在Ubuntu16.04系統(tǒng)下的tensorflow1.13環(huán)境中完成。第一階段,使用了預(yù)訓(xùn)練模型,在已經(jīng)訓(xùn)練好的模型基礎(chǔ)上繼續(xù)進(jìn)行訓(xùn)練，輸入的原圖大小為224×224像素，batch_size為16。第二階段，為了提高模型的精度，加快損失的收斂，實(shí)驗(yàn)采用學(xué)習(xí)率下降的策略。初始的學(xué)習(xí)率為0.001，每經(jīng)過(guò)1 000個(gè)batch下降一次。

3.2.2評(píng)價(jià)指標(biāo) 本文實(shí)驗(yàn)選擇歸一化誤差率(normalized error，NE)作為評(píng)價(jià)指標(biāo)，

式中:k為關(guān)鍵點(diǎn)編號(hào);dk為預(yù)測(cè)關(guān)鍵點(diǎn)和標(biāo)注關(guān)鍵點(diǎn)的距離;sk為距離的歸一化參數(shù);vk表示關(guān)鍵點(diǎn)是否可見，vk=1表示只考慮可見的關(guān)鍵點(diǎn)。NE值越小表示關(guān)鍵點(diǎn)平均誤差越小，預(yù)測(cè)值越接近真實(shí)值。

3.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的方法在服裝關(guān)鍵點(diǎn)檢測(cè)上的有效性和優(yōu)越性，在測(cè)試時(shí)選取了6 000張不同類型的服裝，比較不同方法的NE值。

3.3.1目標(biāo)檢測(cè)和分類模塊的有效性 為了驗(yàn)證模型第一階段目標(biāo)檢測(cè)和分類模塊的有效性，實(shí)驗(yàn)比較了不同網(wǎng)絡(luò)在加入目標(biāo)檢測(cè)和分類模塊前、后對(duì)檢測(cè)精確度的影響，如圖4所示?？梢娂尤肽繕?biāo)檢測(cè)和分類模塊后的各個(gè)模型的誤差都有一定程度的減小。該模塊不僅縮小了網(wǎng)絡(luò)檢測(cè)的范圍，同時(shí)，通過(guò)類別屬性確定關(guān)鍵點(diǎn)的數(shù)量和分布，有效地提高了檢測(cè)的準(zhǔn)確率。

圖4 目標(biāo)檢測(cè)模塊對(duì)關(guān)鍵點(diǎn)檢測(cè)的影響Figure 4 Influence of target detection

接下來(lái)深入分析不同網(wǎng)絡(luò)加入親和度向量前后檢測(cè)誤差的變化，親和度向量對(duì)不同類別服裝檢測(cè)的影響。后續(xù)實(shí)驗(yàn)建立在第一階段的基礎(chǔ)上。

3.3.2親和度向量對(duì)關(guān)鍵點(diǎn)檢測(cè)的適用性 圖5展示了不同模型加入親和度向量前、后NE值的變化，可見加入親和度向量后所有網(wǎng)絡(luò)模型的檢測(cè)誤差有所減小。其中CPN原模型的檢測(cè)效果優(yōu)于CPM，在加入親和度向量后，CPM模型的檢測(cè)效果有明顯的提升，與CPN模型的效果相差不大。由于CPN網(wǎng)絡(luò)過(guò)于復(fù)雜、參數(shù)過(guò)多，在預(yù)測(cè)關(guān)鍵點(diǎn)位置時(shí)效率低，所以本文選擇CPM作為基礎(chǔ)網(wǎng)絡(luò)。表1比較了不同模型的參數(shù)量、計(jì)算量、檢測(cè)16張圖片的速度?？梢?，本文方法相對(duì)于CPN方法參數(shù)量和計(jì)算量減小，檢測(cè)速度有明顯的提升。

圖5 親和度向量對(duì)檢測(cè)的影響Figure 5 Influence of affinity vector on detection

表1 不同模型參數(shù)量和效率Table 1 The models′ parameter and efficiency

圖6對(duì)比了不同類別服裝加入親和度向量前、后NE值，可見，親和度向量可以大幅提高連衣裙、外套、褲子3個(gè)類別服裝關(guān)鍵點(diǎn)檢測(cè)的精確度。在檢測(cè)過(guò)程中，關(guān)鍵點(diǎn)的數(shù)量和分布是影響檢測(cè)精度的重要因素。親和度向量對(duì)連衣裙、外套、褲子三種類別更有效的原因是親和度向量更加適用于關(guān)鍵點(diǎn)數(shù)量多、相鄰點(diǎn)距離遠(yuǎn)的服裝類別。

3.3.3對(duì)比實(shí)驗(yàn) 為了具體地比較不同方法的檢測(cè)效果，本文利用不同方法在單一類別服裝中檢測(cè)，檢測(cè)結(jié)果NE值如表2所示。

表2 不同模型在單類服裝下檢測(cè)的NE值Table 2 The NE value of single clothing with different models 單位：%

從表2中可以看出，本文方法預(yù)測(cè)的各類服裝關(guān)鍵點(diǎn)NE值的平均值最小，預(yù)測(cè)值最接近真實(shí)值，在復(fù)雜服裝類別上(例如外套)明顯地提高了預(yù)測(cè)的精確度，說(shuō)明本文方法能更好地提取單一類別服裝關(guān)鍵點(diǎn)的特征，保留更多的關(guān)鍵點(diǎn)之間的關(guān)聯(lián)信息。在與CPN模型對(duì)比中，半身裙和褲子兩個(gè)類別CPN模型更優(yōu)，可能的原因是這兩個(gè)類別的關(guān)鍵點(diǎn)數(shù)量少，CPN網(wǎng)絡(luò)模型較為復(fù)雜，在特征提取方面有一定的優(yōu)勢(shì)。

如圖7所示為不同模型在不同迭代次數(shù)下對(duì)不同類別服裝檢測(cè)的平均NE值變化?？梢悦黠@發(fā)現(xiàn)，本文方法在訓(xùn)練過(guò)程中關(guān)鍵點(diǎn)檢測(cè)的平均NE值優(yōu)于其他方法。

圖7 不同模型平均NE值Figure 7 NE value with different models

完成對(duì)單一類別服裝預(yù)測(cè)后，證明了本文方法的有效性，然后將模型在混合類別服裝中進(jìn)行訓(xùn)練。表3為不同模型在混合類別服裝測(cè)試集中檢測(cè)的NE值。

表3 混合類別服裝在不同模型下檢測(cè)的NE值Table 3 NE value of mixed category clothing with different models 單位：%

由表2與表3對(duì)比可知，不同方法對(duì)單一類別和混合類別服裝的檢測(cè)中，類別對(duì)服裝關(guān)鍵點(diǎn)檢測(cè)有較大影響，對(duì)服裝關(guān)鍵點(diǎn)進(jìn)行檢測(cè)時(shí)融入類別信息能有效地減小類別對(duì)服裝關(guān)鍵點(diǎn)檢測(cè)精度的影響。本文所提基于親和度向量的服裝關(guān)鍵點(diǎn)檢測(cè)方法在混合類別服裝關(guān)鍵點(diǎn)檢測(cè)中具有明顯的優(yōu)勢(shì)，平均每個(gè)類別NE值比CPN網(wǎng)絡(luò)模型降低了4.58%，對(duì)服裝部分重疊、多視角、關(guān)鍵點(diǎn)密集等問(wèn)題有一定的解決能力，如圖8所示。

圖8 復(fù)雜場(chǎng)景模型預(yù)測(cè)結(jié)果Figure 8 Prediction results of complex scene

圖8(a)、(b)中關(guān)鍵點(diǎn)數(shù)量多時(shí)，模型利用親和度向量將所有點(diǎn)連成一個(gè)整體，不會(huì)漏掉部分關(guān)鍵點(diǎn)。圖8(c)中所示褲腳部分重疊，模型通過(guò)相鄰關(guān)鍵點(diǎn)可以對(duì)部分點(diǎn)進(jìn)行調(diào)整。圖8(e)中模特的手將其中一個(gè)關(guān)鍵點(diǎn)擋住，模型仍然能準(zhǔn)確地檢測(cè)出來(lái)。圖8(g)中關(guān)鍵點(diǎn)分布密集，模型通過(guò)增大感受野對(duì)這類服裝有明顯的作用。但是，模型還有需要改進(jìn)的地方，如8(h)中由于褲腿重疊導(dǎo)致褲襠的高度變化不定甚至兩條褲腿重合，導(dǎo)致在檢測(cè)中有較大的誤差。

圖9為不同模型的比較，從圖9可以看出，CPM、SHN、CPN、Mask-RCNN模型雖然檢測(cè)出了關(guān)鍵點(diǎn)，但與真實(shí)值有較大偏離，出現(xiàn)漏檢、錯(cuò)檢等問(wèn)題。圖9中SHN方法在檢測(cè)過(guò)程中將手提包誤認(rèn)為褲腳；由于上衣中手臂與腰身重合，Mask-RCNN方法無(wú)法準(zhǔn)確地識(shí)別左胳肢窩的關(guān)鍵點(diǎn)，并且遺漏了褲腳的一個(gè)關(guān)鍵點(diǎn)；單獨(dú)的CPM方法將腳部識(shí)別為褲腳；CPN方法對(duì)肢體遮擋關(guān)鍵點(diǎn)或肢體與關(guān)鍵點(diǎn)部分重合的問(wèn)題不能較好地解決。本文方法能更好地適應(yīng)復(fù)雜場(chǎng)景，降低由于角度、重疊等因素對(duì)檢測(cè)的影響，檢測(cè)結(jié)果更接近真實(shí)值。

圖9 不同模型檢測(cè)結(jié)果對(duì)比Figure 9 Comparison of test results of different models

4 結(jié)語(yǔ)

本文提出了一種基于CPM及親和度向量的兩階段服裝關(guān)鍵點(diǎn)檢測(cè)方法。該方法根據(jù)服裝相鄰關(guān)鍵點(diǎn)空間位置分布相近的特點(diǎn)，采用親和度向量表達(dá)相鄰關(guān)鍵點(diǎn)的相對(duì)距離和相對(duì)角度，利用相鄰關(guān)鍵點(diǎn)坐標(biāo)信息對(duì)當(dāng)前點(diǎn)進(jìn)行約束，以增強(qiáng)相鄰關(guān)鍵點(diǎn)相對(duì)位置關(guān)系。并通過(guò)所有關(guān)鍵點(diǎn)前后相連的方式，結(jié)合CPM網(wǎng)絡(luò)實(shí)現(xiàn)多類別服裝關(guān)鍵點(diǎn)的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)關(guān)鍵點(diǎn)數(shù)量多、相鄰關(guān)鍵點(diǎn)距離遠(yuǎn)的服裝類別效果明顯，且可以較好地適應(yīng)服裝多變性，對(duì)于遮擋和重疊有一定的解決能力。但本文方法優(yōu)先獲得類別屬性和不同類別區(qū)分檢測(cè)的方式存在效率低的問(wèn)題。今后的研究工作將集中在對(duì)關(guān)鍵點(diǎn)檢測(cè)更加有效建模，進(jìn)一步提高網(wǎng)絡(luò)對(duì)關(guān)鍵點(diǎn)特征提取的能力，增強(qiáng)有效的特征并減少無(wú)效干擾信息，以提高檢測(cè)的精度和速度。