基于改進YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的縫紉手勢檢測

王曉華， 姚煒銘， 王文杰， 張 蕾， 李鵬飛

(西安工程大學(xué) 電子信息學(xué)院， 陜西 西安 710048)

視覺與機器人技術(shù)在紡織業(yè)的應(yīng)用促進了紡織業(yè)的發(fā)展[1-2]。在對柔軟織物進行縫紉時，人與機器人協(xié)作完成生產(chǎn)任務(wù)，能夠更充分融合機器人與熟練工人各自技術(shù)優(yōu)勢，比機器代人方式更具有研究意義。機器人對工人準確、高效的縫紉手勢識別，是實現(xiàn)人與機器人協(xié)作互動的關(guān)鍵。機器人依靠視覺信息的手勢識別一般分為傳統(tǒng)人工設(shè)計、提取特征方式的識別和深度學(xué)習(xí)手勢識別2類[3-4]，具有代表性的研究中：文獻[5]通過手工設(shè)計特征方式將手部幾何特征與掌紋、手部靜脈等特征進行融合來表示手勢；文獻[6]通過方向梯度直方圖提取手勢特征，并通過神經(jīng)網(wǎng)絡(luò)進行手勢識別，但人工特征方法難以適應(yīng)手勢的多樣性，尤其在環(huán)境復(fù)雜或者光照導(dǎo)致圖像中存在膚色相近區(qū)域或者陰影時，識別率變差。

深度學(xué)習(xí)方法能夠更好地獲取圖像高層次、多維度的特征表示并實現(xiàn)復(fù)雜環(huán)境下的檢測識別[7-8]。 快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster R-CNN)[9]、掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask R-CNN)[10]等基于區(qū)域的目標檢測算法有較高的檢測精度，但檢測速度較慢；YOLO(you only look once)[11-12]、單次多盒檢測(SSD)[13]等基于回歸的目標檢測算法，采用端到端的檢測，具有較快的檢測速度，但這些方法在檢測速度和精度方面還具有一定提升空間。

縫紉車間中，24 h作業(yè)環(huán)境中的光照變化較大，工人手部動作速度變化不一，尤其是內(nèi)包縫、卷邊縫、裁剪布料、抽褶縫等手勢相似度大難以檢測。針對上述問題，本文構(gòu)建了縫紉手勢數(shù)據(jù)集并提出了一種基于YOLOv3的縫紉手勢檢測網(wǎng)絡(luò)。通過對原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)改進及參數(shù)微調(diào)，以適應(yīng)特定縫紉手勢識別任務(wù)，進一步提高模型精度。在不同光照條件、背景復(fù)雜場景下，研究改進后的模型的檢測識別效果。

1 YOLOv3目標檢測算法

YOLOv3目標檢測算法將檢測問題轉(zhuǎn)化為回歸問題，相比其他算法，在實時性方面表現(xiàn)突出，可滿足機器人對縫紉手勢實時交互理解的需求。該網(wǎng)絡(luò)使用多尺度預(yù)測來檢測最終目標，網(wǎng)絡(luò)結(jié)構(gòu)上比YOLOv2更復(fù)雜，檢測速度、精度均有顯著提升。多尺度的預(yù)測能更有效地檢測小目標。YOLO檢測過程如圖1所示。

圖1 YOLO檢測過程Fig.1 YOLO testing process

網(wǎng)絡(luò)將每張圖片劃分為多個網(wǎng)格。如果縫紉手勢的中心落入網(wǎng)格中，則該網(wǎng)格負責檢測目標。每個網(wǎng)格預(yù)測邊界框及其置信度分數(shù)，以及類別條件概率。當多個邊界框檢測到同一目標時，使用非最大抑制(NMS)方法選擇出最佳邊界框。

2 YOLOv3改進模型

YOLOv3雖然在目標檢測領(lǐng)域有較好的檢測效果，但其主要是針對通用數(shù)據(jù)集實現(xiàn)的，對于縫紉手勢識別特定場景需再進行調(diào)整，以適應(yīng)縫紉手勢實時檢測任務(wù)。在實際縫紉作業(yè)中，4種縫紉手勢(內(nèi)包縫S1、卷邊縫S2、裁剪布料S3、抽褶縫S4)之間相似性高，手勢間差異往往存在于小目標區(qū)域，識別難度大，因此，需在滿足實時性要求下，通過采用高分辨率特征圖輸入，減少YOLOv3在檢測小區(qū)域出現(xiàn)的漏檢、誤檢現(xiàn)象。原始的YOLOv3網(wǎng)絡(luò)采用由殘差網(wǎng)絡(luò)(ResNet)構(gòu)建的Darknet-53網(wǎng)絡(luò)作為基本網(wǎng)絡(luò)實現(xiàn)特征的提取，更深的網(wǎng)絡(luò)則會使得底層特征信息逐漸消失。受密集連接網(wǎng)絡(luò)(DenseNet)啟發(fā)，在Darknet-53網(wǎng)絡(luò)基礎(chǔ)上，通過在較低分辨率的原始傳輸層增加DenseNet密集連接，縮短前后層網(wǎng)絡(luò)之間連接，可增強手勢特征的傳遞并促進特征重用和融合，進一步提升檢測效果。

改進后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。首先將輸入圖像調(diào)整為512像素×512像素，替換原始416像素×416像素的圖像。然后采用由4個密集層組成的密集結(jié)構(gòu)替換原始第10層(分辨率為 64像素×64像素)和第27層(分辨率為32像素×32像素)采樣層。在密集結(jié)構(gòu)中，輸入特征圖為之前所有層的輸出特征圖的拼接。

圖2 YOLO改進的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 YOLO improved network structure

本文傳遞函數(shù)采用BN-ReLU-Conv(1×1)+BN-ReLU-Conv(3×3)的形式。其中1×1卷積核用于降維,防止輸入特征圖通道過大。

在64像素×64像素分辨率和32像素×32像素分辨率的層中：由輸入x0和輸出x1拼接的特征圖[x0,x1]作為H2輸入；x2和[x0,x1]被拼接成[x0,x1,x2]用作H3的輸入；x3和[x0,x1,x2]被拼接成[x0,x1,x2,x3]作為H4的輸入；最后，拼接成64像素×64像素×256像素和32像素×32像素×512像素尺寸特征圖向前傳播。在訓(xùn)練期間，當圖像特征被轉(zhuǎn)移到較低分辨率層時，深層特征層可在密集結(jié)構(gòu)中接收其前面的所有特征層的特征，從而減少特征損失，增強特征復(fù)用，提高檢測效果。本文輸出采用3種不同尺度的邊界框(64像素×64像素、32像素×32像素和16像素×16像素)對縫紉手勢進行檢測。

3 模型訓(xùn)練與調(diào)整

3.1 數(shù)據(jù)預(yù)處理

3.1.1 縫紉手勢數(shù)據(jù)集采集

縫紉手勢數(shù)據(jù)集樣本主要來自制衣廠收集與網(wǎng)絡(luò)爬蟲。樣本圖像由多位縫紉工采集，每幅圖像的分辨率約為512像素×512像素，通過數(shù)據(jù)增強后樣本總數(shù)量6 670副，包含4種縫紉手勢類別，其中內(nèi)包縫手勢目標 1 600 個、卷邊縫手勢目標 1 660個、裁剪布料手勢目標1 700個和抽褶縫手勢目標 1 710 個。數(shù)據(jù)集中訓(xùn)練集、驗證集和測試集樣本比例約為6∶2∶2。

3.1.2 數(shù)據(jù)集增強

為增強實驗數(shù)據(jù)集的質(zhì)量與豐富性，消除在同一時間采集圖片光照強度不均勻的情況，本文通過傳統(tǒng)的圖像增強技術(shù)方法對采集的4種縫紉手勢圖像分別在顏色、亮度、旋轉(zhuǎn)和圖像模糊方面進行預(yù)處理來增強訓(xùn)練數(shù)據(jù)，并將同一類別圖片添加至同一類別數(shù)據(jù)樣本中。數(shù)據(jù)集增強數(shù)量如表1所示。

表1 數(shù)據(jù)增強方法生成的圖像數(shù)量Tab.1 Number of images generated by data enhancement method

顏色校正：在不同的照明條件下，采集的圖像顏色和真實顏色之間存在一定的偏差，采用灰色世界算法(gray world)消除光照對顯色性的影響，并將處理后的圖片添加到訓(xùn)練數(shù)據(jù)集中。

圖像亮度：車間24 h生產(chǎn)時，不同光照強度對圖像的影響可通過圖像亮度變換模擬。亮度值變換過高或過低會影響手動標注邊界框的精度，抑制模型性能，選擇亮度變化的范圍控制在0.6～1.5倍，以范圍為0.9～1.1倍隨機生成多幅圖片供訓(xùn)練使用。

圖像旋轉(zhuǎn)：為增強訓(xùn)練模型對不同成像角度的魯棒性，隨機旋轉(zhuǎn)原始圖像90°、180°、270°以及鏡像操作，并將140個變換圖像附加到訓(xùn)練圖像集。

圖像模糊：考慮相機調(diào)焦以及移動等情況導(dǎo)致的模糊問題會影響檢測結(jié)果，通過顏色、亮度和旋轉(zhuǎn)增強等方法隨機模糊圖像，以進一步增強檢測模型對模糊圖片的檢測能力。

3.1.3 數(shù)據(jù)集標柱

在縫紉手勢數(shù)據(jù)集構(gòu)建中，目標的類別和邊框數(shù)據(jù)信息通過lambel軟件獲取，并保存為PASCAL VOC 數(shù)據(jù)集的格式，具體格式分別包含label(類別序列)，x(目標中心點x坐標)，y(目標中心點y坐標)，w(標注框?qū)?，h(標注框高)，如下式所示。

式中：xmax、ymax為邊框右下角坐標；xmin、ymin為邊框左上角坐標；a、b分別為圖像寬和高。對標注數(shù)據(jù)進行歸一化處理，便于訓(xùn)練不同尺寸的圖像及更快地讀取數(shù)據(jù)。

3.2 模型的訓(xùn)練參數(shù)設(shè)置調(diào)整

所有的訓(xùn)練和測試均在深度學(xué)習(xí)工作站進行，工作站的主要配置為 PC Intel Core(TM) i7-6800k CPU3.80 GHz、12 GB 的 GPU GeForce GTX 1080Ti顯卡 和 128 GB 的運行內(nèi)存。程序在 Windows10 系統(tǒng)下，采用 C++語言編寫并調(diào)用并行計算架構(gòu)(CUDA)、英偉達神經(jīng)網(wǎng)絡(luò)庫(Cudnn)、開源計算機視覺庫(OPENCV)運行。

模型訓(xùn)練使用官網(wǎng)預(yù)訓(xùn)練權(quán)重文件初始化網(wǎng)絡(luò)權(quán)重參數(shù)，加快模型收斂。訓(xùn)練參數(shù)部分根據(jù)經(jīng)驗設(shè)置，訓(xùn)練參數(shù)值如表2所示。為減輕顯卡壓力，尋求內(nèi)存效率和內(nèi)存容量之間的最佳平衡，訓(xùn)練時采用64個樣本數(shù)量作為一批樣本數(shù)量，每批樣本更新一次參數(shù)，并將每批樣本數(shù)量分割8次分次送入訓(xùn)練器。

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)Tab.2 Network training parameters

訓(xùn)練時采用隨機梯度下降(SGD)算法對網(wǎng)絡(luò)模型進行優(yōu)化。學(xué)習(xí)率(learning rate)按迭代次數(shù)調(diào)整策略，初始學(xué)習(xí)率為0.001，當模型迭代到 8 000 和 9 000 次時學(xué)習(xí)率衰減10倍。在開始訓(xùn)練時設(shè)置burn_in參數(shù)用于穩(wěn)定模型，burn_in設(shè)置為 1 000，在更新次數(shù)小于1 000時，學(xué)習(xí)率策略由小變大，當更新次數(shù)大于1 000時，則采用設(shè)置的學(xué)習(xí)率從大到小更新策略。

YOLOv3中合適的先驗框維度直接影響到手勢檢測的速度和目標框定位精度，為得到最佳先驗框維度，對所有樣本數(shù)據(jù)集的邊界框采用K-means聚類分析來找到適合本樣本數(shù)據(jù)的9組先驗框維度。訓(xùn)練時使用的9組先驗框維度為(121,82)、(163,98)、(158,154)、(205,119)、(239,150)、(203,218)、(302,179)、(316,253)、(324,351)，將其尺寸從小到大排列，均分到 3 個不同尺度的特征圖上，其中，尺度更大的特征圖使用更小的先驗框。最后，將用此先驗框維度進行檢測實驗。

3.3 模型的訓(xùn)練

最終模型共訓(xùn)練5 000次，耗時6 h，共訓(xùn)練使用了4 000幅圖像(在4 000幅圖像中隨機抽取并重復(fù)使用)。在訓(xùn)練過程中，通過繪制模型損失曲線觀察訓(xùn)練動態(tài)過程，其對應(yīng)的損失值變化曲線如圖3 所示?？煽闯觯耗Ｐ驮谇捌诘袚p失值快速縮減，模型快速擬合；當?shù)?xùn)練2 000次后，損失值下降放緩；當?shù)? 000次時，損失值收斂至 0.002 5，結(jié)束訓(xùn)練。

圖3 模型損失曲線Fig.3 Model loss curve

通過計算預(yù)測邊界框和真實邊界框之間的平均交并比(IOU)來進一步評估模型的檢測性能，結(jié)果如圖4所示。可知，隨著模型迭代次數(shù)的增加,真實框與預(yù)測框的模型平均交并比在不斷提升，在迭代次數(shù)為5 000時，模型交并比趨于0.9。

圖4 平均交并比變化曲線Fig.4 Average cross-sectional ratio curve

4 實驗結(jié)果與分析

4.1 模型評估指標

本文實驗采用精確度、召回率、平均精度均值(mAP)和基于精確率與召回率的調(diào)和平均值(F1)客觀評價標準來評估模型的泛化能力。

4.2 最佳模型選擇

在訓(xùn)練時每迭代100次輸出一次權(quán)重，共獲得50個權(quán)重模型，通過計算每個權(quán)重的mAP值篩選出最佳模型，結(jié)果如圖5所示?？煽闯?，在迭代次數(shù)達到2 000左右時，mAP值趨于穩(wěn)定，進而選擇最高mAP值(91.80%)作為最佳的權(quán)重模型。

圖5 平均精度均值隨迭代次數(shù)的變化Fig.5 Average accuracy as a function of iterations number

對訓(xùn)練好的模型進行最佳置信度閾值選取，以保證模型具有最佳表現(xiàn)。實驗通過在不同置信度閾值下計算準確率、召回率、F1值和交并比篩選出最佳閾值模型，結(jié)果如圖6所示。

圖6 置信度閾值Fig.6 Confidence threshold

通過在(0，1)的閾值區(qū)間內(nèi)每跨度0.05計算一次值，共計算出20組數(shù)據(jù)。比對優(yōu)先級：準確率>召回率>IOU，閾值達0.6后準確率逐步趨于穩(wěn)定，閾值最優(yōu)范圍約在0.6～1.0內(nèi)。在此范圍內(nèi)，最佳召回率為0.85,對應(yīng)的置信度閾值為0.6， IOU值約為0.71，因此，采用0.6為最佳閾值。

選出最佳模型后，通過使用準確率作為垂直軸，召回率作為水平軸獲得最佳模型P-R曲線，如圖7所示。觀察P-R曲線可知，平衡點(度量召回率等于準確率時的取值)約維持在0.80。

圖7 模型P-R曲線Fig.7 Model P-R curve

4.3 不同數(shù)據(jù)量結(jié)果分析

不同的縫紉手勢數(shù)據(jù)量影響著模型表現(xiàn)，從數(shù)據(jù)集中隨機選擇圖像，形成500、1 000、2 000、3 000、 4 000 個圖像的訓(xùn)練集，分析圖像數(shù)據(jù)集數(shù)量大小對YOLO v3密集模型的影響。表3示出對應(yīng)的模型數(shù)據(jù)量與F1值的關(guān)系。

表3 不同數(shù)據(jù)量條件下F1實驗結(jié)果Tab.3 Experimental results of F1 at different data conditions

從表3可看出，隨著訓(xùn)練集的數(shù)據(jù)量增加，模型的F1值不斷提高，模型性能得到不同程度改善。當訓(xùn)練數(shù)據(jù)量少于1 000個圖像時，模型性能會隨著訓(xùn)練集的增長而迅速提高；當訓(xùn)練數(shù)據(jù)量超過 1 000 時，隨著圖像量的增加，增強速度逐漸降低；當圖像數(shù)量超過3 000時，訓(xùn)練集的大小沒有顯著影響模型的性能。

4.4 不同光照環(huán)境下結(jié)果分析

在實際縫紉工廠中，工人工作時長幾乎覆蓋全天，因此，在不同時刻的光照影響下，準確的縫紉手勢檢測尤為重要。為驗證不同光照條件對訓(xùn)練模型的影響，實驗通過對未使用亮度變換的數(shù)據(jù)集A與采用亮度變換的數(shù)據(jù)集B進行IOU值和F1值的評估，驗證模擬全天候亮度變換的有效性，結(jié)果如表4所示。最后在工人工作時間內(nèi)選擇3個不同的光照時刻，對模型進行實際檢驗效果評估。實驗將拍攝時的光照條件作為控制變量，分別有早晨光照、中午光照和燈光。實際檢測效果如圖8所示。

表4 不同光照條件下實驗結(jié)果Tab.4 Experimental results under different lighting conditions

通過表4可看出，數(shù)據(jù)集B在訓(xùn)練時增加亮度變換，其檢測結(jié)果比未增加亮度變換數(shù)據(jù)集訓(xùn)練的模型的檢測結(jié)果更好。從增加亮度變換訓(xùn)練后的模型檢測效果中可看出，4種縫紉手勢在白天光照均勻時檢測精度最好，其次是在亮度較低的傍晚。在燈光環(huán)境下，亮度明顯增強，檢測難度增大，部分手勢紋理特征喪失。由于本文模型在訓(xùn)練數(shù)據(jù)集中增加了亮度變換，因此，可在光照復(fù)雜條件下準確檢測出不同的縫紉手勢類別。

4.5 不同算法的檢測效果對比

為驗證本文提出的模型的性能，將所提出的模型與R-CNN、YOLOv2、原始YOLOv3在實際采集的縫紉手勢數(shù)據(jù)集上進行對比實驗，結(jié)果如表5所示。

注：圖片a1～a4為白天光照環(huán)境下；圖片b1～b4為 傍晚環(huán)境下；圖片c1～c4為燈光環(huán)境下。圖8 不同光照條件下4種手勢的檢測效果Fig.8 Detection effect of four sewing gestures under different lighting conditions

表5 不同算法對比實驗結(jié)果Tab.5 Comparison of experimental results with different algorithms

通過對比模型的F1值、IOU值和平均檢測速度，本文改進的YOLOv3算法與其他算法相比，mAP值、IOU值均高于其他3種算法，其mAP值為94.45%，IOU值為0.87,F1值為0.885。由于改進YOLOv3模型比YOLOv3模型具有更高的圖像特征復(fù)用率，因此，與原始YOLOv3對比平均精度提升了2.29%。在檢測速度方面，改進后的模型速度達到43.0幀/s，遠高于R-CNN，與YOLOv2、YOLOv3檢測速度基本持平。模型檢測效果如圖9所示。

圖9 不同算法4種手勢實驗檢測效果Fig.9 Experimental results of different algorithms for four sewing gestures.(a)R-CNN;(b)YOLOv2;(c)YOLOv3;(d)Modified YOLOv3

從實際檢測效果中可以看出，采用R-CNN與YOLOv2均有不同程度的漏檢現(xiàn)象，原始YOLOv3與改進后的模型均能準確檢測出4種不同的縫紉手勢類別，但改進后的模型在邊框重合度上更加準確。綜上所述，改進后的模型不僅在準確率上有提高，且在檢測速率上有顯著提升，同時完全滿足縫紉手勢檢測的實時性要求。

5 結(jié) 論

為解決服裝加工中快速準確的縫紉手勢識別問題，本文提出了基于深度神經(jīng)網(wǎng)絡(luò) YOLOv3 算法的多種縫紉手勢檢測方法。首先通過對YOLOv3網(wǎng)絡(luò)進行改進，增加模型輸入分辨率，提高模型識別能力，然后在具有較低分辨率的YOLOv3原始傳輸層中嵌入密集連接網(wǎng)絡(luò)(DenseNet)，以增強功能擴展并促進特征重用和融合。

研究結(jié)果表明，改進后模型的檢測精度高，速度快，在復(fù)雜環(huán)境下魯棒性高，改進的深層網(wǎng)絡(luò)在真實環(huán)境下進行檢測，交并比和調(diào)和平均值分別為0.87和0.885，實時檢測中速度達到 43.0幀/s，基本滿足人機協(xié)作中對工人縫紉手勢動作檢測的準確性和實時性需求。