基于神經(jīng)網(wǎng)絡(luò)的棉麻混紡紗纖維檢測

劉瀚旗，鄧中民，李相朋

基于神經(jīng)網(wǎng)絡(luò)的棉麻混紡紗纖維檢測

劉瀚旗1, 2b，鄧中民2a, 2b，李相朋*1, 2b

（1. 紡織服裝智能化湖北省工程研究中心，湖北 武漢 430200；2. 武漢紡織大學(xué) a.省部共建紡織新材料與先進(jìn)加工技術(shù)國家重點(diǎn)實驗室，b. 計算機(jī)與人工智能學(xué)院，湖北 武漢 430200）

紡織業(yè)中棉麻混紡制品具有透氣性、透汗性強(qiáng)等優(yōu)點(diǎn)，但其中的棉麻纖維配比會影響實際制品的質(zhì)量，而為了檢測纖維配比需要對檢測人員經(jīng)過專業(yè)訓(xùn)練，并通過人眼觀察來判斷檢測棉麻混紡紗中棉麻纖維比例。這存在著人力資源與時間資源損耗大，且主觀影響因素過強(qiáng)等缺點(diǎn)，為了解決這個問題，本文提出利用神經(jīng)網(wǎng)絡(luò)來代替人工自動檢測棉麻混紡紗中的棉麻比例，在經(jīng)過試驗后，利用YOLOv3網(wǎng)絡(luò)并經(jīng)過一定改良，對于測試集數(shù)據(jù)的最優(yōu)平均精度均值(mAP)達(dá)到0.973，且測得棉麻混紡比平均值符合實際樣本棉麻混紡比數(shù)值。由此可以證明，利用神經(jīng)網(wǎng)絡(luò)對棉麻混紡紗進(jìn)行自動的比例檢測是成立的。

棉麻檢測；神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；目標(biāo)檢測

0 前言

棉麻混紡紗中的棉麻纖維比例會影響實際棉麻混紡布的質(zhì)量，是紡織業(yè)中重要的一項檢測參數(shù)。目前對于棉麻混紡紗中棉、麻纖維的檢測方法有化學(xué)檢測法[1]、溶解吸光法[2]與著色法[3]，這幾種方法有著操作方法繁瑣的弊端，并不適用于實際工業(yè)檢測，暫時只能作為理論實驗。也有人提出了利用圖像處理[4]的方法提取計算圖像中的棉、麻纖維的各項數(shù)據(jù)，例如扭曲度、結(jié)節(jié)數(shù)等數(shù)值再經(jīng)過BP網(wǎng)絡(luò)訓(xùn)練來區(qū)分棉麻纖維的方法，但該種方法必須先提取圖片中的棉、麻纖維，且人工設(shè)定的特征值并不一定準(zhǔn)確且同樣步驟繁瑣，在棉麻數(shù)量多且復(fù)雜的圖片中難以保持較高的準(zhǔn)確度，同時由于是需要提前提取樣本的棉麻，無法做到實時的棉麻纖維根數(shù)的計數(shù)，因此無法在實際檢測項目上發(fā)揮太大的作用。而目前主要所用方法是檢測人員通過對棉麻混紡紗取樣[5]，再經(jīng)過顯微鏡觀察直接判斷樣本中棉麻纖維數(shù)量，這種方法耗時耗力，也不能算是對纖維檢測最好的方法。

而目前，有作者提出了利用FasterRCNN[6]網(wǎng)絡(luò)架構(gòu)進(jìn)行的棉和大麻混紡紗比例檢測研究[7]，很好的證實了棉、大麻纖維是可以利用神經(jīng)網(wǎng)絡(luò)進(jìn)行實時檢測的，而考慮到大麻與亞麻有著接近的形態(tài)，同時麻纖維和棉纖維在縱截面上有明顯的區(qū)別，因此本文提出可以利用不同的網(wǎng)絡(luò)構(gòu)架對棉亞麻纖維進(jìn)行檢測并計數(shù)，利用程序來代替人眼進(jìn)行棉亞麻混紡紗比例檢測。考慮到FasterRCNN網(wǎng)絡(luò)是2階段網(wǎng)絡(luò)，本文認(rèn)為利用YOLOv3[8]網(wǎng)絡(luò)框架可以做到更快的檢測速度，并且在精度上也有不遜于FasterRCNN網(wǎng)絡(luò)框架的優(yōu)勢。

1 實驗原理

目前對于人工檢測棉麻纖維比例的方法主要依據(jù)紡織行業(yè)的標(biāo)準(zhǔn)FZ/T30003-2009FZ/《麻棉混紡產(chǎn)品定量分析方法——顯微投影法》。該方法規(guī)定，通過人為的制作樣本切片，顯微鏡成像，最后通過肉眼判別棉麻纖維個數(shù)，且棉麻纖維個數(shù)需在1000根以上方可具有代表性。本實驗?zāi)繕?biāo)為利用神經(jīng)網(wǎng)絡(luò)代替人工肉眼觀測計數(shù)，將制作好的樣本通過電子顯微鏡成像到電腦上，再通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型直接對圖像進(jìn)行識別檢測，將圖像中的棉麻個數(shù)自動檢測出來，以此來達(dá)到節(jié)省人力資源與時間資源的目的，同時達(dá)到更好的檢測結(jié)果的目的。

1.1 網(wǎng)絡(luò)模型介紹

本文將用到FasterRCNN與YOLOv3兩種神經(jīng)網(wǎng)絡(luò)模型，理論上而言，由于FasterRCNN是2階段網(wǎng)絡(luò)，較一階段網(wǎng)絡(luò)的YOLOv3在精度上略有優(yōu)勢，而在檢測速度上則不如。但由于YOLOv3相比較于早期版本的YOLOv1[9]與YOLOv2[10]加入了SSD[11]網(wǎng)絡(luò)中提出的錨點(diǎn)（anchor）機(jī)制，因此在精度上也進(jìn)行了優(yōu)化，兩個網(wǎng)絡(luò)大致模型圖片如圖1、圖2所示。

圖1 FasterRCNN網(wǎng)絡(luò)模型圖

圖2 YOLOv3網(wǎng)絡(luò)模型圖

在圖2中，YOLOv3網(wǎng)絡(luò)會將獲取的圖片數(shù)據(jù)利用三種大小不同的網(wǎng)格進(jìn)行切割，每一種網(wǎng)格都有同樣的深度（維度），也即是圖中文字的“4+1+num_classes”，其中4代表著目標(biāo)物的長寬以及中心點(diǎn)坐標(biāo)，num_classes代表著該網(wǎng)絡(luò)需要進(jìn)行的分類數(shù)量，在本次實驗中，該值為2，直接在圖片上獲取目標(biāo)候選區(qū)域，而不再像FasterRCNN利用RPN網(wǎng)絡(luò)選取目標(biāo)候選區(qū)域，因此在速度上是明顯快于FasterRCNN網(wǎng)絡(luò)模型的。

1.2 評測方法介紹

本次實驗的評測主要是對網(wǎng)絡(luò)的直接評測，一方面評測訓(xùn)練網(wǎng)絡(luò)所需總時長，另一方面采用mAP值進(jìn)行對比，mAP值是數(shù)據(jù)的精度均值，在網(wǎng)絡(luò)模型中該數(shù)值結(jié)合了數(shù)據(jù)的交并比（IoU）值以及分類準(zhǔn)確度的數(shù)值等因素，作為評測依據(jù)較為穩(wěn)定，在計算mAP之前需要計算精準(zhǔn)率與召回率，計算準(zhǔn)確率的公式如公式（1）所示，計算召回率的公式如公式（2）所示。

計算準(zhǔn)確率的公式如公式（1）所示：

該公式代表著被檢測的麻或棉纖維中，有多少是被正確檢測的，一般用來測算誤檢。

計算召回率的公式如公式（2）所示：

該公式代表的是，所有的正確的棉麻或棉花纖維中，多少被檢測出來，一般用來測算漏檢。

同時式（1）、（2）中TP、FP、FN分別以棉麻纖維舉例，TP代表實際樣本為棉纖維，檢測出來也為棉纖維；FP代表實際樣本為除了棉纖維的其他事物，而檢測出來為棉纖維；FN則代表實際樣本為除了棉纖維的其他事物，檢測出來的也為除了棉纖維的其他事物。

計算AP值的公式如公式（3）所示：

而mAP值就是測試數(shù)據(jù)集中所有類別的AP值的平均數(shù)。

其中，閾值變化代表著對IoU值的容忍度變化，而IoU的計算公式如公式（4）所示：

式中，代表著目標(biāo)真實區(qū)域，代表著目標(biāo)被程序檢測出來的區(qū)域，稱為預(yù)測區(qū)域。為了判斷網(wǎng)絡(luò)確實在圖像中找到了某一件東西，在實驗前會人為的將圖片上這件東西打上一個邊框，然后利用網(wǎng)絡(luò)去找到這個邊框，人為手動打上的邊框稱為真實區(qū)域，網(wǎng)絡(luò)預(yù)測出來的區(qū)域稱為預(yù)測區(qū)域，表現(xiàn)效果如圖3所示。

圖中，虛線矩形區(qū)域為人為手工打上的區(qū)域，指示這個區(qū)域有目標(biāo)物，而實線矩形區(qū)域可能是網(wǎng)絡(luò)預(yù)測出來的某一個區(qū)域，稱為預(yù)測區(qū)域。

2 方法與經(jīng)過

本次實驗的全部流程如圖4所示。

圖4 整體實驗流程圖

2.1 數(shù)據(jù)集制作

本次數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)與檢測數(shù)據(jù)，數(shù)據(jù)的主要形式為像素大小640×640后綴為.jpg格式的圖片，在將訓(xùn)練數(shù)據(jù)投入到網(wǎng)絡(luò)模型中訓(xùn)練之前，會先使用LabelImg軟件將圖片中的棉麻樣本提前劃分出來，同時數(shù)據(jù)集將以VOC2007標(biāo)準(zhǔn)進(jìn)行制作。

考慮到本次使用圖片僅有300張，作為訓(xùn)練數(shù)據(jù)集較小，因此在實際訓(xùn)練時會對每張圖片進(jìn)行一定的數(shù)據(jù)增廣操作，例如普遍的平移，水平以及垂直翻轉(zhuǎn)，角度旋轉(zhuǎn)等增強(qiáng)操作，同時將所得數(shù)據(jù)依據(jù)訓(xùn)練集比驗證集的比例分為8:2的數(shù)據(jù)。

2.2 模型改進(jìn)

考慮到網(wǎng)絡(luò)模型針對不同的數(shù)據(jù)樣本會有不同的表現(xiàn)形式，且對于網(wǎng)絡(luò)模型的優(yōu)化和改造也有諸多方案，因此本次實驗對于兩個網(wǎng)絡(luò)模型進(jìn)行了部分的優(yōu)化和調(diào)整。

本次網(wǎng)絡(luò)模型的優(yōu)化主要在于對學(xué)習(xí)率以及數(shù)據(jù)增強(qiáng)上的調(diào)整。在學(xué)習(xí)率衰減上，分別使用了普通的固定步長的學(xué)習(xí)率衰減（StepLR）以及余弦退火學(xué)習(xí)率衰減[12]（CosineAnnealingLR）兩種學(xué)習(xí)率的示意圖如圖5，圖6所示。

圖5 StepLR學(xué)習(xí)率衰減

圖6 CosineAnnealingLR學(xué)習(xí)率衰減

在數(shù)據(jù)增強(qiáng)上，則使用了Mosaic數(shù)據(jù)增強(qiáng)[13]，該增強(qiáng)方法是將四張圖片隨意切割之后組合成一張新的圖片，以此來增強(qiáng)數(shù)據(jù)的復(fù)雜性以及網(wǎng)絡(luò)的泛化性。Mosaic數(shù)據(jù)增強(qiáng)效果如圖7所示：

圖7 Mosaic增強(qiáng)效果圖

2.3 對比結(jié)果

本次試驗采用硬件為單張NVIDIA GeForce RTX3060顯卡，網(wǎng)絡(luò)訓(xùn)練參數(shù)為：初始學(xué)習(xí)率0.001，batch-size（批次訓(xùn)練量）為4，epoch（訓(xùn)練次數(shù)）為300。

檢測效果圖如圖8，圖9所示：

圖8 FasterRCNN效果圖

圖9 YOLOv3效果圖

可以看到，目標(biāo)物被神經(jīng)網(wǎng)絡(luò)很好的檢測了出來，并且在類別上沒有出現(xiàn)問題，對于兩個網(wǎng)絡(luò)的mAP值，如圖10以及圖11所示。

圖10 YOLOv3的mAP

圖11 FasterRCNN的mAP

當(dāng)取IoU值為0.5時，YOLOv3最高mAP值達(dá)到了0.973，而FasterRCNN僅有0.816，可見在網(wǎng)絡(luò)性能上，由此YOLOv3是整體優(yōu)于FasterRCNN的。

網(wǎng)絡(luò)結(jié)構(gòu)的改變以及最后測算結(jié)果的詳細(xì)情況見表1。

表1 網(wǎng)絡(luò)測試數(shù)據(jù)表

其中mpre、mrec、mAP分別為棉麻纖維的平均準(zhǔn)確率、平均召回率以及平均精度，time為在300epoch下，300張原始圖片訓(xùn)練所使用的總時長。從表1中可以看出，YOLOv3模型在各項數(shù)據(jù)上都優(yōu)于FasterRCNN，無論是在對于棉、麻纖維是否檢測出的recall值上還是對于棉、麻纖維是否正確檢測的precision值上，并且在時間上YOLOv3網(wǎng)絡(luò)模型要平均比FasterRCNN模型快1.142小時。

3 結(jié)論

根據(jù)本次實驗，在棉麻纖維檢測上，無論是FasterRCNN還是YOLOv3網(wǎng)絡(luò)模型，均能做到將棉麻纖維檢測出來，但相比于參考文獻(xiàn)中的BP神經(jīng)網(wǎng)絡(luò)，YOLOv3與FasterRCNN不再需要人工提取特征數(shù)據(jù)，可以直接利用圖片進(jìn)行訓(xùn)練同時進(jìn)行檢測，而本文中的YOLOv3網(wǎng)絡(luò)模型在實際檢測的準(zhǔn)確率和檢測時間上又優(yōu)于FasterRCNN，并與實際樣本的棉麻纖維比例符合，但在對于復(fù)雜的情況下，例如單張圖片上的棉麻纖維個數(shù)過多且交織在一起，則會出現(xiàn)嚴(yán)重的漏檢和錯檢，這是之后需要解決的問題之一。

同時，在紡織領(lǐng)域，對于棉、亞麻、苧麻、大麻等的檢測區(qū)分已經(jīng)有了一定的發(fā)展，而目前的難題在于如何將亞麻、苧麻、大麻的混合纖維進(jìn)行檢測，即使用人工檢測也會有很高的誤檢率。

由于亞麻、大麻、苧麻纖維在縱截面上的特點(diǎn)過于接近，人眼也較難區(qū)分，而神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)需要先用人工進(jìn)行數(shù)據(jù)標(biāo)注，這就給神經(jīng)網(wǎng)絡(luò)對于亞麻、苧麻、大麻纖維的檢測產(chǎn)生了一定難度，而這是之后神經(jīng)網(wǎng)絡(luò)需要解決的難題之二。

同時，由于神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測上有優(yōu)秀的特征篩選功能與分類檢測能力，人眼能夠進(jìn)行有效區(qū)分的物體，只要傳送給網(wǎng)絡(luò)訓(xùn)練的圖片清晰度合理，那么均可以利用神經(jīng)網(wǎng)絡(luò)進(jìn)行直接檢測與分類，而不再需要人工來進(jìn)行檢測，可以將此技術(shù)廣泛的運(yùn)用在紡織品檢測項目中。

根據(jù)本次實驗的結(jié)果，本文認(rèn)為，在實際應(yīng)用當(dāng)中，如果重視檢測效率則應(yīng)當(dāng)采用YOLOv3模型。

[1] 賈立鋒, 饒高昶, 孟會娟. 基于著色法的棉與苧麻混紡含量測定[J]. 紡織學(xué)報, 2011, 32(7): 28-34.

[2] 高山．溶解—吸光法測定亞麻/棉混紡比[J]. 山東紡織科技, 2011, 42(2): 46-48.

[3] 俞凌云, 溫演慶, 朱譜新, 等. 三原色染色法測定棉麻纖維混紡比初探[J]. 中國測試, 2013, 39(5): 62-64.

[4] 趙宇濤, 黃仰東, 鄧中民. 基于圖像處理的棉亞麻纖維的自動檢測[J]. 棉紡織技術(shù), 2019, 47(09): 7-12.

[5] 楊元, 李永貴, 丁志強(qiáng). 棉/麻纖維混紡紗的定量分析方法探討[J]. 上海紡織科技, 2009, 37(07): 48-51.

[6] Ren Shaoqing，He Kaiming，Girshick Ross, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017, (6):1137-1149

[7] 肖登輝, 李立輕, 汪軍. 基于Faster rcnn的棉麻紗混紡比自動檢測[J]. 紡織器材, 2020, 47(03): 1-4.

[8] Joseph Redmon, Ali Farhadi. YOLOv3: An Incremental Improvement[J]. arXiv e-prints arXiv:1804.02767, 2018.

[9] Redmon Joseph, Divvala Santosh, Girshick Ross, et al. You Only Look Once: Unified, Real-Time Object Detection[J]. arXiv e-prints arXiv:1506.02640, 2015.

[10] Joseph Redmon, Ali Farhadi. YOLO9000: Better, Faster, Stronger[J]. arXiv e-prints arXiv:1612.08242, 2016.

[11] Wei Liu, UNC Chapel Hill, et al. SSD: Single Shot MultiBox Detector[C]. European Conference on Computer Vision, 2016. 21-37.

[12] Loshchilov I, F Hutter. SGDR: Stochastic Gradient Descent with Restarts[J]. arXiv preprint arXiv:1608.03983, 2016.

[13] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Liao. Mark. YOLOv4: Optimal Speed and Accuracy of Object Detection[J]. arXiv e-prints arXiv:2004.10934, 2020.

Fiber Detection of Cotton Flax Blended Yarn Based on Neural Network

LIU Han-qi1, 2b，DENG Zhong-min2a, 2b，LI Xiang-peng1, 2b

(1. Engineering Research Center of Hubei Province for Clothing Information, Wuhan Hubei 430200 China; 2.a State Key Laboratory of New Textile Materials and Advanced Processing Technology, b School of Computer Science and Artificial Intelligence, Wuhan Textile University, Wuhan Hubei 430200, China）

Cotton flax blended products in the textile industry have the advantages of good air permeability and sweat permeability, but the cotton flax fiber ratio would affect the quality of actual products. In order to detect the fiber ratio, the inspectors need to be professionally trained and detect the cotton flax fiber ratio in cotton flax blended yarn through subjective judgment of human eyes, which has a large loss of human resources and time resources, and the subjective influencing factors are too strong. In order to solve these problems, it is proposed to use neural network instead of manual automatic detection of cotton flax ratio in cotton flax blended yarn. After the test, the mean average precision(MAP) of the network for the test set data is 0.973, which obtained by using improved yolov3 network, and the average value of cotton linen blending ratio measured is consistent with the value of cotton linen blending ratio of actual samples. Therefore, it can be proved that it is feasible to use neural network detection automatically.

cotton and flax detection; neural network; deep learning; object detection

李相朋（1963-），男，教授，碩士生導(dǎo)師，研究方向：軟計算，模糊集、粗糙集，信息系統(tǒng)與知識發(fā)現(xiàn).

TS131.9

A

2095－414X(2021)06－0003－06