工業(yè)場景下基于秩信息對YOLOv4的剪枝

秦曉，成苗，3*，張紹兵，3，何蓮，石向文，王品學，曾尚

（1.中國科學院 成都計算機應用研究所，成都 610041；2.中國科學院大學 計算機科學與技術(shù)學院，北京 100049；3.深圳市中鈔科信金融科技有限公司，廣東 深圳 518206）（?通信作者電子郵箱chengmiao@cbpm?kexin.com）

工業(yè)場景下基于秩信息對YOLOv4的剪枝

秦曉1，2，成苗1，2，3*，張紹兵1，2，3，何蓮1，3，石向文1，2，王品學1，2，曾尚1，2

（1.中國科學院 成都計算機應用研究所，成都 610041；2.中國科學院大學 計算機科學與技術(shù)學院，北京 100049；3.深圳市中鈔科信金融科技有限公司，廣東 深圳 518206）（?通信作者電子郵箱chengmiao@cbpm?kexin.com）

在工業(yè)場景無線射頻識別（RFID）實時缺陷檢測任務中，為了保證檢測精度以及速度常采用YOLO這類深度學習目標檢測算法，然而這些算法仍然難以滿足工業(yè)檢測中的速度要求，且無法將相應的網(wǎng)絡(luò)模型部署到資源受限的設(shè)備上。針對以上問題，需要對YOLO模型進行剪枝壓縮，提出了一種基于秩信息的特征信息豐富性和特征信息多樣性加權(quán)融合的新型網(wǎng)絡(luò)剪枝方法。首先，加載未剪枝模型進行推理，并在前向傳播中獲取濾波器對應特征圖的秩信息來衡量特征信息豐富性；然后，根據(jù)不同大小的剪枝率對秩信息進行聚類或者相似度計算來衡量特征信息的多樣性；最后，加權(quán)融合得到對應濾波器的重要性程度并對其進行排序后，剪除重要性排序靠后的濾波器。實驗結(jié)果表明，對于YOLOv4，在剪枝率為28.87%且特征信息豐富性權(quán)重為0.75的情況下，所提方法相較于單一使用特征圖秩信息的方法提高了2.6%～8.9%的平均精度均值（mAP），所提方法剪枝后的模型甚至相較于未剪枝模型提高了0.4%的mAP并減少了35.0%的模型參數(shù)，表明該方法有利于模型部署。

無線射頻識別；YOLO；網(wǎng)絡(luò)剪枝；特征信息豐富性；特征信息多樣性；秩信息

0 引言

無線射頻識別（Radio Frequency IDentification， RFID）［1］是一種無接觸自動識別技術(shù)，利用射頻信號及其空間耦合傳輸特性，實現(xiàn)對靜止的或移動中的待識別物品的自動識別，具有識別距離遠、識別速度快、抗干擾能力強等優(yōu)點。RFID電子標簽多以印刷天線為柔性基底，其天線布線圖案的加工質(zhì)量決定著信息傳遞的可靠性。圖案常見的缺陷包括斷線、粘連、凹毛刺、凸毛刺、孔洞和污點等，如圖1所示。缺陷會影響天線的電學性能，在使用過程中導致短路或者斷路。因此在RFID的生產(chǎn)過程中，瑕疵檢測是一個非常重要的環(huán)節(jié)。

圖1 RFID缺陷類別Fig. 1 RFID defect category

目前在國內(nèi)中小型標簽生產(chǎn)廠家對標簽天線的質(zhì)量檢測主要是外觀缺陷檢測。傳統(tǒng)人眼查看方法效率低且主觀意識強，不利于大規(guī)模實施快速檢測。現(xiàn)在基于計算機視覺的缺陷檢測方法主要分為傳統(tǒng)計算機圖像檢測方法和深度學習檢測算法。傳統(tǒng)的圖像檢測方法由于泛化能力差、對圖片要求高，不利于RFID快速檢測。深度學習檢測算法，主要分為一階段檢測算法YOLO（You Only Look Once）系列和二階段檢測算法R-CNN（Region with Convolutional Neural Network）系列等，由于在工業(yè)檢測中對檢測的實時性要求高，常常更偏向于采用一階段算法。

事實上，隨著YOLO發(fā)展到最新的YOLOv4，更深更廣的體系結(jié)構(gòu)提高了其檢測能力，但是已經(jīng)無法達到工業(yè)檢測中的速度要求。為了在資源有限的設(shè)備上完成RFID缺陷檢測任務，有必要使用模型壓縮技術(shù)在保證原有模型正確率的同時獲得計算量相對較低的YOLO模型，從而有利于算法的部署。

目前流行的模型壓縮技術(shù)主要有參數(shù)量化、低秩分解、知識蒸餾、網(wǎng)絡(luò)剪枝四種，其中網(wǎng)絡(luò)剪枝在各種新興應用中顯示出廣闊的前景。

最新的網(wǎng)絡(luò)剪枝方法主要分為非結(jié)構(gòu)化剪枝方法［2-5］和結(jié)構(gòu)化剪枝方法［6-9］。非結(jié)構(gòu)化剪枝是對單個神經(jīng)元通過給參數(shù)預先設(shè)定一個閾值進行剪枝，需要下層的硬件和計算庫對其有比較好的支持，精度高但是不方便做部署；反之結(jié)構(gòu)化剪枝方法則是對濾波器進行剪枝，雖然粒度粗但是更有利于部署。結(jié)構(gòu)化剪枝分為兩類：第一類是通過尋找深度神經(jīng)網(wǎng)絡(luò)中自身屬性來衡量濾波器重要程度，然后直接剪除重要性程度低的濾波器的方法，如Li等［10］提出了計算濾波器中所有權(quán)值的絕對值之和，按大小排序來決定濾波器重要程度，剪除小的權(quán)重和所對應的濾波器。Liu等［11］提出了使用經(jīng)過稀疏訓練后的BN（Batch Normalization）層系數(shù)來進行剪枝，直接剪除低系數(shù)所對應的濾波器。而Lin等［7］提出了HRank（High Rank），將剪枝分為3步：特征圖生成、濾波器選擇以及微調(diào)。首先，將部分圖像輸入模型，得到各個濾波器對應的特征圖；其次，根據(jù)得到的特征圖，計算每個濾波器對應的秩，作為濾波器選擇的準則；然后，通過卷積層中特征圖秩大小來衡量對應濾波器重要程度，剪除秩小的特征圖所對應的濾波器；最后，微調(diào)進行精度恢復訓練。第二類則是通過尋找到濾波器內(nèi)在冗余，剪除相似冗余的濾波器，如Wang等［12］將子空間聚類應用于特征映射，以消除濾波器中的冗余。百度提出的FPGM（Filter Pruning via Geometric Median）［6］則是首先將濾波器權(quán)重進行相似度分析，然后將相似度高的濾波器進行剪除。

綜上，之前的研究往往側(cè)重于找到更為合適的屬性來表征濾波器的重要程度，然后剪除重要性低的濾波器，或者通過對卷積層本身特征進行分析，然后找到相似冗余部分的濾波器進行剪除，多是單一的處理方式。一個卷積層對應不同剪枝策略的剪枝過程如圖2所示，由淺及深的填充色小塊表示特征圖秩的高低，其中通過特征圖秩的大小來衡量濾波器的權(quán)重。對于HRank剪枝方法而言，使用特征圖秩的大小決定濾波器重要性程度，然后將濾波器按照特征圖秩大小由低到高進行剪除，只會保留高秩部分濾波器而忽略其他秩低但更為重要的濾波器。而對于FPGM等剪枝方法，通過對特征圖秩進行相似度分析來得到每一個濾波器的相似性度量，優(yōu)先刪除相似性程度高的冗余的濾波器，在一定條件下可能過多地剪除信息豐富的濾波器。

對于YOLO剪枝而言，本文認為不能單一追求特征信息豐富性或者特征多樣性，融合兩種剪枝方法能夠取得更好的效果，主要完成了以下工作：

1）分析了網(wǎng)絡(luò)剪枝中剪枝率與卷積層中特征圖秩浮動范圍的關(guān)系。

2）使用HRank中的特征圖秩屬性來代替使用經(jīng)過稀疏訓練后的BN層參數(shù)來衡量特征信息豐富性。

3）在高剪枝率下使用K-means聚類的方式來代替FPGM中提出的相似度分析來衡量特征信息多樣性。

4）分析YOLO特征圖秩內(nèi)在聯(lián)系，根據(jù)剪枝率、秩的浮動范圍動態(tài)調(diào)整特征豐富性權(quán)重與特征多樣性權(quán)重，然后將特征信息豐富性和特征信息多樣性進行加權(quán)融合，最終得到濾波器的重要性程度。

圖2 基于秩信息采取不同剪枝策略的剪枝結(jié)果Fig. 2 Pruning results with different pruning strategies based on rank information

1 相關(guān)工作

對于結(jié)構(gòu)化剪枝方法而言，按照剪枝策略通?？梢苑譃閮深悾?/p>

1）將模型剪枝轉(zhuǎn)化為一個優(yōu)化問題找到最優(yōu)的模型結(jié)構(gòu)。剪枝的本質(zhì)并不應該是選擇重要的濾波器，而應該是確定濾波器的數(shù)量，如Luo等［8］提出的ThiNet（Thinner Net），根據(jù)卷積層濾波器的輸出來判斷該濾波器是否對結(jié)果有貢獻，如果沒有貢獻或貢獻很小，則直接把這個濾波器去掉，其認為如果可以用某一層輸入的一個子集代替原來的輸入，能得到盡可能類似原來輸出的話，那么子集以外的輸入就可以去掉，同時其對應的前面一層的濾波器也可以去掉。Liu等［13］提出的通道修剪的實質(zhì)在于找到最優(yōu)的修剪結(jié)構(gòu)，即每層的通道數(shù)，而不是選擇“重要”的通道。Lin等［9］提出的ABCPrune（Artifical Bee Colony Prune）通過預設(shè)每一層的剪枝率，然后將整個訓練當作一個優(yōu)化任務，通過最終的訓練結(jié)果得到最優(yōu)的剪枝率組合。

2）尋找卷積層內(nèi)在屬性的屬性大小來表征濾波器重要程度或者冗余程度來刪除屬性值低的濾波器或者相似度高的濾波器。對于YOLOv4剪枝任務而言，通常已經(jīng)訓練好了一個過度參數(shù)化模型，往往采用ThiNet中的三階段剪枝流程，即訓練過度參數(shù)化模型、剪枝和微調(diào)。最為常用的方法則是Liu等［11］提出的通過稀疏訓練的BN層的參數(shù)來作為濾波器重要性的指標。百度提出的FPGM［6］闡述了單一通過使用大小來衡量濾波器進行剪枝的有效性必須滿足兩個前提：一是要求濾波器參數(shù)數(shù)據(jù)分布的偏差足夠大，確保在寬泛的分布區(qū)間內(nèi)，通過閾值化處理能夠有效分離數(shù)據(jù)；二是要求被剪除的濾波器的參數(shù)足夠小，對網(wǎng)絡(luò)推理精度的貢獻也足夠小，確保裁剪掉這些濾波器之后，對模型精度不會造成存在較大影響。Lin等［7］提出了一種新的基于特征圖秩大小衡量濾波器重要性的剪枝方法HRank，對特征圖秩的大小進行排序，刪除特征圖秩低的濾波器，其系統(tǒng)性證明了通過秩大小來表征濾波器重要程度的可行性及有效性，同時在YOLO剪枝中也取得了很好的效果。

2 剪枝算法

2.1 剪枝層選取

YOLOv4主要包含Backbone、Neck和預測分支三個部分。Backbone采用CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)，CSP就是CSPNet（Cross Stage Partial Network）［14］里面的跨階段局部融合網(wǎng)絡(luò)，Darknet53沿用的是YOLOv3［15］中的骨干網(wǎng)絡(luò)，Neck主要結(jié)合了SPP（Spatial Pyramid Pooling）［16］、FPN（Feature Pyramid Network）［17］以及PAN（Pixel Aggregation Network）［18］等模塊的方式，因此在整個YOLOv4中除了普通的卷積層外，還有著大量的特征融合模塊。如圖3所示，CONV在YOLO中是卷積層、歸一化層和激活層的集合，特征融合塊主要是YOLO中的shortcut、route。為了對YOLOv4特征融合層進行剪枝，同時保證特征融合模塊完整性，在圖3（a）中CONV2與CONV4和特征融合層無關(guān)聯(lián)可以進行剪除，圖3（b）中CONV7可以進行剪除，其余卷積層與特征融合層相關(guān)，如果進行剪枝操作容易導致通道錯誤的問題。

圖3 YOLOv4中存在的不同特征融合結(jié)構(gòu)Fig. 3 Different feature fusion structures existing in YOLOv4 layer

2.2 剪枝率選取策略

剪枝率對于剪枝任務而言是個極度重要的參數(shù)，隨著剪枝率的提高模型越來越小，模型的準確率等指標則相應下滑。

當模型一致時，模型大小與推理的時間成反比，一個剪枝任務的平均剪枝率可以根據(jù)任務需求大體確定，但是整個剪枝率組合卻是一個隨著剪枝層增加而呈指數(shù)級遞增的集合。用于完成常見的深度學習任務如分類、目標檢測、分割等任務的大網(wǎng)絡(luò)，通常剪枝率的設(shè)置無法通過類似如ThiNet、ABCPrune等網(wǎng)絡(luò)的做法來學習一個最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，所以如何找到一個次優(yōu)的剪枝結(jié)構(gòu)對于剪枝任務而言至關(guān)重要。

本文認為在一定的epoch精度回歸條件下，對于特征圖秩浮動范圍大的卷積層，其整體的組合更不可拆分，對應的剪枝率應該較小；反之秩浮動范圍小的層，其冗余的濾波器較多，應賦予其較大的剪枝率。如圖4所示，ABCPrune在不同公共網(wǎng)絡(luò)中訓練好的剪枝率組合與其對應剪枝層的秩浮動范圍對比。實線部分是在VGG、GoogleNet、DenseNet、ResNet中各個剪枝層歸一化后的秩浮動范圍，計算式如下：

圖4 剪枝率與秩浮動范圍的關(guān)系Fig. 4 Relationship between pruning rate and rank fluctuation range

對于RFID數(shù)據(jù)集而言，加載未剪枝YOLOv4模型后，YOLOv4的秩浮動范圍如圖5所示，其秩浮動范圍變化與ABCPrune中公共網(wǎng)絡(luò)保持一致，表明對于YOLOv4骨干網(wǎng)絡(luò)中的卷積層的剪枝率應該設(shè)置偏低，而后面的卷積層剪枝率則設(shè)置偏高。

圖5 YOLOv4剪枝層對應的秩浮動范圍Fig. 5 Rank fluctuation range corresponding to YOLOv4 pruning layer

因此的剪枝率設(shè)置策略偽代碼如算法1所示。

算法1 剪枝率設(shè)置算法。

輸入conv，ranki，low，mid，high；

輸出compress_rate_list。

4） end for

9） end for

14） end for

2.3 剪枝策略

雖然用BN層參數(shù)來表征濾波器的豐富程度是可行的，但是需要稀疏訓練來保證參數(shù)的有效性，從而給剪枝增加了額外的訓練成本并提高了對剪枝人員的專業(yè)要求，因此本文使用HRank中的通過秩大小來衡量濾波器信息的豐富程度。

對于RFID數(shù)據(jù)集而言，其圖像紋理多為規(guī)律線條，加載未剪枝YOLOv4模型后，如圖5所示對剪枝層特征圖秩浮動范圍觀察發(fā)現(xiàn)，前面的骨干網(wǎng)絡(luò)部分的剪枝層秩浮動范圍較大，而后面的分支秩浮動范圍較小，若單一使用HRank對YOLO進行剪枝，在網(wǎng)絡(luò)高層時不滿足FPGM提出的使用單一屬性來衡量濾波器重要性的有效前提，即確保單一屬性處于廣泛的區(qū)間。本文認為HRank能夠衡量濾波器特征信息豐富性，而FPGM中相似度計算則能夠衡量特征信息多樣性，結(jié)合兩種剪枝策略能夠取得更好的效果。

然而當秩浮動過小時，因為特征圖秩大小相近，使用FPGM相似度計算衡量特征信息多樣性來進行剪枝增加了高秩所對應的濾波器被誤剪的可能性，此時使用K-means聚類算法來代替相似度計算，可以在一定程度上減少這種可能。如圖6所示，剪枝率為50%，使用K-means算法來計算特征多樣性相較于相似度計算方法在秩浮動范圍較小時，能夠在一定情況下保證特征圖秩更大的濾波器的重要性程度更高。

基于上述分析，提出在RFID缺陷檢測中對YOLOv4進行剪枝時基于特征信息豐富性與特征信息多樣性融合的剪枝策略，如式（2）所示：

算法2 剪枝算法。

輸入α，conv，ranki，pi，ni，epochNum；

輸出res。

4） ∥根據(jù)剪枝率來選取K?means算法或者相似度計算 ∥特征信息多樣性

5） ∥K?means算法

12） end for

13） ∥相似度計算

19） end for

20） end while

圖6 相似度計算算法與K-means算法對比Fig. 6 Comparison of similarity calculation algorithm and K-means algorithm

圖7 不同過程中的剪枝對比Fig. 7 Pruning comparison among different processes

圖8 隨著取值變化的mAP情況Fig. 8 mAP with change of value

3 實驗與結(jié)果分析

本文采用從某物聯(lián)網(wǎng)公司現(xiàn)場收集到的RFID數(shù)據(jù)集，包含3 000余張圖片，其中包括各類缺陷圖片如斷線、粘連、凹毛刺、凸毛刺、孔洞和污點等；同時對YOLOv4最終選取的50個滿足要求的卷積層進行網(wǎng)絡(luò)剪枝。由于需要部署的平臺顯卡為NVIDIA GeForce RTX 2080，同時滿足的一張圖片檢查時間不超過7 ms，選取平均剪枝率為28.87%，其各個剪枝層所對應的剪枝率如圖9所示。

圖9 不同剪枝層對應的剪枝率Fig. 9 Corresponding pruning rate of different pruning layer

圖9中曲線是平均剪枝率為28.87%時剪枝率組合為（0.1，0.2，0.3），其中0.1對應為低剪枝率，0.2對應為中等剪枝率，0.3對應了高剪枝率。在平均剪枝率為28.87%、剪枝率組合為（0.1，0.2，0.3）時不同特征信息豐富性權(quán)重的剪枝結(jié)果如表1所示，其中包括以下衡量指標：mAP、算力和模型參數(shù)量。

表1 剪枝率為28.87%下的剪枝方法對比Tab. 1 Comparison of pruning methods with pruning rate of 28.87%

由表1可以看出，使用HRank+FPGM融合剪枝策略在特征信息豐富性權(quán)重、剪枝率較低時相較HRank剪枝方法mAP提高了2.6%，相較FPGM提高了8.9%，甚至相較未剪枝模型提高了0.4%，所有的融合剪枝策略都比FPGM的mAP高。

為了驗證使用融合剪枝在高剪枝率下也優(yōu)于單一使用秩信息進行剪枝的方法，使特征信息豐富性權(quán)重，平均剪枝率為72.2%，然后進行剪枝的結(jié)果如表2所示。在高剪枝率下，使用HRank+K-means融合剪枝策略也同樣取得了較好的效果。

表2 剪枝率為72.2%下的剪枝方法對比Tab. 2 Comparison of pruning methods with pruning rate of 72.20%

4 結(jié)語

在RFID缺陷檢測任務中，本文提出了動態(tài)融合特征圖秩信息豐富性和多樣性來對YOLO進行剪枝，在保證原有精度不損失的前提下，模型參數(shù)量減少了35.0%，達到了部署要求；同時實驗結(jié)果驗證了所提方法的可行性和有效性。但是本文方法針對特征秩信息豐富性權(quán)重值進行的實驗仍存在不足，實驗過程中使得剪枝效果表現(xiàn)較好，但可能存在著更優(yōu)的值。對于這個參數(shù)未來可以考慮結(jié)合深度學習方法來進行動態(tài)設(shè)置。

[1] 孟秋云，殷憲禎，徐鶴.基于USRP的無線射頻識別平臺設(shè)計與實現(xiàn)［J］.計算機技術(shù)與發(fā)展，2021，31（3）：168-173.（MENG Q Y， YIN X Z， XU H. Design and implementation of RFID platform based on USRP ［J］. Computer Technology and Development， 2021， 31（3）： 168-173）

[2] HAN S， POOL J， TRAN J， et al. Learning both weights and connections for efficient neural networks ［C］// Proceedings of the 2015 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1135-1143.

[3] CARREIRA-PERPINAN M A，IDELBAYEV Y. “Learning-compression” algorithms for neural net pruning ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：8532-8541.

[4] DONG X， CHEN S Y， PAN S J. Learning to prune deep neural networks via layer-wise optimal brain surgeon ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 4860-4874.

[5] GUO Y W， YAO A B， CHEN Y R. Dynamic network surgery for efficient DNNs ［C］// Proceedings of the 2016 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 1387-1395.

[6] HE Y， LIU P， WANG Z W， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：4335-4344.

[7] LIN M B， JI R R， WANG Y， et al. HRank： filter pruning using high-rank feature map ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：1526-1535.

[8] LUO J H， WU J X， LIN W Y. ThiNet： a filter level pruning method for deep neural network compression ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5068-5076.

[9] LIN M B， JI R R， ZHANG Y X， et al. Channel pruning via automatic structure search ［C］// Proceedings of the 2020 29th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2020： 673-679.

[10] LI H， KADAV A， DURDANOVIC I， et al. Pruning filters for efficient ConvNets ［EB/OL］. ［2021-02-09］.https：//arxiv.org/pdf/1608.08710.pdf.

[11] LIU Z， LI J G， SHEN Z Q， et al. Learning efficient convolutional networks through network slimming ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2755-2763.

[12] WANG D， ZHOU L， ZHANG X N， et al. Exploring linear relationship in feature map subspace for ConvNets compression［EB/OL］. ［2021-02-09］. https：//arxiv.org/pdf/1803.05729.pdf.

[13] LIU Z， SUN M J， ZHOU T H， et al. Rethinking the value of network pruning ［EB/OL］.［2021-02-09］. https：//arxiv.org/pdf/1810.05270.pdf.

[14] WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：1571-1580.

[15] REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］. ［2021-02-09］. https：//arxiv.org/pdf/1804.02767.pdf.

[16] HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.

[17] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2017： 936-944.

[18] LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2018： 8759-8768.

Pruning of YOLOv4 based on rank information in industrial scenes

QIN Xiao1，2， CHENG Miao1，2，3*， ZHANG Shaobing1，2，3， HE Lian1，3， SHI Xiangwen1，2，WANG Pinxue1，2， ZENG Shang1，2

（1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan610041，China；2.School of Computer Science and Technology，University of Chinese Academy of Sciences，Beijing100049，China；3.Shenzhen CBPM-KEXIN Banking Technology Company Limited，Shenzhen Guangdong518206，China）

In the Radio Frequency IDentification （RFID）real-time defect detection task in industrial scenes，the deep learning target detection algorithms such as You Only Look Once （YOLO） are often adopted in order to ensure the detection precision and speed. However， these algorithms are still difficult to meet the speed requirement of industrial detection， and the corresponding network models cannot be deployed on resource-constrained devices. To solve these problems， the YOLO model must be pruned and compressed. A new network pruning method of the weighted fusion of feature information richness and feature information diversity based on rank information was proposed. Firstly， the unpruned model was loaded and reasoned，and the rank information of the corresponding feature maps of the filters was obtained in forward propagation to measure the feature information richness. Secondly， according to the different pruning rates， the rank information was clustered or the similarity of the rank information was calculated to measure the feature information diversity. Finally， the importance degrees of the corresponding filters were obtained after the weighted fusion and were sorted， and the filters with low importance were cut off. Experimental results show that， for YOLOv4，when the pruning rate is 28.87% and the weight of feature information richness is 0.75， the proposed method has the mean Average Precision （mAP） improved by 2.6%8.9% compared with the method that uses rank information of the feature maps alone， and the model pruned by the proposed method even has the mAP increased by 0.4% and the model parameters reduced by 35.0% compared with the unpruned model， indicating that the proposed method is conducive to the model deployment.

Radio Frequency IDentification(RFID); You Only Look Once (YOLO); network pruning; feature information richness; feature information diversity; rank information

TP391.4

A

1001-9081（2022）05-1417-07

10.11772/j.issn.1001-9081.2021030448

2021?03?24；

2021?07?28；

2021?07?29。

秦曉（1995—），男，四川成都人，碩士研究生，主要研究方向：人工智能、機器視覺； 成苗（1983—），男，四川成都人，高級工程師，碩士，主要研究方向：人工智能、機器視覺； 張紹兵（1979—），男，四川成都人，正研級高級工程師，碩士，主要研究方向：高速圖像處理、缺陷檢測、深度學習； 何蓮（1983—），女，四川西充人，高級工程師，博士，主要研究方向：人工智能、機器視覺； 石向文（1991—），男，湖南永州人，碩士研究生，主要研究方向：人工智能； 王品學（1993—），男，四川成都人，碩士研究生，CCF會員，主要研究方向：小樣本學習、表面缺陷檢測； 曾尚（1995—），男，湖北荊門人，碩士研究生，主要研究方向：人工智能。

QIN Xiao， born in 1995，M. S. candidate. His research interests include artificial intelligence， machine vision.

CHENG Miao， born in 1983，M. S.， senior engineer. His research interests include artificial intelligence， machine vision.

ZHANG Shaobing， born in 1979，M. S.， research senior engineer. His research interests include high-speed image processing， defect detection， deep learning.

HE Lian， born in 1983，Ph. D.， senior engineer. Her research interests include artificial intelligence， machine vision.

SHI Xiangwen， born in 1991，M. S. candidate. His research interests include artificial intelligence.

WANG Pinxue， born in 1993，M. S. candidate. His research interests include few-shot learning， surface defect detection.

ZENG Shang， born in 1995，M. S. candidate. His research interests include artificial intelligence.