醫(yī)用球囊缺陷智能檢測算法研究

摘要：針對醫(yī)用球囊缺陷由人工檢測效率低下，檢測質(zhì)量受人工經(jīng)驗(yàn)和主觀因素的影響大等問題，文章提出一種改進(jìn)YOLOv5s算法的輕量級檢測方法。為了實(shí)現(xiàn)更好的魯棒性，文章根據(jù)醫(yī)用球囊在生產(chǎn)中出現(xiàn)的缺陷情況，自主構(gòu)建數(shù)據(jù)集。首先，將YOLOv5s的主干網(wǎng)絡(luò)替換為FasterNet網(wǎng)絡(luò)結(jié)構(gòu)，大幅輕量化網(wǎng)絡(luò)，提高檢測速度。其次，引入內(nèi)容感知特征重組（Content-Aware ReAssembly of FE"，"Introduction":""，"Columns":"研究創(chuàng)新"，"Volume":""，"Content":"

摘要：針對醫(yī)用球囊缺陷由人工檢測效率低下，檢測質(zhì)量受人工經(jīng)驗(yàn)和主觀因素的影響大等問題，文章提出一種改進(jìn)YOLOv5s算法的輕量級檢測方法。為了實(shí)現(xiàn)更好的魯棒性，文章根據(jù)醫(yī)用球囊在生產(chǎn)中出現(xiàn)的缺陷情況，自主構(gòu)建數(shù)據(jù)集。首先，將YOLOv5s的主干網(wǎng)絡(luò)替換為FasterNet網(wǎng)絡(luò)結(jié)構(gòu)，大幅輕量化網(wǎng)絡(luò)，提高檢測速度。其次，引入內(nèi)容感知特征重組（Content-Aware ReAssembly of FEatures， CARAFE）上采樣算子，增大感受野，提高特征圖的重建質(zhì)量，從而提高模型檢測精度。最后，在特征提取階段引入坐標(biāo)注意力機(jī)制（Coordinate Attention， CA），提升網(wǎng)絡(luò)對小目標(biāo)缺陷的檢測能力。對該醫(yī)用球囊缺陷數(shù)據(jù)集進(jìn)行測試，與YOLOv5s原算法對比，該算法平均精度均值在提高1.7%的情況下，每秒浮點(diǎn)運(yùn)算次數(shù)降低8.4×10⁹，權(quán)重大小減少86.9%，至7.5 MB，幀率每秒提升12.7幀，達(dá)到71.5幀/s，模型整體大幅輕量化。

關(guān)鍵詞：醫(yī)用球囊；缺陷檢測；YOLOv5；FasterNet；注意力機(jī)制；CARAFE

中圖分類號：TP391.4""文獻(xiàn)標(biāo)志碼：A

0"引言

球囊導(dǎo)管是一類廣泛應(yīng)用于臨床的精密醫(yī)療器械，主要用于血管治療，通過擴(kuò)張血管、治療狹窄和塑形等操作，實(shí)現(xiàn)對病變血管的修復(fù)^［1］。該導(dǎo)管末端配有擴(kuò)張球囊，能夠在定位到病變部位后，通過加壓液體使球囊擴(kuò)張，達(dá)到治療的目的^［2］。鑒于球囊導(dǎo)管在手術(shù)中的關(guān)鍵作用，對導(dǎo)管品質(zhì)要求極高，任何缺陷都可能導(dǎo)致球囊破裂，進(jìn)而嚴(yán)重影響治療效果和患者安全。目前，醫(yī)用球囊的缺陷檢測仍主要依賴人工，這種方式不僅效率低下，且易受人為經(jīng)驗(yàn)和主觀因素的影響。因此，設(shè)計(jì)一種高效的醫(yī)用球囊缺陷檢測方法意義重大。

隨著深度學(xué)習(xí)在圖像分類、檢測、分割以及重建等任務(wù)中的突破，針對復(fù)雜幾何形狀的細(xì)微缺陷或前景與背景對比度較低的透明物體表面缺陷，深度學(xué)習(xí)技術(shù)在缺陷檢測中展現(xiàn)了優(yōu)異的特征捕捉能力，顯著提升了檢測的精度和魯棒性^［3］。深度學(xué)習(xí)盡管在多個領(lǐng)域的缺陷檢測中取得了顯著成效，但在醫(yī)用球囊缺陷檢測中的應(yīng)用尚未得到深入研究。為了解決這一問題，本文提出了一種基于YOLOv5s^［4］的輕量級網(wǎng)絡(luò)，以實(shí)現(xiàn)醫(yī)用球囊缺陷的快速檢測。

1"材料與方法

數(shù)據(jù)集是深度學(xué)習(xí)網(wǎng)絡(luò)的基礎(chǔ)，只有高質(zhì)量的數(shù)據(jù)集，才能夠使模型具有更好的魯棒性和泛化能力。本文用到的醫(yī)用球囊缺陷檢測的實(shí)驗(yàn)數(shù)據(jù)均來源于項(xiàng)目組搭建的醫(yī)用球囊視覺分揀系統(tǒng)。使用該系統(tǒng)采集的圖像大小為4000 pixel×3036 pixel，如圖1所示。

通過調(diào)研，工廠生產(chǎn)的醫(yī)用球囊缺陷類型主要分為雜質(zhì)、毛屑、粘模和夾邊4種類型，具體如圖2所示。

本研究一共采集到3428張醫(yī)用球囊缺陷圖像。

使用Labelme工具對缺陷圖像進(jìn)行標(biāo)注，生成的標(biāo)注數(shù)據(jù)以JSON格式存儲。隨后將標(biāo)注后的數(shù)據(jù)集按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，具體如表1所示。

2"YOLOv5模型分析與改進(jìn)

2.1"輕量化檢測網(wǎng)絡(luò)FCC-YOLOv5

醫(yī)用球囊缺陷檢測須要獲取球囊在各個角度的圖像。該過程須要消耗大量資源，同時對檢測速度也有很高的要求。本文提出一種輕量化的目標(biāo)檢測網(wǎng)絡(luò)FCC-YOLOv5，結(jié)構(gòu)如圖3所示。

2.2"FasterNet模型

為了網(wǎng)絡(luò)的快速運(yùn)行，本文在YOLOv5s中引入了Chen等^［5］提出的輕量級神經(jīng)網(wǎng)絡(luò)FasterNet。FasterNet結(jié)構(gòu)分為4個階段，每個階段包含1個FasterNet Block結(jié)構(gòu)。FasterNet Block是由1個部分卷積層PConv和2個點(diǎn)卷積層組成，使用殘差連接緩解梯度消失問題。FasterNet通過PConv，減少了計(jì)算量和內(nèi)存訪問。PConv僅對部分輸入通道進(jìn)行常規(guī)卷積，降低了計(jì)算和內(nèi)存訪問量，同時保持其余通道不變，從而有效地提取空間特征并減少冗余操作。本文將YOLOv5s的骨干網(wǎng)絡(luò)替換為FasterNet結(jié)構(gòu)，可以顯著降低計(jì)算復(fù)雜度，從而大幅提升檢測速度。

2.3"CARAFE上采樣算子

在圖像分類和目標(biāo)檢測的網(wǎng)絡(luò)模型中，合適的上采樣方法對提高模型的精度和性能起著關(guān)鍵作用。YOLOv5s默認(rèn)使用的上采樣方式是最近鄰上采樣。該方法僅依靠與待測采樣點(diǎn)最近的像素進(jìn)行計(jì)算，感受野較小，雖然計(jì)算速度快，但難以捕捉密集預(yù)測任務(wù)所需的豐富語義信息。醫(yī)用球囊圖像中的缺陷目標(biāo)通常較小，且在圖像采集過程中，由于球囊處于旋轉(zhuǎn)狀態(tài)，缺陷部位有時會出現(xiàn)模糊或分辨率低的現(xiàn)象，影響模型的識別效果。為了解決這些問題，本文引入了CARAFE^［6］算子替換原有的上采樣算子。CARAFE能夠?yàn)椴煌卣魃勺赃m應(yīng)的上采樣核，改善全局特征圖的重建質(zhì)量。與傳統(tǒng)的插值上采樣方法相比，雖然參數(shù)量略有增加，但CARAFE通過提升特征的重建質(zhì)量，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力和對關(guān)鍵特征的識別能力。

2.4"CA注意力機(jī)制

網(wǎng)絡(luò)引入CARAFE上采樣算子后，雖然提升了算法的特征提取能力，但在復(fù)雜背景下對較小目標(biāo)的缺陷檢測仍然有誤檢和漏檢等情況。為提高對小目標(biāo)的檢測精度，減少背景干擾，本文在YOLOv5s模型中引入了CA注意力機(jī)制^［7］，進(jìn)一步增強(qiáng)算法的特征提取能力。CA注意力模塊使特征在融合過程中能夠自適應(yīng)地學(xué)習(xí)各特征的重要性，從而優(yōu)化特征融合。通過調(diào)整注意力權(quán)重，模型能夠更好地突出關(guān)鍵特征，這種機(jī)制有助于增強(qiáng)小目標(biāo)缺陷的檢測能力。因?yàn)樾∧繕?biāo)在圖像中占據(jù)的像素較少，其特征往往較為微弱。CA注意力機(jī)制通過突出關(guān)鍵特征通道，增強(qiáng)了模型的性能和泛化能力，從而使得目標(biāo)檢測精度得到提升。

3"結(jié)果與分析

3.1"實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)進(jìn)行深度學(xué)習(xí)訓(xùn)練的操作系統(tǒng)為Ubuntu20.04，使用的GPU為NVIDIA GRID P40-12Q 顯存12 GB，CPU是Intel Xeon Platinum 8173 M。使用的深度學(xué)習(xí)框架為Pytorch1.8，Cuda版本為11.1，編程語言為Python3.8。

3.2"消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證各模塊的缺陷檢測效果，本文進(jìn)行了消融實(shí)驗(yàn)。在原始模型的基礎(chǔ)上，逐步增加1種、2種和3種改進(jìn)方法。消融實(shí)驗(yàn)結(jié)果如表2所示。

實(shí)驗(yàn)1為初始的YOLOv5s模型，實(shí)驗(yàn)2將YOLOv5s的主干網(wǎng)絡(luò)替換為FasterNet網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)評價指標(biāo)，可以明顯看出替換FasterNet模塊后，模型在犧牲一定檢測精度的情況下，幀率每秒提升32幀，浮點(diǎn)運(yùn)算次數(shù)下降57.5%，權(quán)重大小下降87.5%。骨干網(wǎng)絡(luò)替換為FasterNet網(wǎng)絡(luò)以后，雖然模型的檢測精度有一定程度的下降，但模型檢測顯著輕量化，能夠更容易地部署在硬件中，有效提高了檢測速度。實(shí)驗(yàn)3在給YOLOv5s的上采樣算子替換成CARAFE算子后，模型的整體精度變化不大，但實(shí)驗(yàn)5在實(shí)驗(yàn)2替換FasterNet網(wǎng)絡(luò)的基礎(chǔ)上，再將上采樣算子替換成CARAFE，相比實(shí)驗(yàn)3的模型mAP提高1.4%且只帶來了微小的計(jì)算量增加。特征圖質(zhì)量的提高，使得模型對小缺陷以及尺度變化較大的缺陷的檢測更加精準(zhǔn)，小缺陷雜質(zhì)mAP值提高3.4%，模糊缺陷毛屑mAP值提高2.1%。最后實(shí)驗(yàn)8在實(shí)驗(yàn)5的基礎(chǔ)上增加CA注意力模塊，進(jìn)一步提升對小目標(biāo)缺陷的檢測能力，其本身的輕量化使得帶來的計(jì)算量增加可以忽略不計(jì)。最終改進(jìn)完成后的模型，相比原始的YOLOv5s模型整體mAP雖然只提高1.7%，但模型整體大幅輕量化，F(xiàn)LOPS降低8.4×10⁹，權(quán)重大小減少86.9%，幀率每秒提升12.7幀。上述結(jié)果表明，本研究在YOLOv5s的基礎(chǔ)上進(jìn)行的改進(jìn)很好地平衡了檢測精度與模型輕量化，有效提升了檢測速度和部署效率，為實(shí)際應(yīng)用場景提供了更可行的解決方案。

3.3"改進(jìn)效果

為了直觀展示YOLOv5s原始算法和本文改進(jìn)過后的算法的檢測效果區(qū)別，本文從數(shù)據(jù)集的測試集中抽取3張圖，在相同的置信度和交并比的情況下，使用2種模型對這3張圖進(jìn)行缺陷檢測。檢測效果如圖4所示。前3張圖是改進(jìn)后的YOLOv5s算法檢測結(jié)果，后3張圖是原始YOLOv5s檢測的結(jié)果，由圖可知，在對較小或者像素模糊的缺陷，原始的YOLOv5s模型容易出現(xiàn)漏檢現(xiàn)象。改進(jìn)后的模型不僅能提高檢測精度，還能有效地降低漏檢誤檢率。

4"結(jié)語

針對醫(yī)用球囊采用人工檢測出現(xiàn)的各種問題，本文基于YOLOv5s設(shè)計(jì)了醫(yī)用球囊缺陷檢測模型。首先，從輕量化角度出發(fā)，將網(wǎng)絡(luò)的主干網(wǎng)絡(luò)替換為FasterNet網(wǎng)絡(luò)結(jié)構(gòu)，在保證檢測精度的情況下，大幅輕量化網(wǎng)絡(luò)，提高檢測速度；其次，引入CARAFE上采樣算子，增大感受野，提高特征圖的重建質(zhì)量，從而提高模型檢測精度；最后，在特征提取階段引入CA注意力機(jī)制，提升網(wǎng)絡(luò)對小目標(biāo)缺陷的檢測能力。通過對構(gòu)建的醫(yī)用球囊缺陷數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)顯示，改進(jìn)后的YOLOv5s算法針對醫(yī)用球囊缺陷，在平均精度、檢測速度、模型計(jì)算量都優(yōu)于原算法。下一步計(jì)劃將改進(jìn)的算法部署在醫(yī)用球囊質(zhì)檢系統(tǒng)里并進(jìn)行測試和優(yōu)化，用于醫(yī)用球囊的實(shí)時質(zhì)檢系統(tǒng)裝置中，幫助工人提高效率。

參考文獻(xiàn)

［1］傅雪磊.球囊成型工藝與過程數(shù)值模擬研究［D］.北京：北京化工大學(xué)，2017.

［2］徐立霞，盧春蘭，李昕躍.醫(yī)用球囊成型材料和技術(shù)的研究進(jìn)展［J］.大連大學(xué)學(xué)報，2010（6）：81-83.

［3］陳其浩.基于深度卷積神經(jīng)網(wǎng)絡(luò)的透明件表面缺陷檢測算法研究［D］.青島：山東科技大學(xué)，2022.

［4］YAO J，QI J，ZHANG J，et al.A realtime detection algorithm for Kiwifruit defects based on YOLOv5 ［J］.Electronics，2021（14）：1711.

［5］毋濤，崔青，殷強(qiáng)，等.基于改進(jìn)YOLOv7的織物疵點(diǎn)檢測算法［J］.紡織高?；A(chǔ)科學(xué)學(xué)報，2023（4）：29-36.

［6］WANG J，CHEN K，XU R，et al.Carafe++：Unified contentaware reassembly of features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021（9）：4674-4687.

［7］WEN G，LI S，LIU F，et al.YOLOv5s-CA：A modified YOLOv5s network with coordinate attention for underwater target detection［J］.Sensors，2023（7）：3367.（編輯"王雪芬）

Research on intelligent defect detection methods in medical balloons

FAN "Jiaqi¹， WU "Quanyu^1*， LIU "Min²， ZOU "Hufeng¹， YAO "Min³， PAN "Lingjiao¹

（1.School of Electrical and Information Engineering， Jiangsu University of Technology， Changzhou 213001， China;

2.School of OptoElectronic and Communication Engineering， Xiamen Institute of Technology， Xiamen 361024， China;

3.Chang Mei Medical Equipment Co.， Ltd.， Changzhou 213000， China）

Abstract： "In response to issues such as low efficiency and quality variability in manual detection of defects in medical balloons due to human experience and subjective factors， a lightweight detection method based on improving the YOLOv5s algorithm is proposed. To achieve better robustness， this study autonomously constructed a dataset based on defect occurrences during medical balloon production. Firstly， the backbone network of YOLOv5s was replaced with the FasterNet network structure to significantly lighten the network while maintaining detection accuracy and improving detection speed. Secondly， the Content-Aware ReAssembly of FEatures （CARAFE） upsampling operator was introduced to increase the receptive field and enhance the reconstruction quality of feature maps， thereby improving the model’s detection accuracy. Lastly， the Coordinate Attention （CA） mechanism was introduced in the feature extraction stage to enhance the network’s ability to detect small target defects. Testing on the constructed dataset of medical balloon defects showed that compared to the original YOLOv5s algorithm， the proposed algorithm achieved an average precision mean average precision （mAP） improvement of 1.7%， reduced floating-point operations per second （FLOPS） by 8.4×10⁹， decreased weight size by 86.9% to 7.5MB， and increased frame rate by 12.7 frames per second to 71.5 frames/s， significantly lightening the overall model.

Key words： medical balloon; defect detection; YOLOv5; FasterNet; CA; CARAFE