范 博,吳 俊**,孫 亮,顏光前,張兆民,王 強(qiáng),夏苠芩
(1.云南大學(xué) 信息學(xué)院,云南 昆明 650500;2.昆明醫(yī)科大學(xué)第一附屬醫(yī)院 胃腸與疝外科,云南 昆明 650032;3.昆明醫(yī)科大學(xué)第一附屬醫(yī)院 科教部,云南 昆明 650032)
腹壁疝是腹部手術(shù)常見并發(fā)癥[1],無(wú)法自愈只能通過(guò)補(bǔ)片植入手術(shù)進(jìn)行治療[2],中國(guó)疝病患者人數(shù)每年可達(dá)300 萬(wàn)~500 萬(wàn),75 歲以上老年男性的發(fā)病率可高達(dá)44%,高于任何一種惡性腫瘤.目前臨床上所植入的補(bǔ)片多為重量型補(bǔ)片,復(fù)發(fā)率高且容易帶來(lái)慢性疼痛;輕量型補(bǔ)片網(wǎng)孔稀疏,質(zhì)地輕盈,腹壁順應(yīng)性強(qiáng)[3],正逐漸取代傳統(tǒng)重量型補(bǔ)片.但作為植入的異物,輕量型補(bǔ)片依舊會(huì)產(chǎn)生移位、皺縮,甚至疝復(fù)發(fā)等一系列并發(fā)癥[4-5].因此,需要醫(yī)生對(duì)植入補(bǔ)片重新檢測(cè)與評(píng)估,以確定與補(bǔ)片相關(guān)的并發(fā)癥并指導(dǎo)手術(shù)與治療.
傳統(tǒng)計(jì)算機(jī)斷層成像(Computer Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)等三維成像方式存在輻射危害或禁忌癥,且無(wú)法對(duì)輕量型補(bǔ)片成像,手持超聲(Hand-held Ultrasound,HHUS)雖然能成像輕量型補(bǔ)片,但效果不佳.這導(dǎo)致術(shù)后檢測(cè)只能進(jìn)行侵入性的二次探查手術(shù),大大增加了病人的痛苦和費(fèi)用負(fù)擔(dān).自動(dòng)三維乳腺超聲(Automated 3D Breast Ultrasound,ABUS)[6]克服傳統(tǒng)超聲的缺點(diǎn),不僅成功用于乳腺腫瘤檢測(cè),同時(shí)對(duì)腹壁疝輕量型補(bǔ)片的檢查也十分有效.但ABUS 對(duì)病例檢查后所產(chǎn)生的數(shù)據(jù)量極為龐大,醫(yī)生每天需要檢測(cè)成百上千張的補(bǔ)片成像結(jié)果,人工閱片極其耗時(shí)費(fèi)力,且容易出現(xiàn)漏診或誤診;據(jù)統(tǒng)計(jì),醫(yī)師查閱醫(yī)學(xué)影像產(chǎn)生的誤診率高達(dá)10%~30%.
為了減少檢查時(shí)間并提高準(zhǔn)確率,已經(jīng)提出了幾種計(jì)算機(jī)輔助檢測(cè)(Computer-aided Diagnosis,CADe)系統(tǒng)來(lái)幫助檢查和形成對(duì)ABUS 圖像的更精確的檢測(cè)和診斷.理論上,應(yīng)用于ABUS 腫瘤圖像檢測(cè)研究對(duì)于補(bǔ)片檢測(cè)有一定參考價(jià)值.Ikedo等[7]開發(fā)了一種基于Canny邊緣檢測(cè)器檢測(cè)邊緣的全自動(dòng)檢測(cè)方法,利用分水嶺變換對(duì)定位位置進(jìn)行檢測(cè),生成候選腫瘤區(qū)域.Chang 等[8]提出一種用于多通道自動(dòng)乳腺超聲乳房病變檢測(cè)的CADe系統(tǒng),先對(duì)圖像進(jìn)行預(yù)處理,然后采用灰度切片的方法對(duì)候選腫瘤進(jìn)行檢測(cè),最后,提取了7 個(gè)用于區(qū)分腫瘤和非腫瘤的量化特征.Tan 等[9]提出一種多階段CADe 系統(tǒng),包括乳房、乳頭和胸壁的檢測(cè),然后提取體素特征,并使用神經(jīng)網(wǎng)絡(luò)分類器集成來(lái)區(qū)分腫瘤和非腫瘤.Moon 等[10]提出了一種基于多尺度斑點(diǎn)檢測(cè)的方法,利用模糊、內(nèi)部回聲和形態(tài)學(xué)特征對(duì)斑點(diǎn)進(jìn)行分類,減少了陽(yáng)性斑點(diǎn)的數(shù)量.Lo 等[11]提出應(yīng)用分水嶺變換得到均勻區(qū)域,并利用LR 分類器得到二維和三維紋理、強(qiáng)度和形態(tài)學(xué)特征估計(jì)候選腫瘤的概率.然而,這些方法都存在以下缺點(diǎn):①候選區(qū)域方案都是針對(duì)腫瘤圖像,對(duì)于補(bǔ)片圖像檢測(cè)效果不好;②手工特征的選擇需要專門的領(lǐng)域知識(shí),不方便且可能不是最優(yōu)的;③這些方法在臨床試驗(yàn)中的檢測(cè)率和執(zhí)行時(shí)間都相對(duì)不足.
隨著深度學(xué)習(xí)理論的飛速發(fā)展,針對(duì)上述問(wèn)題以及ABUS 補(bǔ)片圖像特點(diǎn),本文提出了一種改進(jìn)的YOLOv3 卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)算法.實(shí)現(xiàn)對(duì)ABUS 超聲中補(bǔ)片的自動(dòng)檢測(cè),利用對(duì)補(bǔ)片超聲圖像進(jìn)行檢測(cè)后得到的檢測(cè)框來(lái)獲取補(bǔ)片大小、皺縮情況等超聲參數(shù),以輔助醫(yī)生進(jìn)行補(bǔ)片的術(shù)后檢查.
1.1 YOLOv3 神經(jīng)網(wǎng)絡(luò)隨著卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用,對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型檢測(cè)的精度和速度提出了越來(lái)越高的要求.J.Redmon等提出的單階段目標(biāo)檢測(cè)YOLO 系列[12-14],相對(duì)于雙階段較慢的檢測(cè)速度以及難以優(yōu)化檢測(cè)策略(如Fast R-CNN[15]、Faster R-CNN[16]),YOLO 算法將目標(biāo)檢測(cè)轉(zhuǎn)化為回歸問(wèn)題,可以對(duì)圖像直接預(yù)測(cè)得到物體邊界位置和分類.YOLOv3 作為YOLO系列的集大成者,其優(yōu)秀的檢測(cè)性能及卓越的檢測(cè)速度,在實(shí)際應(yīng)用得到廣泛認(rèn)可和應(yīng)用.
圖1 為YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu),YOLOv3 的特征提取網(wǎng)絡(luò)Darknet-53 引入殘差模塊(Residual Block)借鑒了Resnet[17]的思想,相比YOLO9000 中采用的Darknet-19,可以很好地控制梯度的傳播,避免出現(xiàn)梯度消失或者爆炸等不利于訓(xùn)練的情形,使得訓(xùn)練深層網(wǎng)絡(luò)難度大大減小.同時(shí)Darknet-53 用步長(zhǎng)為2 的卷積層代替池化層,避免了信息丟失.
圖1 YOLOv3 構(gòu)圖結(jié)構(gòu)簡(jiǎn)圖Fig.1 Schematic diagram of YOLOv3 composition structure
YOLOv3 借鑒了FPN[18](Feature Pyramid Networks)的思想,采用多尺度融合的方式預(yù)測(cè),通過(guò)兩次上采樣(Up Sampling),得到3 個(gè)不同尺度(13×13,26×26,52×52)的特征圖(Feature Maps).采用K 均值聚類法[19]對(duì)3 種不同尺度的特征圖進(jìn)行聚類,得到9 種先驗(yàn)框,并根據(jù)大特征圖匹配小尺寸框的原則進(jìn)行分配.YOLOv3 模型利用線性回歸來(lái)預(yù)測(cè)每個(gè)先驗(yàn)框的目標(biāo)分?jǐn)?shù),模型中的每個(gè)先驗(yàn)框?qū)?yīng)1 個(gè)ground truth 對(duì)象.
如圖2 預(yù)測(cè)邊界框的中心坐標(biāo)(bx,by)及寬度bw,高度bh的計(jì)算過(guò)程為:
圖2 先驗(yàn)框與預(yù)測(cè)邊界框Fig.2 Prior box and prediction bounding box
式中,σ是sigmoid 函數(shù),tx、ty為預(yù)測(cè)的坐標(biāo)偏移量,tw、th是預(yù)測(cè)邊框的寬高尺寸縮放,cx、cy分別為特征圖中g(shù)rid cell 的左上角坐標(biāo),pw、ph分別為預(yù)設(shè)的anch or box 映射到特征圖中的寬和高.
YOLOv3 模型不采用softmax 分類,而是使用單獨(dú)的Logistic 回歸分類器,以確保每個(gè)邊界框使用多標(biāo)簽分類.在訓(xùn)練過(guò)程中,利用二元交叉熵?fù)p失(Binary cross entropy)進(jìn)行類別預(yù)測(cè).
1.2 遷移學(xué)習(xí)遷移學(xué)習(xí)[20]是一種機(jī)器學(xué)習(xí)的方法,指的是一個(gè)預(yù)訓(xùn)練的模型被重新用在另一個(gè)任務(wù)中[21].遷移學(xué)習(xí)分為基于實(shí)例遷移學(xué)習(xí)、基于特征遷移學(xué)習(xí)、基于模型遷移學(xué)習(xí)和基于關(guān)系遷移學(xué)習(xí)4 大類別.傳統(tǒng)機(jī)器學(xué)習(xí)在訓(xùn)練一個(gè)好的網(wǎng)絡(luò)模型時(shí)需要訓(xùn)練大量數(shù)據(jù)進(jìn)行學(xué)習(xí),對(duì)于一些數(shù)據(jù)較少的樣本往往訓(xùn)練效果不佳.遷移學(xué)習(xí)能有效解決小樣本數(shù)據(jù)的學(xué)習(xí)問(wèn)題,提升卷積神經(jīng)網(wǎng)絡(luò)對(duì)小樣本數(shù)據(jù)目標(biāo)分類識(shí)別的準(zhǔn)確率.
在遷移學(xué)習(xí)中,被學(xué)習(xí)的領(lǐng)域稱為源域(Source Domain),待解決問(wèn)題的領(lǐng)域稱為目標(biāo)域(Target Domain),公式如下:
其中,D(s)為源域,D(t)為目標(biāo)域,xs是源域的特征空間,xt是目標(biāo)域的特征空間,P(xs)是與xs對(duì)應(yīng)的邊際概率分布,P(xt)是與xt對(duì)應(yīng)的邊際概率分布.
2.1 SPP 模塊由于輕量型補(bǔ)片相對(duì)于周圍組織呈等密度,超聲圖像中輕量型補(bǔ)片受人體組織生長(zhǎng)所影響,存在遮擋輕量型補(bǔ)片的情況發(fā)生,從而影響檢測(cè)效果.為了增強(qiáng)這類目標(biāo)檢測(cè)效果,本文提出了在YOLOv3 模型的基礎(chǔ)上引入空間金字塔池化結(jié)構(gòu)SPP 模塊[22].
SPP 模塊將從卷積層提取的特征圖分別進(jìn)行大小為13×13,9×9 以及5×5 的固定分塊大小的最大池化操作,并在池化操作前對(duì)特征提取器的輸出進(jìn)行padding,設(shè)置池化步長(zhǎng)為1,以保持輸入輸出的尺寸一致.
如圖3,空間金字塔池化結(jié)構(gòu)對(duì)3 種不同尺度池化的結(jié)果進(jìn)行了融合(concat)操作,多次最大池化操作在不同尺度上保留相應(yīng)最顯著的特征,并利用拼接特征提取器的輸出與空間金字塔池化結(jié)構(gòu)的輸出,實(shí)現(xiàn)局部特征和全局特征的特征圖融合,使更多的特征被捕捉,大大增強(qiáng)了目標(biāo)的識(shí)別精度.
圖3 空間金字塔池化結(jié)構(gòu)Fig.3 Spatial Pyramid Pooling structure
2.2 YOLOv3-SPP鑒于YOLOv3 在自然圖像檢測(cè)方面的出色表現(xiàn),本文采用YOLOv3 為基礎(chǔ)框架,充分考慮ABUS 補(bǔ)片超聲圖像特性,引入空間金字塔池化結(jié)構(gòu)SPP 模塊,以進(jìn)行局部特征和全局特征的特征圖級(jí)別的融合,實(shí)現(xiàn)更有效、更加有針對(duì)性的特征提取,改進(jìn)后得到的YOLOv3-SPP模型更加適合ABUS 補(bǔ)片超聲圖像的檢測(cè).融合YOLOv3 和SPP 模塊的優(yōu)勢(shì),本文提出了一種新的網(wǎng)絡(luò)模型YOLOv3-SPP.該模型的結(jié)構(gòu)如圖4 所示.
圖4 YOLOv3-SPP 的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.4 The schematic diagram of the network structure of YOLOv3-SPP
輸入圖片進(jìn)入該網(wǎng)絡(luò)后,首先將圖像大小調(diào)整為416×416,通道數(shù)為3,然后進(jìn)入YOLOv3-SPP 的主干網(wǎng)絡(luò)Darknet-53 進(jìn)行特征提?。航?jīng)過(guò)一層卷積操作后進(jìn)入5 個(gè)Residual Block 層進(jìn)行5 次下采樣,其中卷積層為Conv(卷積)+BN(批規(guī)范化Batch Nomalization)+Leaky ReLu(激活函數(shù)),Residual Block層中包含多個(gè)殘差單元,整個(gè)網(wǎng)絡(luò)Residual Block部分采用串聯(lián)的方式,其輸出直接作為后續(xù)網(wǎng)絡(luò)的輸入.然后在檢測(cè)層前通過(guò)SPP 模塊采用固定分塊大小為5,9,13 的池化操作,實(shí)現(xiàn)局部特征和全局特征的特征圖級(jí)別的融合,提取圖像特征.后續(xù)為網(wǎng)絡(luò)檢測(cè)部分,主要任務(wù)是識(shí)別分類和預(yù)測(cè)目標(biāo)檢測(cè)框.YOLOv3-SPP 應(yīng)用多尺度融合的方式形成金字塔形網(wǎng)絡(luò),提供了3 種不同尺寸的邊界框.我們從主干網(wǎng)絡(luò)Darknet-53 的后面幾個(gè)圖層以及SPP模塊中得到特征圖,由SPP 模塊得到最底層13×13尺度的特征圖,對(duì)該特征圖進(jìn)行上采樣,然后與26×26 尺度的特征圖進(jìn)行拼接,融合后的特征圖再進(jìn)行采樣,與52×52 的特征圖進(jìn)行拼接,直至完成3 個(gè)尺度特征圖的融合.在多個(gè)尺度的融合特征圖上分別獨(dú)立檢測(cè),獲得更多的語(yǔ)義信息,提升目標(biāo)檢測(cè)能力.最后,通過(guò)一個(gè)卷積層得到預(yù)測(cè)結(jié)果
本文以ABUS 補(bǔ)片超聲圖像樣本作為輸入,通過(guò)多尺度調(diào)整生成416×416×3 的模型輸入,再進(jìn)行特征提取、空間金字塔池化、特征融合和目標(biāo)檢測(cè),最終得出精準(zhǔn)結(jié)果.
2.3 遷移學(xué)習(xí)設(shè)計(jì)與實(shí)現(xiàn)深度學(xué)習(xí)模型的檢測(cè)效果與訓(xùn)練樣本數(shù)密切相關(guān),只有在大量訓(xùn)練樣本的基礎(chǔ)上,才能得到高質(zhì)量的深度學(xué)習(xí)模型[22].由于本領(lǐng)域?yàn)樾屡d領(lǐng)域,標(biāo)記好的輕量型補(bǔ)片超聲圖像數(shù)據(jù)集較少,直接用數(shù)據(jù)訓(xùn)練YOLOv3-SPP 模型時(shí),模型的泛化性能較差,不能在復(fù)雜的超聲圖像背景下實(shí)現(xiàn)準(zhǔn)確檢測(cè).
本文將遷移學(xué)習(xí)引入到研究中.在遷移學(xué)習(xí)過(guò)程中,主流觀點(diǎn)認(rèn)為,相近的種類遷移效果優(yōu)于兩個(gè)相差較大類之間的遷移.ABUS 離體補(bǔ)片圖像與在體圖像之間存在一定相似性,其基本特征(例如,構(gòu)成圖像的直線和曲線,補(bǔ)片的網(wǎng)狀特征)是通用的[23-24].因此,傳送的參數(shù)(權(quán)重)可以用作一組強(qiáng)大的特征,其減少了對(duì)大型數(shù)據(jù)集的需要以及訓(xùn)練時(shí)間和存儲(chǔ)成本.對(duì)此,本文采用遷移學(xué)習(xí)的方式[25]訓(xùn)練模型.
本文基于遷移學(xué)習(xí)實(shí)現(xiàn)YOLOv3-SPP 網(wǎng)絡(luò)模型的預(yù)訓(xùn)練、訓(xùn)練以及優(yōu)化等,遷移模型如圖5所示.
圖5 基于遷移學(xué)習(xí)的YOLOv3-SPP 模型Fig.5 YOLOv3-SPP model based on transfer learning
算法的具體實(shí)現(xiàn)過(guò)程如下:
步驟 1將離體補(bǔ)片數(shù)據(jù)集中的離體補(bǔ)片作為源域檢測(cè)任務(wù),離體補(bǔ)片數(shù)據(jù)集作為源域訓(xùn)練樣本.對(duì)YOLOv3-SPP 模型進(jìn)行預(yù)訓(xùn)練,得到預(yù)訓(xùn)練模型參數(shù);
步驟 2構(gòu)建與源域模型相同的目標(biāo)域模型;
步驟 3將在體補(bǔ)片數(shù)據(jù)集中的在體補(bǔ)片作為目標(biāo)域檢測(cè)任務(wù),在體補(bǔ)片數(shù)據(jù)集作為目標(biāo)域的訓(xùn)練樣本.將上述預(yù)訓(xùn)練模型中的參數(shù)作為目標(biāo)域模型的初始化參數(shù)對(duì)目標(biāo)域模型進(jìn)行訓(xùn)練;
步驟 4采用Adam 算法優(yōu)化網(wǎng)絡(luò);
步驟 5最終通過(guò)Logistic 分類器實(shí)現(xiàn)目標(biāo)的檢測(cè)分類.
通過(guò)遷移學(xué)習(xí),使網(wǎng)絡(luò)能夠在訓(xùn)練過(guò)程中,更容易地得到超聲圖像中輕量型補(bǔ)片的特征信息,減少訓(xùn)練時(shí)間和存儲(chǔ)成本并提高訓(xùn)練的精度,同時(shí)解決模型訓(xùn)練數(shù)據(jù)量不足導(dǎo)致模型泛化能力差的問(wèn)題.
3.1 實(shí)驗(yàn)配置本文實(shí)驗(yàn)環(huán)境為:Windows 10(64 位)操作系統(tǒng);Intel Core i7-9750H CPU,16 GB內(nèi)存;NVIDIA GeForce RTX 2080 GPU,顯存11 GB;PyTorch 版本為1.6.0,torchvision 版本為0.4.1,CUDA版本為10.1,CUDNN 版本為7.6.1.
3.2 補(bǔ)片檢測(cè)數(shù)據(jù)集查詢到在補(bǔ)片檢測(cè)領(lǐng)域,目前還沒有公開的圖像數(shù)據(jù)集.為驗(yàn)證本文算法的有效性,實(shí)驗(yàn)自行構(gòu)建了離體輕量型補(bǔ)片數(shù)據(jù)集以及在體輕量型補(bǔ)片數(shù)據(jù)集.其中,離體補(bǔ)片數(shù)據(jù)集,如圖6 是將補(bǔ)片放入瓊脂、動(dòng)物明膠、甘油、石墨粉等原料構(gòu)建的仿體,并在不同的原料配比下得到模擬組織.在體補(bǔ)片數(shù)據(jù)集(圖7)包含143 例腹疝患者(男71 例,女72 例;年齡42~79 歲,平均(60.6±11.2)歲)進(jìn)行臨床研究.共植入輕量型補(bǔ)片193 枚,其中右側(cè)109 枚,左側(cè)84 枚.48 例患者均為雙側(cè)腹股溝疝,雙側(cè)均植入輕量型補(bǔ)片,共2 380張超聲圖像.使用開源標(biāo)簽工具LabelImg 根據(jù)PascalVOC 公共數(shù)據(jù)集標(biāo)準(zhǔn)創(chuàng)建補(bǔ)片檢測(cè)數(shù)據(jù)集,圖像標(biāo)注是由3 名專業(yè)醫(yī)生使用矩形標(biāo)記框標(biāo)注輕量型補(bǔ)片的真實(shí)位置.
圖6 離體補(bǔ)片數(shù)據(jù)集不同深度超聲圖像示例Fig.6 Ultrasonic image example of in vitro mesh data set
圖7 在體補(bǔ)片數(shù)據(jù)集不同區(qū)域超聲圖像示例Fig.7 Examples of ultrasound images of different regions of the in vivo mesh dataset
該數(shù)據(jù)集的圖像來(lái)源于昆明醫(yī)科大學(xué)第一附屬醫(yī)院采集自Siemens ACUSON S2000 ABUS 設(shè)備;所有個(gè)人敏感隱私信息都已從圖像中移除,所有工作均經(jīng)機(jī)構(gòu)評(píng)審委員會(huì)批準(zhǔn)通過(guò).
3.3 基于遷移學(xué)習(xí)的YOLOv3-SPP 訓(xùn)練在訓(xùn)練過(guò)程中,神經(jīng)網(wǎng)絡(luò)主干特征提取部分所提取到的特征是通用,凍結(jié)訓(xùn)練可以提高訓(xùn)練效率,也可以在訓(xùn)練初期防止權(quán)值被破壞.結(jié)合遷移學(xué)習(xí)共設(shè)置150 個(gè)epoch,使用凍結(jié)訓(xùn)練.在前75 個(gè)epoch 凍結(jié)主干網(wǎng)絡(luò),利用模型在離體補(bǔ)片數(shù)據(jù)集上預(yù)訓(xùn)練得到的參數(shù)作為初始參數(shù).僅訓(xùn)練檢測(cè)器層,初始學(xué)習(xí)率設(shè)為0.001 可以收斂的更快;在第76 個(gè)epoch解凍訓(xùn)練,同時(shí)學(xué)習(xí)率減小為0.000 1.每次迭代輸入樣本的batchsize 為8,梯度優(yōu)化函數(shù)使用Adam,衰減系數(shù)為0.000 5,動(dòng)量為0.9,IoU 閾值設(shè)置為0.5.
網(wǎng)絡(luò)模型的損失函數(shù)為目標(biāo)類別的損失Lclass、置信度損失Lconf以及定位損失Lloc,三者之和為最終損失Ltotal,具體如下:
3.4 實(shí)驗(yàn)結(jié)果與對(duì)比實(shí)驗(yàn)分析本文實(shí)驗(yàn)在構(gòu)建的補(bǔ)片檢測(cè)數(shù)據(jù)集上進(jìn)行,為證明本方法的有效性,文中選取了雙階段檢測(cè)算法(Faster R-CNN)和單階段檢測(cè)算法(SSD、YOLOv3),目標(biāo)檢測(cè)領(lǐng)域主流的深度學(xué)習(xí)算法作為對(duì)比模型.評(píng)價(jià)指標(biāo)包括精確率(precision)、召回率(recall)與平均精度均值(Mean average precision,mAP)以及檢測(cè)速度(FPS),其中,mAP 指的是各目標(biāo)類別平均檢測(cè)精度的均值,也是目標(biāo)檢測(cè)領(lǐng)域最常用的基本評(píng)價(jià)指標(biāo).
從表1 可以看出,在相同數(shù)據(jù)集上做訓(xùn)練得出的測(cè)試結(jié)果顯示本文提出的YOLOv3-SPP 檢測(cè)算法平均精度均值達(dá)到了87.11%,高于單階段目標(biāo)檢測(cè)算法SSD 和YOLOv3 的平均精度.雖然低于雙階段目標(biāo)檢測(cè)算法Faster R-CNN 的平均精度均值,但Faster R-CNN 檢測(cè)速度過(guò)慢,無(wú)法滿足醫(yī)生要求.YOLOv3-SPP 的精度足以保證得出的各項(xiàng)數(shù)據(jù)可輔助醫(yī)生進(jìn)行疝修補(bǔ)術(shù)后診斷.
表1 4 種算法的性能對(duì)比Tab.1 The performance comparison of four algorithms
在數(shù)據(jù)集相同的情況下,對(duì)YOLOv3-SPP 采用遷移學(xué)習(xí)的訓(xùn)練策略,對(duì)比其對(duì)于模型目標(biāo)檢測(cè)性能的影響.通過(guò)表2 發(fā)現(xiàn),直接進(jìn)行訓(xùn)練,模型泛化性能差,檢測(cè)結(jié)果準(zhǔn)確率和召回率以及mAP 都較低.在遷移學(xué)習(xí)的策略下訓(xùn)練,模型訓(xùn)練更加充分,提高了網(wǎng)絡(luò)模型的泛化能力及魯棒性,測(cè)試結(jié)果表明各項(xiàng)指標(biāo)大幅提升,其中mAP 達(dá)到90.15%.綜上所述,采用遷移學(xué)習(xí)的訓(xùn)練方式可有效提高模型整體性能.
表2 YOLOv3-SPP 在不同訓(xùn)練策略下的檢測(cè)性能Tab.2 YOLOv3-SPP detection performance under different training strategies%
圖8 為傳統(tǒng)訓(xùn)練方法訓(xùn)練YOLOv3-SPP 和遷移學(xué)習(xí)訓(xùn)練策略的檢測(cè)結(jié)果的對(duì)比.圖8(a)(c)為傳統(tǒng)訓(xùn)練方法后的檢測(cè)結(jié)果,(b)(d)為采用遷移學(xué)習(xí)的檢測(cè)結(jié)果.可以看出,兩者都有較好的檢測(cè)性能,但使用傳統(tǒng)訓(xùn)練方式的檢測(cè)結(jié)果依然存在部分小目標(biāo)漏檢以及一些檢測(cè)框與目標(biāo)貼合不精確的情況.而使用遷移學(xué)習(xí)的訓(xùn)練方法使網(wǎng)絡(luò)對(duì)特征的學(xué)習(xí)和分類能力更強(qiáng),能對(duì)小目標(biāo)進(jìn)行更好檢測(cè),邊界框更加貼合補(bǔ)片輪廓;更少的漏檢較大地提高了召回率以及mAP.
圖8 有無(wú)采用遷移學(xué)習(xí)訓(xùn)練典型結(jié)果對(duì)比Fig.8 Comparison of typical results with or without transfer learning training
圖9 顯示了本文方法對(duì)超聲圖像中輕量型補(bǔ)片在不同部位下的檢測(cè)效果.在不同的部位,本文提出的方法均能得到良好的檢測(cè)結(jié)果.
圖9 不同部位檢測(cè)結(jié)果Fig.9 Detection results of different parts
本文基于改進(jìn)YOLOv3-SPP 網(wǎng)絡(luò)結(jié)構(gòu)與結(jié)合遷移學(xué)習(xí)的目標(biāo)檢測(cè)算法可以對(duì)ABUS 超聲圖像中不同形狀補(bǔ)片的特征信息更全面、完整、高效地學(xué)習(xí),有效改善了檢測(cè)性能,顯著提高了檢測(cè)效果.實(shí)驗(yàn)結(jié)果表明,本文所提改進(jìn)算法最終mAP 可以達(dá)到90.15%,每張圖像檢測(cè)速度為33.2 f·s?1,可以滿足醫(yī)生對(duì)ABUS 輕量型補(bǔ)片診斷中目標(biāo)檢測(cè)的需要,具有應(yīng)用于臨床輔助診斷的巨大價(jià)值.未來(lái),我們將進(jìn)一步應(yīng)用深度學(xué)習(xí)方法,對(duì)ABUS 補(bǔ)片圖像進(jìn)行分類、檢測(cè)、分割等,進(jìn)一步提高計(jì)算機(jī)輔助診斷的應(yīng)用性能.