基于YOLOv4的手背靜脈區(qū)域檢測(cè)

馬彩豐

DOI：10.16660/j.cnki.1674-098x.2103-5640-4258

摘? 要：靜脈穿刺是臨床治療的重要手段之一。為實(shí)現(xiàn)人體手背靜脈血管的全自動(dòng)化穿刺，首先需要實(shí)現(xiàn)自動(dòng)化靜脈穿刺的穿刺點(diǎn)選取模塊;而要實(shí)現(xiàn)對(duì)穿刺點(diǎn)的選取，則需要能夠自動(dòng)識(shí)別出圖像中手背靜脈區(qū)域，從而去除掉非靜脈區(qū)域?qū)o脈分割的干擾。本文對(duì)開放式環(huán)境下采集的不同大小手背以及不同放置角度下的樣本如何自適應(yīng)檢測(cè)靜脈區(qū)域進(jìn)行研究，提出了基于YOLOv4的手背靜脈區(qū)域檢測(cè)算法。與以往基于傳統(tǒng)圖形學(xué)方法檢測(cè)手背靜脈區(qū)域相比，本文提出的手背靜脈區(qū)域檢測(cè)算法對(duì)外界環(huán)境的抗干擾能力較高，不易受外界光線影響，且對(duì)不同放置方式下手背靜脈區(qū)域檢測(cè)魯棒性較好。

關(guān)鍵詞：手背靜脈區(qū)域檢測(cè)? YOLOv4? 靜脈穿刺? 自適應(yīng)靜脈區(qū)域檢測(cè)

中圖分類號(hào)：TP391.41? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1674-098X（2021）05（a）-0158-08

Detection of Dorsal Hand Vein Region Based on YOLOv4

MA Caifeng

（School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi， Jiangsu Province， 214122? China）

Abstract： Venipuncture is one of the important means of clinical treatment. In order to realize the full automatic puncture of human dorsal hand vein， the puncture point selection module of automatic vein puncture should be realized firstly. In order to select the puncture point， it is necessary to automatically identify the dorsal hand vein area in the image， so as to remove the interference of non-vein area on vein segmentation. This paper studied how to detect the vein area adaptively from samples of different dorsal hand sizes and different placement angles collected in an open environment， and proposed a detection algorithm of the vein area of dorsal hand based on YOLOv4. Compared with the previous detection of dorsal hand vein region based on the traditional graphics method， the proposed detection algorithm of dorsal hand vein region has a higher anti-interference ability to the external environment， is not easy to be affected by the external light， and has a good robustness to the detection of dorsal hand vein region under different placement methods.

Key Words： Dorsal hand vein area detection; YOLOv4; Venipuncture; Adaptive venous area detection

以往靜脈區(qū)域檢測(cè)的研究往往應(yīng)用于身份識(shí)別認(rèn)證領(lǐng)域，采集設(shè)備為避免外界環(huán)境光干擾，通常設(shè)計(jì)為封閉式結(jié)構(gòu)，對(duì)手的放置位置和方式也較為嚴(yán)苛。但應(yīng)用到醫(yī)療領(lǐng)域時(shí)，考慮真實(shí)場(chǎng)景應(yīng)用中患者移動(dòng)便捷性，手背靜脈裝置通常置于四周環(huán)境無遮擋的自然環(huán)境中，且拍攝高度固定。但由于不同患者手的大小不一，放置手背的方式和角度也各不相同，如果仍然采用以往傳統(tǒng)圖形學(xué)方法選取手背靜脈區(qū)域，則往往使得靜脈呈現(xiàn)不完整，進(jìn)而導(dǎo)致靜脈提取不完整。對(duì)此，本文采用基于YOLOv4的目標(biāo)檢測(cè)網(wǎng)絡(luò)框架來訓(xùn)練手背靜脈區(qū)域檢測(cè)模型。通過使用手背靜脈區(qū)域檢測(cè)模型在各種手背樣本圖像中自動(dòng)識(shí)別靜脈區(qū)域，來減少外界因素對(duì)后續(xù)靜脈處理的干擾。

1? 手背圖像采集及處理

1.1 手背圖像采集

為了能夠進(jìn)行手背靜脈區(qū)域的檢測(cè)，前提條件是能夠在影像中使得靜脈血管與周圍皮膚能夠有不同的對(duì)比。通過查閱了靜脈顯影相關(guān)文獻(xiàn)，一些應(yīng)用研究表明：在波長(zhǎng)范圍在700～900nm的“醫(yī)學(xué)光譜窗”[1]，該范圍內(nèi)的近紅外光能夠被表皮皮膚反射，而被位于人體淺靜脈內(nèi)的血紅蛋白吸收，同時(shí)對(duì)肌肉和骨骼的穿透力比較強(qiáng)，從而使得在影像中人體淺靜脈血管與周圍皮膚有了一定的對(duì)比度呈現(xiàn)。自然光源下手背靜脈圖像呈現(xiàn)與紅外光下手背靜脈圖像呈現(xiàn)對(duì)比圖如圖1所示，自然光源下普通攝像頭拍攝的人體手背圖像如圖1（a）所示，無法通識(shí)別出靜脈血管區(qū)域，圖1（b）則是使用近紅外設(shè)備拍攝手背圖像，使得圖像中周圍皮膚與淺靜脈血管有了明顯的對(duì)比度差異。

以往靜脈區(qū)域檢測(cè)的研究往往應(yīng)用于身份識(shí)別認(rèn)證領(lǐng)域，采集圖像設(shè)備為避免外界環(huán)境光干擾，通常設(shè)計(jì)為封閉式結(jié)構(gòu)[2-4]，但應(yīng)用于本文研究應(yīng)用于實(shí)際靜脈穿刺領(lǐng)域，考慮到后續(xù)機(jī)械穿刺及病患移動(dòng)活動(dòng)性等實(shí)際操作的便捷性，手背圖像采集與拍攝必須在開放環(huán)境下，故采用手背正上方是含有紅外濾波片的工業(yè)攝像頭，手掌放置在下方紅外光源上，呈自然握裝置的姿態(tài)，來達(dá)到拉伸手背皮膚以及手背平面盡量與上方攝像頭平面平行的目的。手背圖像采集樣如圖2所示。

本文手背數(shù)據(jù)集中手背樣本均為成年男女的手，剔除因拍攝不當(dāng)導(dǎo)致圖像模糊和沒有靜脈呈現(xiàn)的圖像樣本，共有834張圖像組成本手背數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集由584張手背圖片組成，測(cè)試數(shù)據(jù)集由250張手背圖片組成。

1.2 手背圖像處理

本課題的研究目標(biāo)是將手背靜脈區(qū)域檢測(cè)應(yīng)用到實(shí)際靜脈穿刺領(lǐng)域，結(jié)合醫(yī)護(hù)人員穿刺靜脈選取范圍的專家經(jīng)驗(yàn)，大拇指?jìng)?cè)和手腕附近以及掌指骨節(jié)處往往是常規(guī)穿刺操作中盡量避開的區(qū)域，也是靜脈檢測(cè)區(qū)域盡量避免的范圍。這3處區(qū)域范圍不做常規(guī)靜脈穿刺點(diǎn)選取選擇的原因有：大拇指?jìng)?cè)區(qū)域是由于患者疼痛感較強(qiáng);手腕附近區(qū)域穿刺往往影響患者手的活動(dòng)性，往往會(huì)出現(xiàn)跑針鼓包等現(xiàn)象;掌指骨節(jié)處?kù)o脈則是不易操作者固定穿刺針頭。因此，本文為實(shí)現(xiàn)根據(jù)不同人手放置自動(dòng)檢測(cè)靜脈區(qū)域，制定手背數(shù)據(jù)集靜脈區(qū)域標(biāo)注規(guī)則為手背圖像掌指骨節(jié)以上、手腕以下，二拇指到小拇指范圍作為靜脈區(qū)域選取。

本文數(shù)據(jù)集靜脈區(qū)域標(biāo)注采用LabelImg軟件對(duì)手背圖像靜脈區(qū)域進(jìn)行標(biāo)注，具體操作流程如下：使用LabelImg軟件打開樣本圖片，軟件運(yùn)行界面如圖3所示：根據(jù)靜脈呈現(xiàn)，和手背數(shù)據(jù)集靜脈區(qū)域標(biāo)注規(guī)則創(chuàng)建矩形框，并命名為veinarea，每張圖像生成靜脈區(qū)域的xml文件，生成的xml文件如圖4所示，手背靜脈區(qū)域標(biāo)注示例圖如圖5所示。

2? YOLOv4網(wǎng)絡(luò)模型結(jié)構(gòu)

對(duì)于近紅外手背圖像檢測(cè)靜脈區(qū)域而言，具有目標(biāo)單一、靜脈區(qū)域居主要位置、背景相對(duì)單一的特點(diǎn)，并且考慮到算法后期由于要用于實(shí)際產(chǎn)品中，在做靜脈區(qū)域檢測(cè)模塊時(shí)，要求目標(biāo)檢測(cè)精度要高，檢測(cè)速度快，網(wǎng)絡(luò)模型在一般的硬件設(shè)備上即可以運(yùn)行，且能夠被并行優(yōu)化。而這些需求，正是YOLOv4模型提出的主要解決方向。而以往傳統(tǒng)圖形學(xué)方法[5-7]選取手背靜脈區(qū)域，則往往使得靜脈呈現(xiàn)不完整，進(jìn)而導(dǎo)致靜脈提取不完整。因此本文將YOLOv4模型應(yīng)用在手背靜脈區(qū)域檢測(cè)方向。

YOLOv4[8]是2020年AlexeyAB等人在YOLOv3[9]的基礎(chǔ)上提出的目標(biāo)檢測(cè)模型。在并行計(jì)算上對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，加快模型的運(yùn)算速度，使得模型可以在常規(guī)GPU進(jìn)行訓(xùn)練和檢測(cè)是YOLOv4模型的設(shè)計(jì)初衷，與YOLOv3相比，模型的檢測(cè)精度大幅度提高了。在YOLOv4的內(nèi)容中對(duì)目標(biāo)檢測(cè)模型的改進(jìn)方向進(jìn)行了梳理，分為Bag of freebies（BoF）和Bag of Specials（BoS）。BoS指只增加訓(xùn)練成本或者改變訓(xùn)練策略的方法，目標(biāo)檢測(cè)中常用的符合BoF定義的方法有數(shù)據(jù)增強(qiáng)。BoF則是指通過增加少量網(wǎng)絡(luò)的推理成本但能顯著提高算法精度的模塊和后處理方法。目標(biāo)檢測(cè)方法中常用的符合BoS定義的方法有引入注意力機(jī)制、擴(kuò)大感受野（SPP）、增強(qiáng)特征之間的交流（如FPN）等。YOLOv4在BoS方向上使用了Mosaic數(shù)據(jù)增強(qiáng)、cmBN、和SAT自對(duì)抗訓(xùn)練，在BoF方向上使用了SPP[10]（Spatial pyramid pooling）與PAN[11]（Path Aggregation Network）網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，來進(jìn)一步增強(qiáng)主干網(wǎng)絡(luò)提取的特征。特征提取主干網(wǎng)絡(luò)結(jié)構(gòu)上，YOLOv4利用了CSPNet[12]網(wǎng)絡(luò)結(jié)構(gòu)的思想在YOLOv3使用的主干網(wǎng)絡(luò)DarkNet-53基礎(chǔ)上進(jìn)行改造，命名網(wǎng)絡(luò)結(jié)構(gòu)為CSPDarkNet53。其優(yōu)勢(shì)在于：一方面既增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，又使得網(wǎng)絡(luò)結(jié)構(gòu)在輕量化的同時(shí)保持準(zhǔn)確性;另一方面降低了計(jì)算瓶頸，減少了內(nèi)存成本的開銷。YOLOv4模型結(jié)構(gòu)框架如如圖6所示。

2.1 主干特征提取網(wǎng)絡(luò)

YOLOv4網(wǎng)絡(luò)模型主干特征提取網(wǎng)絡(luò)使用CSPDarkNet53網(wǎng)絡(luò)，網(wǎng)絡(luò)框架結(jié)構(gòu)如圖7所示。

即聯(lián)合CSPNet[12]處理思想在DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)上做調(diào)整，具體做法是沿用DarkNet-53網(wǎng)絡(luò)的濾波器尺寸和整體結(jié)構(gòu)，在每組Residual block上加上一個(gè)Cross Stage Partial結(jié)構(gòu)，并且取消了Bottleneck的結(jié)構(gòu)，使得網(wǎng)絡(luò)參數(shù)減少，減少計(jì)算量，模型更易訓(xùn)練。

2.2 損失函數(shù)

好的目標(biāo)回歸函數(shù)應(yīng)該考慮3個(gè)重要的幾何因素：重疊面積、中心點(diǎn)距離、長(zhǎng)寬比。CIOU_Loss的提出正是為了解決以上3個(gè)問題。YOLOv4網(wǎng)絡(luò)模型使用CIOU_Loss作為目標(biāo)框損失函數(shù)。如圖8所示，紅色框代表目標(biāo)真實(shí)框區(qū)域，綠色框代表預(yù)測(cè)框區(qū)域，紫色區(qū)域代表目標(biāo)預(yù)測(cè)框與目標(biāo)真實(shí)框的交集，藍(lán)色框代表目標(biāo)框與預(yù)測(cè)框的并集，則與計(jì)算如公式（1），公式（2）所示：

其中，IOU為預(yù)測(cè)框與真實(shí)目標(biāo)框的交并比，是預(yù)測(cè)框與目標(biāo)框中心點(diǎn)之間的歐幾里得距離，是包含預(yù)測(cè)框與目標(biāo)框的最小矩形的對(duì)角線長(zhǎng)度，ν是衡量長(zhǎng)寬比一致性的參數(shù)，計(jì)算公式為：

其中，、是真實(shí)目標(biāo)框的寬與長(zhǎng)，、是預(yù)測(cè)框的寬與長(zhǎng)。

2.3 激活函數(shù)

激活函數(shù)是為了提高網(wǎng)絡(luò)的學(xué)習(xí)能力，提升梯度的傳遞效率。CNN常用的激活函數(shù)也在不斷地發(fā)展，早期網(wǎng)絡(luò)常用的有ReLU、LeakyReLU、softplus等，后來又有了Swish、Mish等。YOLOv4在主干特征提取網(wǎng)絡(luò)部分均采用Mish激活函數(shù)，Mish激活函數(shù)作為一種自正則的非單調(diào)神經(jīng)激活函數(shù)，平滑的激活函數(shù)允許更好的信息深入神經(jīng)網(wǎng)絡(luò)，從而得到更好的準(zhǔn)確性和泛化，函數(shù)圖像如圖9所示。Mish激活函數(shù)公式為：

2.4 Mosaic數(shù)據(jù)增強(qiáng)

YOLOv4網(wǎng)絡(luò)模型中，提出了Mosaic數(shù)據(jù)增強(qiáng)。如圖10所示，Mosaic數(shù)據(jù)增強(qiáng)采用4張圖片，隨機(jī)縮放，再隨機(jī)分布然后進(jìn)行拼接成一張圖像，不僅豐富了數(shù)據(jù)集，而且隨機(jī)縮放產(chǎn)生的更多物體角度呈現(xiàn)，更提高了網(wǎng)絡(luò)模型的魯棒性。與傳統(tǒng)方法對(duì)數(shù)據(jù)集樣本進(jìn)行縮放裁剪等數(shù)據(jù)增強(qiáng)操作相比，Mosaic數(shù)據(jù)增強(qiáng)訓(xùn)練時(shí)，可以直接在批量標(biāo)準(zhǔn)化過程中計(jì)算每一層4個(gè)圖像的激活統(tǒng)計(jì)，從而減小了對(duì)mini-batch大小的要求，也就是一張圖像中計(jì)算4張圖片的目標(biāo)，即同時(shí)對(duì)幾張樣本圖像做出參數(shù)調(diào)整值，進(jìn)行網(wǎng)絡(luò)參數(shù)的調(diào)整。

3? 實(shí)驗(yàn)結(jié)果及其分析

3.1 評(píng)價(jià)指標(biāo)

3.1.1 Precision & Recall & F1-score

令手背靜脈檢測(cè)區(qū)域類別名為veinarea。若檢測(cè)為veinarea類別與真實(shí)類別veinarea相符，則認(rèn)為是True Positive（TP）;若檢測(cè)為veinarea類別但真實(shí)類別不為veinarea，則認(rèn)為是False Positive（FP）;若檢測(cè)類別不是veinarea類別但真實(shí)類別為veinarea，則認(rèn)為是False Negative（FN）;若檢測(cè)類別不是veinarea類別真實(shí)類別也不是veinarea，則認(rèn)為是True Negative（TN）。

precision（精確率）和recall（召回率）以及F1-score的計(jì)算如下：

3.1.2 AP（Average Precision）

由于本文實(shí)驗(yàn)數(shù)據(jù)集只有手背靜脈區(qū)域一個(gè)檢測(cè)目標(biāo)，故采用AP（Average Precision）來判斷靜脈檢測(cè)區(qū)域結(jié)果是否正確。設(shè)定固定閾值T，當(dāng)靜脈區(qū)域檢測(cè)結(jié)果的IOU值大于等于閾值T，則判定檢測(cè)結(jié)果為正確檢測(cè)區(qū)域;若手背靜脈區(qū)域檢測(cè)結(jié)果的IOU值小于閾值T，則判斷為錯(cuò)誤檢測(cè)。令某張手背采集圖像中，真實(shí)手背靜脈區(qū)域框選為個(gè)，令手背靜脈區(qū)域正確檢測(cè)的次數(shù)為，手背測(cè)試集中含有N個(gè)樣本，且每張樣本均含有手背靜脈區(qū)域，則AP的計(jì)算公式為：

3.2 實(shí)驗(yàn)結(jié)果及分析

利用1.2節(jié)構(gòu)建的手背靜脈區(qū)域檢測(cè)數(shù)據(jù)集，使用YOLOv4網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和檢測(cè)。設(shè)置手背靜脈區(qū)域檢測(cè)的置信度閾值為0.25，IOU非極大值抑制閾值為0.5。根據(jù)實(shí)驗(yàn)室電腦Windows64位操作系統(tǒng)，8GB（CPU），GeForce GTX 1060 4GB（GPU）這些硬件條件，設(shè)置圖像長(zhǎng)寬為320×320像素，batch size為1，學(xué)習(xí)率值為0.001，動(dòng)量momentum值為0.9，訓(xùn)練次數(shù)為3000，權(quán)重衰減weight decay為0.0005。利用自行構(gòu)建的手背靜脈區(qū)域數(shù)據(jù)集和以上相關(guān)設(shè)置參數(shù)值，使用YOLOv4對(duì)手背靜脈區(qū)域檢測(cè)進(jìn)行訓(xùn)練。如圖11所示，手背靜脈區(qū)域檢測(cè)模型訓(xùn)練過程中的loss值隨著迭代次數(shù)不斷下降，并在loss值為1.5～2之間，loss曲線趨于平緩。

我們對(duì)訓(xùn)練得到的手背靜脈區(qū)域檢測(cè)模型，在測(cè)試集上進(jìn)行測(cè)試。如表1所示，我們?cè)O(shè)置不同IOU_thresh的值，來對(duì)比模型的檢測(cè)精度。由表可知，當(dāng)IOU_thresh低于0.7的時(shí)候，precision、recall、F1-score、AP的值均在95%以上，在IOU_thresh值為0.75時(shí)，precision、recall、F1-score、AP的值均在90%左右。證明了YOLOv4訓(xùn)練得到的手背靜脈區(qū)域檢測(cè)模型對(duì)不同手背樣本能夠較為準(zhǔn)確地自適應(yīng)檢測(cè)手背靜脈區(qū)域。

如圖12所示，如圖12（a）、圖12（c）為手背靜脈區(qū)域檢測(cè)模型框選的靜脈區(qū)域圖像中其，紫色框選區(qū)域代表檢測(cè)出的手背靜脈區(qū)域，左上角veinarea表示類別;圖12（b）、圖12（d）為紅色框?yàn)槿斯?biāo)注手背靜脈區(qū)域圖像。由圖像可知，本文訓(xùn)練得到的手背靜脈區(qū)域檢測(cè)模型能夠較高精度地根據(jù)不同大小手以及不同擺放角度，自適應(yīng)檢測(cè)出手背靜脈區(qū)域。

4? 結(jié)語

為實(shí)現(xiàn)靜脈穿刺點(diǎn)自動(dòng)選取任務(wù)，如何根據(jù)不同人手放置角度和不同手背大小的圖像，自適應(yīng)進(jìn)行靜脈區(qū)域檢測(cè)是其中的一個(gè)重要挑戰(zhàn)。本文提出的使用采集標(biāo)注手背靜脈區(qū)域數(shù)據(jù)集和YOLOv4網(wǎng)絡(luò)模型，訓(xùn)練手背靜脈區(qū)域檢測(cè)模型，通過模型自適應(yīng)檢測(cè)不同樣本的手背靜脈區(qū)域。在本課題組采集的手背數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，本文提出的方法能夠有效地檢測(cè)手背靜脈區(qū)域，從而為下一步穿刺點(diǎn)選取做了重要鋪墊。

參考文獻(xiàn)

[1] Balter Max L，Chen Alvin I，Maguire Timothy J，et al.The System Design and Evaluation of a 7-DOF Image-Guided Venipuncture Robot.[J].IEEE transactions on robotics ： a publication of the IEEE Robotics and Automation Society，2015，31（4）：1044-1045.

[2] 張成浩.基于手背靜脈的身份識(shí)別技術(shù)研究[D].哈爾濱：哈爾濱理工大學(xué)，2017.

[3] 許明.基于手背靜脈血管的身份識(shí)別技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[4] 王賀.基于特征融合的手背靜脈識(shí)別算法研究[D].長(zhǎng)春：吉林大學(xué)，2017.

[5] 桂青.多特征點(diǎn)融合的手背靜脈身份識(shí)別算法研究[D].杭州：浙江大學(xué)，2020.

[6] 呂佩卓，賴聲禮，陳佳陽(yáng).一種自適應(yīng)的手背靜脈區(qū)域定位算法[J].微計(jì)算機(jī)信息，2008，24（21）：209-210.

[7] Lin C L，F(xiàn)an K C.Biometric verification using thermal images of palm-dorsa vein patterns[J]. IEEE Transactions on Circuits & Systems for Video Technology，2004，14（2）：199-213.

[8] Bochkovskiy A，Wang C Y，Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J].2020：1-8.

[9] Redmon J， Farhadi A.YOLOv3： An Incremental Improvement[J].arXiv e-prints，2018.

[10] He K ， Zhang X ， Ren S ， et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.

[11] Yang J ， Fu X ， Hu Y ， et al.PanNet： A Deep Network Architecture for Pan-Sharpening[C]//2017 IEEE International Conference on Computer Vision （ICCV）. IEEE，2017.

[12] Wang C Y， Liao H Y M， Wu Y H， et al. CSPNet： A New Backbone that can Enhance Learning Capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.IEEE，2020.