一種應(yīng)用于嬰兒監(jiān)護(hù)的改進(jìn)YOLOv5算法

吳志攀，陳海成，鄭康泰，林賢濤

（惠州學(xué)院計算機(jī)科學(xué)與工程學(xué)院，惠州 516007）

0 引言

隨著國家三孩政策的徹底放開，中國的新生兒數(shù)量也將呈現(xiàn)出穩(wěn)定增加的態(tài)勢。在家庭生活上，本來應(yīng)該越來越注重于嬰幼兒的呵護(hù)教育，但是由于近年來中國市場經(jīng)濟(jì)的迅猛發(fā)展，人們快節(jié)奏的生活也越來越成常態(tài)。家長們在家庭生活的重壓之下對照顧嬰幼兒常常感到力不從心。對現(xiàn)在年輕人而言，不僅在工作中有壓力，在照顧嬰兒時也需要大量的精力和時間，陪伴孩子時要小心照看，不能使之離開視線范圍，導(dǎo)致沒有多余的時間顧及其它的事情。使用嬰兒監(jiān)護(hù)系統(tǒng)，不僅可以讓年輕的父母遠(yuǎn)程觀看到孩子的動向和行為，而且當(dāng)孩子出現(xiàn)身體狀況異常時，可以發(fā)出警報提示提醒父母注意。這將會極大地緩解年輕父母照看嬰兒的壓力，具有廣闊的發(fā)展前景。

人工智能（AI）被認(rèn)為具有變革性和全球意義的“第四次工業(yè)革命”，包括在醫(yī)療保健、公共衛(wèi)生和全球健康方面［1］。隨著深度學(xué)習(xí)技術(shù)的顯著發(fā)展，目標(biāo)檢測作為計算機(jī)視覺領(lǐng)域中一項重要且具有挑戰(zhàn)性的問題備受關(guān)注［2］。在視頻監(jiān)控、自主駕駛、人機(jī)交互等領(lǐng)域，目標(biāo)檢測具有重要的研究意義和廣泛的應(yīng)用價值［3］。最被大眾熟知的目標(biāo)檢測算法則是YOLO（you only look once）算法，YOLO 是單階段目標(biāo)檢測算法的開發(fā)鼻祖，因其優(yōu)越的檢測速度而聞名。單階段目標(biāo)檢測算法只需進(jìn)行一次特征提取就可以完成目標(biāo)檢測，其速度相比多階段算法迅速很多，但是相對應(yīng)的精度低了些，其大多應(yīng)用于實時性要求高的場景。YOLO 的應(yīng)用非常廣泛，無論是基于改進(jìn)YOLOv5目標(biāo)檢測的刨花板表面缺陷實時檢測［4］，還是基于YOLO v5s 的通道修剪深度學(xué)習(xí)方法，用于在水果變薄之前快速準(zhǔn)確地檢測蘋果果子［5］又或者是基于改進(jìn)YOLOv3模型的增材制造晶格結(jié)構(gòu)智能缺陷檢測方法［6］，都很明顯地說明了YOLO優(yōu)秀的實時性以及應(yīng)用廣泛性。YOLOv5是經(jīng)過YOLO、YOLOv2、YOLOv3、YOLOv4 不斷改進(jìn)成就而來的，YOLOv5 的檢測速度很快，每幅圖片的推理時間約7 ms，也就是140 frame/s，相比于YOLO的檢測速度45 frame/s，提升了三倍多。

嬰兒在嬰兒床、椅子或床上睡覺時可能會接觸到各種危險情況。阿德萊德兒童醫(yī)院的尸檢和咨詢檔案中對30例在無人看管的情況下睡覺的嬰幼兒意外窒息病例進(jìn)行了審查。死亡原因包括移動到面部被遮蓋且上氣道閉塞的位置［7］。因此，對嬰兒的危險動作進(jìn)行實時識別并預(yù)警就顯得十分重要了?；赮OLO目標(biāo)檢測算法的優(yōu)秀實時性能，本研究擬使用YOLOv5目標(biāo)檢測算法來識別嬰兒所處狀況，并且對傳統(tǒng)YOLOv5算法進(jìn)行了改進(jìn)，使其識別準(zhǔn)確率有所提升。

以往的監(jiān)護(hù)系統(tǒng)大多都是以傳感器檢測嬰兒呼吸頻率［8］，又或者利用反射超聲檢測嬰兒的呼吸［9］來對嬰兒進(jìn)行實時監(jiān)護(hù)，雖然監(jiān)護(hù)效果高效但其對用戶的可視性以及交互性不友好。本系統(tǒng)的目標(biāo)只有一個，即快速識別嬰兒特定特征，通過特征識別嬰兒處于哪種狀態(tài)，若是危險或者嬰兒傷心狀態(tài)則會及時通知其父母。系統(tǒng)也會每秒記錄嬰兒的特定特征，然后直觀顯示給其父母，比如一星期內(nèi)嬰兒哪個特定特征最多，以此幫助父母照顧孩子。

本文研究的難點在于目標(biāo)檢測算法能否實現(xiàn)高效并且高準(zhǔn)確的需求，經(jīng)過實驗證明YOLO目標(biāo)檢測算法應(yīng)用于嬰兒監(jiān)護(hù)是有著優(yōu)秀的快速性以及準(zhǔn)確性，并且能將嬰兒處于不良狀況時可視化供其父母查看，與用戶具有優(yōu)越的交互性。

本文在方法模塊講述增添的Merge-NMS 在YOLOv5 的工作流程，在實驗?zāi)K講述傳統(tǒng)YOLOv5與改進(jìn)后的YOLOv5的性能比較，最后對基于改進(jìn)的YOLOv5算法在嬰兒視覺監(jiān)護(hù)系統(tǒng)的應(yīng)用進(jìn)行總結(jié)。系統(tǒng)與用戶交互過程如圖1所示。

圖1 系統(tǒng)與用戶交互過程

1 方法

1.1 YOLOv5核心流程

簡單來說，YOLOv5的原理是將輸入的圖片解析成一個個很小的網(wǎng)格，這些小的網(wǎng)格組成了相對整體的網(wǎng)格系統(tǒng)，然后對輸出的每一個不同網(wǎng)格框中的包圍框置信度以及類概率、矩陣概率進(jìn)行計算，網(wǎng)格中的每個單元負(fù)責(zé)檢測其內(nèi)部的目標(biāo)物體，最后，通過對輸出端的過濾，排除掉重疊和低置信度的檢測結(jié)果，得到最終的預(yù)測結(jié)果。其主要作用是目標(biāo)檢測，尤其是大目標(biāo)，這是YOLOv5的優(yōu)勢，它能從一張圖像中快速識別到目標(biāo)位置所在，并且具有較高的準(zhǔn)確性。

就目前而言，YOLOv5是一種很優(yōu)秀的、先進(jìn)的檢測算法之一，它的性能不僅與YOLOv4不相上下，而且比模型Darknet 還要小90%左右，只有27 MB 左右。在YOLOv5 中總共提出了五種網(wǎng)絡(luò)模型，分別為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv51、YOLOv5x 等模型。在該項目中我們只采用了YOLOv5s，因為其網(wǎng)絡(luò)最小、速度最快，能很好地滿足該項目的要求。

下面介紹一下YOLOv5s的基本框架。

YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)分為輸入端、Backbone（主干網(wǎng)絡(luò)-卷積神經(jīng)網(wǎng)絡(luò)）、Neck（一種網(wǎng)絡(luò)層，它能夠混合和組合多種圖像特征，并將這些特征傳遞到預(yù)測層）、Prediction（預(yù)測層,也就是Head）四個部分，如圖2所示。

圖2 YOLOv5核心層與流程

（1）輸入端：主要采用了Mosaic 數(shù)據(jù)增強(qiáng)，并且具有自適應(yīng)錨框計算和自適應(yīng)圖片縮放等功能。

（2）Backbone：采用Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。

（3）Neck：采用FPN+PAN的結(jié)構(gòu)。

（4）Prediction（Head）：采用GIoU_Loss 做Bounding Box的損失函數(shù)。

相關(guān)概念：

（1）Mosaic 數(shù)據(jù)增強(qiáng)：這是一種基于CutMix數(shù)據(jù)增強(qiáng)的變體形式，其主要思想是通過隨機(jī)縮放、裁剪和排布的方式將圖像拼接在一起，以提升對小目標(biāo)的檢測效果［10］。其利用四張圖像進(jìn)行裁剪、縮放之后，采用一定的算法進(jìn)行排列組成一張圖片，不僅可以豐富數(shù)據(jù)集，還可以增加樣本的目標(biāo)，又利用提升網(wǎng)格的訓(xùn)練速度，降低模型對內(nèi)存的需求。Mosaic 數(shù)據(jù)增強(qiáng)流程如圖3所示。

圖3 Mosaic數(shù)據(jù)增強(qiáng)流程

（2）Backbone：內(nèi)置有Focus、CSP 等結(jié)構(gòu)，其最為重要的步驟就是切片操作。其中Focus是可以根據(jù)輸入圖片的尺寸進(jìn)行切片操作以及通道拼接操作等。如輸入的圖像尺寸為3×4×4，經(jīng)過切片和通道的變換，變成2×2×12 的圖像，然后由卷積操作輸出。這樣操作的好處是最大程度地在保留輸入信息的同時又減小了輸出圖像的尺寸，最重要的是可以提高該項目的推理熟讀以及網(wǎng)格訓(xùn)練。Focus 切片操作以及結(jié)構(gòu)示意圖如圖4所示。

圖4 Focus切片操作以及結(jié)構(gòu)示意圖

（3）Neck：YOLOv5 應(yīng)用的是FPN+PAN 這種雙結(jié)構(gòu)，其中FPN 的特點是自上而下的，使用上采樣的方式對信息進(jìn)行傳遞融合，從而獲取預(yù)測的特征圖；PAN 則是應(yīng)用自底向上的特征，類似于金字塔的方式。YOLOv5 FPN+PAN結(jié)構(gòu)如圖5所示。

圖5 YOLOv5 FPN+PAN結(jié)構(gòu)

圖5中根據(jù)金字塔網(wǎng)絡(luò)的思想，可以知道在三種倍數(shù)，經(jīng)過深層次的卷積后特征盡管有著豐富的語義特征信息，但是該方法帶來了一個問題，那就是多次卷積的過程中有可能會失去一些目標(biāo)信息，如位置信息。這對于小目標(biāo)檢測是極為不友好的。與此相反，在淺層卷積中獲得的特征圖雖然語義信息相對較少，但目標(biāo)的位置較為清晰，正適合用來檢測嬰兒的行為表現(xiàn)。YOLOv5 特征提取模型如圖6所示。

（4）Prediction（Head）：YOLOv5以GIoU_Loss作為回歸損失函數(shù)，這種損失函數(shù)通過改進(jìn)交叉尺度的測量方式來提高性能。其中損失函數(shù)由定位損失、置信損失和類別損失三部分構(gòu)成。

基于上述描述的五種模型中實時性需求，本系統(tǒng)采用YOLOv5s 模型，這一模型具有模型最?。ù笮H為14 MB），檢測速度最快（識別圖片速度達(dá)到2.2 ms）的特點。

1.2 YOLOv5改進(jìn)

傳統(tǒng)YOLOv5 使用原始NMS 做后處理，NMS 流程如圖7 所示。盡管可以快速去除重合度很高的、目標(biāo)定相對不準(zhǔn)確的預(yù)測框，但對重合度很高的目標(biāo)就不友好了。例如，多個人在一起的時候，某人只露出半張臉，NMS 就難以對目標(biāo)進(jìn)行識別了。

圖7 NMS流程

在原始YOLOv5基礎(chǔ)上對所對應(yīng)的Prediction層的NMS 非極大值抑制檢測算法去除大量重疊框后，在得到結(jié)果的基礎(chǔ)上，通過引入保留框位置平滑策略，也就是對重疊框的位置信息的平均計算進(jìn)行求解，可以提高框的準(zhǔn)確性和穩(wěn)定性。核心就是重視權(quán)重更高的預(yù)測框（即NMS處理后的結(jié)果），同時也要關(guān)注其他預(yù)測框（被NMS 淘汰的），這就是Merge-NMS，其流程如圖8所示。Merge-NMS相比于NMS對重復(fù)框更為友好，對預(yù)測框處理的結(jié)果更為準(zhǔn)確。

圖8 Merge-NMS流程

一張嬰兒圖片中可能涉及多個特征標(biāo)簽，比如嬰兒躺著并笑著，這就涉及到“躺著”以及“笑著”兩個標(biāo)簽，但是二者沒有邏輯關(guān)系，所以改進(jìn)后的YOLOv5在本系統(tǒng)的場景下要排除多標(biāo)簽的干擾，這里簡單采用一階策略，即忽略標(biāo)簽之間的相關(guān)性，標(biāo)簽與標(biāo)簽之間不相關(guān)。

2 實驗

2.1 實驗數(shù)據(jù)集

數(shù)據(jù)集在目標(biāo)檢測算法性能評估和比較中扮演著重要角色，同時也是推動目標(biāo)檢測向更加復(fù)雜和實用方向發(fā)展的強(qiáng)大動力［3］。

本文數(shù)據(jù)集來自網(wǎng)絡(luò)嬰兒行為視頻截取的圖片，共1321 張與嬰兒相關(guān)的高質(zhì)量圖片，涉及嬰兒的爬動（creep）、反躺（lie_down）、正躺（lie）、坐著（sit）、站著（stand）、平靜（calm）、開心（happy）、傷心（cry）這八種特征標(biāo)簽，并且保證每類標(biāo)簽至少出現(xiàn)100次。訓(xùn)練標(biāo)簽數(shù)據(jù)集以及總特征標(biāo)簽數(shù)見表1。

表1 訓(xùn)練標(biāo)簽數(shù)據(jù)集以及總特征標(biāo)簽數(shù)

2.2 YOLOv5性能指標(biāo)

精確率（Precision，P）：即所有預(yù)測為正樣本的結(jié)果中，預(yù)測正確的比例。

其中：TP（True Positive），表示正確預(yù)測為正樣本的數(shù)量；FP（False Positive），表示錯誤預(yù)測為正樣本的數(shù)量；FN（False Negative），表示錯誤預(yù)測為負(fù)樣本的數(shù)量；TN（True Negative），表示正確預(yù)測為負(fù)樣本的數(shù)量。

召回率（Recall，R）：所有正樣本中被正確預(yù)測的比率。

Precision Recall（PR）曲線：是以召回率（Recall）為橫坐標(biāo)，精確率（Precision）為縱坐標(biāo)繪制的曲線。

平均精度（Average Precision，AP）：PR 曲線下面積。

Mean Average Precision（mAP）：各類別AP的平均值。

Mean Average Precision@0.5（mAP@0.5）：即在IoU=0.5下的mAP。

Mean Average Precision@0.5∶0.95（mAP@0.5∶0.95）：表示在IoU=［0.5，0.95］區(qū)間，步長為0.05上的mAP之和求平均。

最終以mAP@0.5∶0.95 的大小來比較權(quán)衡模型優(yōu)次。

3 結(jié)果

圖9 所示為優(yōu)化前后的YOLOv5 數(shù)據(jù)對比，可以看出優(yōu)化后的mAP@0.5∶0.95 優(yōu)于原始的YOLOv5。圖10 更為直觀地顯示了改進(jìn)前后的mAP@0.5∶0.95 比較，其優(yōu)化增加的百分比見表2，其中總體特征標(biāo)簽mAP@0.5∶0.95 增加了2.7個百分點，優(yōu)化幅度最大的特征標(biāo)簽為creep（爬動），提升了4.0 個百分點；優(yōu)化幅度最小的則是cry（傷心），只提升了2.1個百分點。

表2 YOLOv5改進(jìn)前后mAP@0.5∶0.95在各個標(biāo)簽上的提升百分比

圖9 YOLOv5改進(jìn)前后的訓(xùn)練結(jié)果

圖10 YOLOv5改進(jìn)前后mAP@0.5∶0.95在各個標(biāo)簽上的對比

如圖11 所示，原始YOLOv5 訓(xùn)練后的模型只識別出嬰兒爬動的特征，卻沒有識別出嬰兒的標(biāo)簽特征，比如開心特征。改進(jìn)后的YOLOv5訓(xùn)練后的模型識別出圖片中嬰兒有爬動、開心的特征標(biāo)簽，基本符合系統(tǒng)的所需要求。

圖11 YOLOv5改進(jìn)前后的預(yù)測結(jié)果示例

4 結(jié)語

改進(jìn)后的YOLOv5更加符合系統(tǒng)所需，即識別出嬰兒更多特征，有了這些特征就能更好地輔助系統(tǒng)做出決策，來決定是否需要提醒父母。通過在原始YOLOv5 的NMS 非極大值限制基礎(chǔ)上對預(yù)測框進(jìn)行Merge-NMS，使得預(yù)測框結(jié)果更為平滑。此算法的改進(jìn)有助于嬰兒視覺監(jiān)護(hù)系統(tǒng)更加正確地檢測嬰兒所處狀況，由于系統(tǒng)所需的實時性，此系統(tǒng)采用的模型是YOLOv5s。

本系統(tǒng)訓(xùn)練的數(shù)據(jù)量為1321 張，數(shù)據(jù)量相對較小，未來若使系統(tǒng)為大眾服務(wù)，朝著更加精確快速的方向發(fā)展，需要收集大量的數(shù)據(jù)。有了更多的圖片就能再次訓(xùn)練出多個模型，然后系統(tǒng)結(jié)合框融合算法對多個模型的預(yù)測結(jié)果進(jìn)行融框，而不是直接替換已經(jīng)訓(xùn)練完成的模型，這樣綜合多個模型的預(yù)測結(jié)果可以用來增強(qiáng)預(yù)測的準(zhǔn)確性。