基于YOLOv5的目標(biāo)建筑物虛實(shí)融合技術(shù)

摘 要：針對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)目前虛實(shí)融合方面效率不高、目標(biāo)識(shí)別不夠精準(zhǔn)的問(wèn)題。該文提出并實(shí)踐基于YOLOv5訓(xùn)練模型的虛實(shí)融合技術(shù)，在通過(guò)YOLOv5識(shí)別清楚目標(biāo)建筑物的基礎(chǔ)上，加入虛實(shí)融合技術(shù)，使用這種方法可以在YOLO這種優(yōu)秀深度學(xué)習(xí)算法的基礎(chǔ)上，提升增強(qiáng)現(xiàn)實(shí)技術(shù)的精確性和可靠性。YOLO本身是目標(biāo)檢測(cè)模型，在一張圖片或者是一段視頻中找到特定的物體，目標(biāo)檢測(cè)不僅要求我們識(shí)別這些物體的種類(lèi)，同時(shí)要標(biāo)出這些物體的位置。虛實(shí)融合技術(shù)的總體思路是使用目標(biāo)檢測(cè)、特征匹配等方法，配合OpenCV讀取準(zhǔn)備好的圖層信息?？傮w借助YOLOv5訓(xùn)練模型的實(shí)時(shí)目標(biāo)檢測(cè)算法，并與虛擬三維對(duì)象相結(jié)合，實(shí)現(xiàn)虛實(shí)融合。

關(guān)鍵詞：YOLOv5；深度學(xué)習(xí)；虛實(shí)融合；目標(biāo)檢測(cè)；OpenCV

中圖分類(lèi)號(hào)：TU17 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2024）27-0185-04

Abstract： In view of the current augmented reality technology， the efficiency of virtual-reality fusion is not high and the target recognition is not accurate enough. This paper puts forward and practices the virtual-real fusion technology based on YOLOv5 training model. On the basis of clearly identifying the target building through YOLOv5， the virtual-real fusion technology is added. This method can improve the accuracy and reliability of augmented reality technology on the basis of YOLO， an excellent deep learning algorithm. Yolo itself is a object detection model， finding specific objects in a picture or a video. Object detection requires us not only to identify the types of these objects， but also to mark the location of these objects. The general idea of virtual-real fusion technology is to use object detection， feature matching and other methods to cooperate with OpenCV to read the prepared layer information. In general， with the help of the real-time object detection algorithm of YOLOv5 training model， and combined with virtual 3D objects， the fusion of virtual and real is realized.

Keywords： YOLOv5; deep learning; virtual-real fusion; object detection; OpenCV

增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）是一種集成了現(xiàn)實(shí)世界和虛擬世界的顯示技術(shù)，被廣泛應(yīng)用于多種技術(shù)手段。對(duì)于AR技術(shù)來(lái)說(shuō)，目標(biāo)跟蹤和識(shí)別方法至關(guān)重要，包括校準(zhǔn)技術(shù)、跟蹤技術(shù)和交互技術(shù)3個(gè)部分[1]。近年來(lái)，深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)算法中表現(xiàn)得非常好。自2012年AlexNet網(wǎng)絡(luò)引入以來(lái)，研究卷積神經(jīng)網(wǎng)絡(luò)（CNN）的學(xué)者們已經(jīng)激起了新一輪的高潮[2]。超催化有限責(zé)任公司提出的基于PyTorch、開(kāi)源框架YOLOv5算法，該算法是對(duì)YOLOv3算法的改進(jìn)，是當(dāng)今更先進(jìn)的目標(biāo)檢測(cè)技術(shù)，其推理速度驚人[3]?；赮OLOv5的訓(xùn)練模型去實(shí)時(shí)識(shí)別實(shí)際景物，并且在跟蹤及標(biāo)準(zhǔn)完成后，進(jìn)行虛實(shí)融合，這樣的嘗試保證了在較高精度的前提下完成增強(qiáng)現(xiàn)實(shí)，這對(duì)AR眼鏡未來(lái)發(fā)展有非常大的實(shí)際意義。

YOLOv5可以非常準(zhǔn)確地探測(cè)物體。應(yīng)用范圍很廣，典型的例子是：果園的目標(biāo)水果圖片[4]；在醫(yī)療領(lǐng)域識(shí)別左右醫(yī)療外科手套[5]；茶園泡茶機(jī)器人準(zhǔn)確識(shí)別茶葉[6]；在農(nóng)業(yè)中區(qū)分感染和未感染的玉米粒[7]。以下是調(diào)研了市面上熱門(mén)的不同軟件開(kāi)發(fā)工具包（sdk）條件下實(shí)現(xiàn)物理跟蹤方法的方案，見(jiàn)表1，比較的方法是同一塊場(chǎng)景、同一時(shí)刻。從不同的方案中可以看出，深度學(xué)習(xí)方法相對(duì)更準(zhǔn)確。

表1 不同軟件開(kāi)發(fā)工具包下的跟蹤情況

現(xiàn)在YOLO的最高版本是YOLOv9，但是這個(gè)版本是最近剛發(fā)布，所以應(yīng)用范圍還不廣泛，主要比較YOLOv5和YOLOv8，見(jiàn)表2。需要在不支持GPU只支持CPU的設(shè)備上部署解決方案，那么YOLOv5是一個(gè)更合適的選擇[8]。以下是不同YOLOv5模型的對(duì)比，他們運(yùn)行識(shí)別的對(duì)象都是一張640×640的圖片，可以看到在CPU環(huán)境下YOLOv5的每秒幀數(shù)更高，所以這個(gè)部分更加適合使用YOLOv5。

表2 YOLOv5與YOLOv8不同模型的對(duì)比

1 YOLOv5 具體原理

YOLO的前身是R-CNN，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可以分為2階段：二階段目標(biāo)檢測(cè)算法和一階段目標(biāo)檢測(cè)算法[9]。二階段目標(biāo)檢測(cè)算法首先由算法生成一系列候選邊界框作為樣本，然后通過(guò)CNN分類(lèi)這些樣本，最后得到檢測(cè)結(jié)果，雖然檢測(cè)精度高于單階段目標(biāo)檢測(cè)算法，但會(huì)占用大量?jī)?nèi)存。一階目標(biāo)檢測(cè)算法是直接將目標(biāo)邊界定位問(wèn)題變成回歸問(wèn)題，將圖像放大到相同的大小，同樣以網(wǎng)格劃分的形式，模型只處理圖像可以得到定位和分類(lèi)結(jié)果，大大提高了檢測(cè)速度，基本可以滿(mǎn)足目標(biāo)實(shí)時(shí)檢測(cè)的需求。但是其成像的質(zhì)量沒(méi)有二階段的目標(biāo)檢測(cè)算法高。

YOLOv5有4個(gè)版本，具體取決于網(wǎng)絡(luò)模型的深度和寬度：YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5通過(guò)CRlip Studio Paint（CSP）模塊的數(shù)量和CSP中Conv+BN+active（CBL）模塊的數(shù)量區(qū)分4個(gè)網(wǎng)絡(luò)模型[10]。

YOLOv5s模型的深度和寬度是最小的，而4種版本中YOLOv5s的權(quán)重只有14.1 MB，而YOLOv5s模型的訓(xùn)練和推理能力是最好的，所以本文使用了YOLOv5s算法[11]，YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

1.1 輸入端

首先，輸入端包括Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖像縮放。

Mosaic數(shù)據(jù)增強(qiáng)[12]：YOLOv5在輸入側(cè)采用了這種方法，將多張圖片以一定比例組合成一張圖片，使模型能夠識(shí)別較小區(qū)域內(nèi)的目標(biāo)。Mosaic數(shù)據(jù)增強(qiáng)具有以下優(yōu)點(diǎn)：數(shù)據(jù)集更加豐富，增強(qiáng)了模型的魯棒性，增強(qiáng)了批量歸一化層的效果，提高了小目標(biāo)檢測(cè)的性能。

自適應(yīng)錨框計(jì)算[13]：在YOLOv3和YOLOv4中訓(xùn)練不同的訓(xùn)練集時(shí)，會(huì)使用單獨(dú)的對(duì)象來(lái)計(jì)算初始錨框。在YOLOv5中，此特性被嵌入到整個(gè)訓(xùn)練代碼中。因此，在每次訓(xùn)練之前，它將根據(jù)不同的數(shù)據(jù)集自適應(yīng)地計(jì)算錨定器。

自適應(yīng)圖像縮放[14]：其主要步驟是根據(jù)原始圖像大小和輸入到網(wǎng)絡(luò)的圖像大小計(jì)算縮放比。選擇一個(gè)較小的縮放因子進(jìn)行縮放，其最大優(yōu)點(diǎn)是可以保證得到的圖片保持大小均一化。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.2 主干網(wǎng)絡(luò) Backbone

輸入端之后是backbone部分，其中主要包括Focus結(jié)構(gòu)和CSP結(jié)構(gòu)[15]。

YOLOv5 中的 Focus 模塊在圖像進(jìn)入主干網(wǎng)之前對(duì)圖像執(zhí)行切片操作。這樣做是為了獲取圖像中每個(gè)像素的值，類(lèi)似于相鄰的縮減采樣。

在YOLOv5中，設(shè)計(jì)了2種CSP結(jié)構(gòu)，CSP1_X結(jié)構(gòu)應(yīng)用于主干網(wǎng)，另一種CSP2_ X結(jié)構(gòu)應(yīng)用于Neck。它可以保持甚至提高CNN的能力，同時(shí)降低20%的計(jì)算復(fù)雜度。

1.3 Neck

在Neck端，YOLOv5當(dāng)前的Neck和YOLOv4的一樣，采用了FPN+PAN（特征金字塔網(wǎng)絡(luò)+個(gè)人區(qū)域網(wǎng)）結(jié)構(gòu)。但是，在其基礎(chǔ)上已經(jīng)做了些改進(jìn)：在YOLOv4的Neck結(jié)構(gòu)中，使用普通的卷積運(yùn)算，而在YOLOv5的Neck結(jié)構(gòu)中，使用CSPNet設(shè)計(jì)的CSP2結(jié)構(gòu)來(lái)增強(qiáng)網(wǎng)絡(luò)特征結(jié)合能力。

1.4 預(yù)測(cè)

最后是預(yù)測(cè)部分，算法處理過(guò)程如下：①按降序?qū)λ蓄A(yù)測(cè)框的置信水平進(jìn)行排序。②選擇置信度最高的預(yù)測(cè)框，確認(rèn)預(yù)測(cè)正確，并與其他預(yù)測(cè)框一起計(jì)算其預(yù)測(cè)框和真實(shí)框的重要程度（IoU）。③如果按照步驟②計(jì)算出來(lái)的IoU較高，且IoU大于閾值較高，則直接刪除。④對(duì)剩余的預(yù)測(cè)框返回到步驟①，直到?jīng)]有更多的剩余預(yù)測(cè)框?yàn)橹埂?/p>

2 虛實(shí)結(jié)合部分

在增強(qiáng)現(xiàn)實(shí)方面，一般是使用目標(biāo)檢測(cè)、特征匹配和相機(jī)投影等技術(shù)，在目標(biāo)檢測(cè)上使用YOLOv5模型進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)，識(shí)別照相機(jī)或視頻流中的對(duì)象，并在圖像畫(huà)上邊界框和標(biāo)簽。接著，把匹配出來(lái)的關(guān)鍵點(diǎn)組合起來(lái)，如果同目標(biāo)檢測(cè)的對(duì)象一致，就通過(guò)相機(jī)投影把對(duì)應(yīng)虛擬對(duì)象結(jié)合上。在投影過(guò)程中，相機(jī)下的同源變換可以簡(jiǎn)單地理解為它用于描述世界坐標(biāo)系和像素坐標(biāo)系中對(duì)象之間的位置映射關(guān)系。相應(yīng)的變換矩陣稱(chēng)為同調(diào)矩陣。同源性矩陣的定義為

成像幾何模型得到了像素坐標(biāo)系與空間坐標(biāo)系之間的坐標(biāo)映射關(guān)系為

式中：M為內(nèi)參矩陣，t為瞬時(shí)的一段時(shí)間，組成變換的像素坐標(biāo)系，s為變換尺度因子，H為同源性矩陣。

最后，將加載的模型渲染，再經(jīng)過(guò)集成成像技術(shù)生成三維物體傳輸?shù)疆?dāng)前的視頻幀中，以實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果。

3 實(shí)驗(yàn)結(jié)果與分析

首先，圖2是YOLOv5識(shí)別到的學(xué)校大門(mén)、學(xué)校圖書(shū)館和學(xué)校實(shí)驗(yàn)樓的3張圖。

以上識(shí)別實(shí)驗(yàn)，先是收集了3個(gè)建筑物的訓(xùn)練圖片完成訓(xùn)練模型的制作。之后再進(jìn)行識(shí)別。在未來(lái)，可以加入更大的數(shù)據(jù)集，實(shí)現(xiàn)更多區(qū)域的景點(diǎn)交互和識(shí)別。

在確保對(duì)目標(biāo)建筑物正確識(shí)別的前提下，對(duì)被識(shí)別的建筑物進(jìn)行了增強(qiáng)現(xiàn)實(shí)虛實(shí)融合虛擬圖片的操作。接下來(lái)，會(huì)在3個(gè)地點(diǎn)識(shí)別的基礎(chǔ)上分別顯示煙花、小狗和鮮花。可以看出基于YOLOv5訓(xùn)練模型的虛實(shí)結(jié)合技術(shù)很大的優(yōu)勢(shì)：原本在特征提取上需要花費(fèi)更多的時(shí)間去提取建筑物本身的形象，目前在擁有被識(shí)別的基礎(chǔ)上，可以直接特征提取標(biāo)準(zhǔn)框，快速匹配完后立馬投影事先設(shè)定的圖像。這樣可以提高虛實(shí)結(jié)合的效率，如圖3所示。

下一步是只進(jìn)行3個(gè)地點(diǎn)虛實(shí)結(jié)合操作的3個(gè)視圖。在只需要虛實(shí)融合效果的時(shí)候，可以選擇不在圖像上繪制矩形邊界框。其結(jié)果如圖4—圖6所示。

由圖4—圖6中可以看出，圖上的圖像隨著角度的偏轉(zhuǎn)會(huì)有些許的變化。符合增強(qiáng)現(xiàn)實(shí)基本理念。

4 結(jié)束語(yǔ)

本文提出了基于YOLOv5訓(xùn)練模型的虛實(shí)結(jié)合技術(shù)進(jìn)行測(cè)算。本文根據(jù)YOLOv5具有非常驚人的推理能力為前提，通過(guò)YOLOv5制作對(duì)應(yīng)場(chǎng)景的訓(xùn)練模型，以YOLOv5s.pt文件保存，接著通過(guò)該文件進(jìn)行了虛實(shí)融合操作，通過(guò)目標(biāo)識(shí)別、特征匹配和相機(jī)投影完成增強(qiáng)現(xiàn)實(shí)。實(shí)驗(yàn)結(jié)果證明，本文的方法可以在正確識(shí)別場(chǎng)景位置的前提下，更穩(wěn)定地實(shí)現(xiàn)虛實(shí)融合技術(shù)的實(shí)現(xiàn)，很好地結(jié)合了2項(xiàng)技術(shù)，在工作效率上有所提升。給未來(lái)增強(qiáng)現(xiàn)實(shí)技術(shù)提供了另一種新的發(fā)展方向。

參考文獻(xiàn)：

[1] LIANG Z， HUANG Z， HU X， et al.Research on Distance Measurement Using Vehicle Four-point Calibration Based on YOLO Neural Network[J]. Journal of Mechanical Engineering，2023，59（10）：226-235.

[2] GUO M， GONG H.Research on AlexNet Improvement and Optimization Method[J].Computer Engineering and Application，2020，56（20）：124-131.

[3] 薛晨興.國(guó)內(nèi)外深度學(xué)習(xí)框架分析與研究[J].電子元器件與信息技術(shù)，2023，7（5）：66-71，87.

[4] OLAREWAJU M L.YOLOv5-LiNet： A lightweight network for fruits instance segmentation[J].PLoS ONE，2023，18（3）.

[5] JU G， JIAO H， ZHANG J， et al.Left and right rand recognition of medical surgical gloves based on YOLOv5[J].Manufacturing Automation，2021，43（12）：189-192.

[6] ZHANG S H， YANG H K， YANG C H， et al.Edge Device Detection of Tea Leaves with One Bud and Two Leaves Based on ShuffleNetv2-YOLOv5-Lite-E[J].Agronomy-Basel，2023，13（2）.

[7] THANGARAJ S R P， YOGAMEENA B， MANICKAVASAGAN A.Real-time detection of Fusarium infection in moving corn grains using YOLOv5 object detection algorithm[J].Journal of Food Process Engineering，2023，46（9）.

[8] WANG D， WANG J， SHI Y， et al.Research on image privacy detection based on deep transfer learning[J]. Journal of Graphics，2023，44（6）：1112-1120.

[9] SHI L， JING M E， FAN Y， et al.Segmentation Detection Algorithm Based on R-CNN Algorithm[J]. Journal of Fudan University. Natural Sciences，2020，59（4）：412-418.

[10] CHANG B R， TSAI H F， HSIEH C W.Location and timestamp-based chip contour detection using LWMG-YOLOv5[J]. Computers & Industrial Engineering，2023，180.

[11] JIANG T Y， LI C， YANG M， et al. An Improved YOLOv5s Algorithm for Object Detection with an Attention Mechanism[J].Electronics，2022，11（16）.

[12] ZHANG Y， GUO Z Y， WU J Q， et al.Real-Time Vehicle Detection Based on Improved YOLOv5[J].Sustainability，2022，14（19）.

[13] SHANG X， WEN Y， XI X， et al.Target tracking system based on the Siamese guided anchor region proposal network[J]. Journal of Image and Graphics，2021，26（2）：415-424.

[14] VENTURA A S， BORREGO J A， SOLORZA S.Adaptive nonlinear correlation with a binary mask invariant to rotation and scale[J]. Optics Communications，2015（339）：185-193.

[15] GU W， LI S， YIN M.Research and Development in Backdoor Set[J]. Computer Science，2010，37（3）：11-16.