基于YOLOv7網(wǎng)絡(luò)的CARLA駕駛模擬器目標(biāo)檢測(cè)系統(tǒng)實(shí)現(xiàn)

[摘 要]隨著自動(dòng)駕駛技術(shù)的迅速發(fā)展，精確識(shí)別模擬環(huán)境中的動(dòng)態(tài)與靜態(tài)對(duì)象成為了實(shí)現(xiàn)高度自動(dòng)化駕駛的關(guān)鍵挑戰(zhàn)之一，而仿真數(shù)據(jù)集具有獲取成本低、易獲取極端場(chǎng)景、有較強(qiáng)的連續(xù)性等特征。文章中采用CARLA駕駛模擬器作為實(shí)驗(yàn)平臺(tái)，結(jié)合最新的YOLOv7目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化訓(xùn)練策略，提升目標(biāo)檢測(cè)的精度和速度。文章介紹了CARLA模擬器的基礎(chǔ)架構(gòu)與YOLOv7算法的核心原理，詳細(xì)描述了實(shí)驗(yàn)的設(shè)計(jì)與實(shí)施過程，包括數(shù)據(jù)集的準(zhǔn)備、網(wǎng)絡(luò)訓(xùn)練及測(cè)試評(píng)估。實(shí)驗(yàn)結(jié)果表明，基于YOLOv7的目標(biāo)檢測(cè)方法在自動(dòng)駕駛模擬環(huán)境中具有出色的性能，能夠根據(jù)輸入圖片準(zhǔn)確識(shí)別出車輛、行人等多種目標(biāo)。文章探討了實(shí)驗(yàn)結(jié)果的意義，指出該研究在提高自動(dòng)駕駛模擬器的現(xiàn)實(shí)感和安全性方面的潛在應(yīng)用，并對(duì)未來研究方向提出建議。

[關(guān)鍵詞]YOLOv7；CARLA駕駛模擬器；自動(dòng)駕駛；目標(biāo)檢測(cè)

[中圖分類號(hào)]TP391.9；U463.6 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（2024）06–0165–03

Implementation of Target Detection System for CARLA Driving Simulator Based on YOLOv7 Network

LIANG Yanhui，XU Shenhao，HUANG Yanpei，LEI Xiangyu，YU Weiting

[Abstract]With the rapid development of autonomous driving technology， accurate identification of dynamic and static objects in simulated environment has become one of the key challenges to achieve highly automated driving. Simulation data sets have the characteristics of low acquisition cost， easy acquisition of extreme scenes， and strong continuity. Therefore， this paper adopts CARLA driving simulator as the experimental platform， combines the latest YOLOv7 target detection network， and improves the accuracy and speed of target detection by improving the network structure and optimizing the training strategy. This paper first introduces the basic architecture of CARLA simulator and the core principle of YOLOv7 algorithm， and then describes the design and implementation process of the experiment in detail， including data set preparation， network training and test evaluation. The experimental results show that the target detection method based on YOLOv7 has excellent performance in the automatic driving simulation environment， and can accurately identify various targets such as vehicles and pedestrians according to the input images. Finally， the paper discusses the significance of the experimental results， points out the potential application of the study in improving the sense of reality and safety of the autonomous driving simulator， and suggests the direction of future research.

[Keywords]YOLOv7； CARLA driving simulator； autonomous driving； object detection

1 概述

隨著自動(dòng)駕駛技術(shù)的不斷進(jìn)步，對(duì)數(shù)據(jù)集的要求也日益提高，包括更高精度的激光雷達(dá)數(shù)據(jù)和包含多模態(tài)信息的數(shù)據(jù)集等[1]。然而，傳統(tǒng)的多模態(tài)數(shù)據(jù)集存在時(shí)效性差、標(biāo)注成本高、校準(zhǔn)困難等問題，在這種背景下，仿真數(shù)據(jù)集在自動(dòng)駕駛模型訓(xùn)練中的優(yōu)勢(shì)顯著，已成為相關(guān)模型訓(xùn)練迭代的首選方案?；谶@種需求，越來越多的目標(biāo)檢測(cè)算法被引入到智能交通領(lǐng)域，以提高自動(dòng)駕駛系統(tǒng)的感知能力。這些算法主要分為單階段（One-stage）和兩階段（Two-stage）兩種類型，分別有其特點(diǎn)和應(yīng)用場(chǎng)景。

本文旨在研究基于YOLOv7網(wǎng)絡(luò)的CARLA駕駛模擬器目標(biāo)檢測(cè)技術(shù)。選擇YOLOv7作為研究對(duì)象，是因?yàn)槠渥鳛镺ne-stage目標(biāo)檢測(cè)算法的最新代表，具有檢測(cè)速度快、準(zhǔn)確率高等特點(diǎn)，非常適合用于實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)[2]。通過CARLA模擬器這一平臺(tái)，可以在多樣化的駕駛場(chǎng)景下，對(duì)YOLOv7的性能進(jìn)行全面評(píng)估和優(yōu)化。研究不僅著眼于提高目標(biāo)檢測(cè)的準(zhǔn)確率和效率，也旨在通過仿真環(huán)境對(duì)算法進(jìn)行快速迭代和驗(yàn)證，為實(shí)際應(yīng)用中的自動(dòng)駕駛系統(tǒng)提供技術(shù)支持和理論基礎(chǔ)。

2 采用技術(shù)及理論知識(shí)

2.1 YOLO系列算法

YOLO算法是一種典型的單階段目標(biāo)檢測(cè)算法，自從其首次提出以來，就因其出色的實(shí)時(shí)性和高效性受到廣泛關(guān)注[2]。從YOLOv1到Y(jié)OLOv7，每一代的升級(jí)都在不斷提高算法的準(zhǔn)確率、速度和泛化能力。YOLOv7作為該系列的新版本，通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和訓(xùn)練策略，進(jìn)一步提高了目標(biāo)檢測(cè)的性能。

2.2 Carla駕駛模擬器

CARLA駕駛模擬器是一個(gè)基于虛幻4開發(fā)的開源平臺(tái)，專為自動(dòng)駕駛系統(tǒng)的研發(fā)、訓(xùn)練及驗(yàn)證需求而設(shè)計(jì)。它以其卓越的靈活性和高度的可配置性著稱，提供了豐富的傳感器模擬支持，包括相機(jī)、激光雷達(dá)和深度相機(jī)等，能夠模擬包括雨、雪、霧和夜間等在內(nèi)的多樣化天氣和光照條件[3]。此外，CARLA提供了多種環(huán)境場(chǎng)景，如城市、鄉(xiāng)村道路、高速公路和居民區(qū)等，同時(shí)支持多個(gè)動(dòng)態(tài)和靜態(tài)交通參與者的控制。

3 技術(shù)實(shí)現(xiàn)及模型分析

本項(xiàng)目旨在通過深度學(xué)習(xí)模型實(shí)現(xiàn)在CARLA駕駛模擬器中對(duì)車輛及行人的自動(dòng)識(shí)別，整個(gè)實(shí)施流程主要包括數(shù)據(jù)集的獲取、數(shù)據(jù)預(yù)處理、YOLOv7模型的構(gòu)建及訓(xùn)練，以及模型性能的評(píng)估。

3.1 數(shù)據(jù)集的獲取

本項(xiàng)目使用的數(shù)據(jù)集是專為CARLA駕駛模擬器中的目標(biāo)檢測(cè)任務(wù)而設(shè)計(jì)的，包含了1028張分辨率為640×380像素的圖像。這些圖像被細(xì)心分為兩部分：249張用作測(cè)試集，而779張則構(gòu)成了訓(xùn)練集。每張圖像都配有相應(yīng)的標(biāo)簽文件，支持多種格式，包括Pascal VOC、YOLO格式以及MS COCO格式，如圖1所示。

3.2 數(shù)據(jù)預(yù)處理

從CARLA駕駛模擬器獲取的圖像數(shù)據(jù)，在直接應(yīng)用于模型訓(xùn)練之前需要經(jīng)過仔細(xì)的預(yù)處理。由于本項(xiàng)目選用了YOLOv7作為目標(biāo)檢測(cè)模型，這些預(yù)處理步驟尤為關(guān)鍵，旨在保證數(shù)據(jù)的標(biāo)準(zhǔn)化、優(yōu)化訓(xùn)練流程的效率，并確保標(biāo)簽與模型的兼容性。因此，將對(duì)圖像執(zhí)行一系列專門設(shè)計(jì)的處理操作，以最大程度發(fā)揮YOLOv7模型的性能。

設(shè)計(jì)的圖像預(yù)處理流程為：標(biāo)簽轉(zhuǎn)換→圖像規(guī)范化→數(shù)據(jù)增強(qiáng)→尺寸調(diào)整。

3.3 YOLOv7模型搭建以及訓(xùn)練

YOLOv7模型的構(gòu)造通過yolov7.yaml文件進(jìn)行詳細(xì)配置，該文件定義了模型的主干網(wǎng)絡(luò)和首層模型結(jié)構(gòu)，以及使用的先驗(yàn)框。

（1）先驗(yàn)框配置：模型使用了三種尺度的先驗(yàn)框（P3/8， P4/16， P5/32）。這些先驗(yàn)框是基于數(shù)據(jù)集中目標(biāo)尺寸的統(tǒng)計(jì)分析預(yù)先設(shè)定的，有助于提高模型對(duì)不同大小目標(biāo)的檢測(cè)能力。

（2）主干網(wǎng)絡(luò)結(jié)構(gòu)：YOLOv7的主干網(wǎng)絡(luò)采用了多層卷積網(wǎng)絡(luò)，通過逐步降采樣（使用MaxPooling和步長(zhǎng)為2像素的卷積）來提取不同尺度的特征。此外，主干網(wǎng)絡(luò)中還使用了增加通道數(shù)操作來融合不同層次的特征，增強(qiáng)了模型對(duì)復(fù)雜場(chǎng)景的表征能力。

訓(xùn)練過程中，將訓(xùn)練組數(shù)設(shè)置為300組，訓(xùn)練集與測(cè)試集的比例設(shè)置為7∶3。

4 識(shí)別結(jié)果展示及分析

本項(xiàng)目采用了YOLOv7模型進(jìn)行目標(biāo)檢測(cè)任務(wù)，針對(duì)不同的對(duì)象類別（如車輛、自行車、摩托車、交通燈和交通標(biāo)志）進(jìn)行了細(xì)致的性能評(píng)估。通過大量的實(shí)驗(yàn)和數(shù)據(jù)分析，得到了以下的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)分析及檢測(cè)結(jié)果（示例），分別如表1、圖2所示。

這些數(shù)據(jù)顯示了模型在各個(gè)類別上的高識(shí)別率，特別是在車輛類別上，模型展現(xiàn)出了極高的精確度和召回率，反映了優(yōu)秀的目標(biāo)檢測(cè)能力。平均精度（AP）的高數(shù)值表現(xiàn)進(jìn)一步證明了模型在整個(gè)操作點(diǎn)上的穩(wěn)定性和可靠性。

5 總結(jié)與未來展望

5.1 總結(jié)

本研究基于CARLA駕駛模擬器和YOLOv7目標(biāo)檢測(cè)網(wǎng)絡(luò)，探索了自動(dòng)駕駛技術(shù)中的目標(biāo)檢測(cè)問題。通過詳細(xì)的數(shù)據(jù)準(zhǔn)備、預(yù)處理、模型訓(xùn)練及性能評(píng)估，我們成功實(shí)現(xiàn)了在模擬環(huán)境中對(duì)車輛、行人等動(dòng)態(tài)和靜態(tài)對(duì)象的高精度識(shí)別。此項(xiàng)研究不僅展示了深度學(xué)習(xí)在自動(dòng)駕駛領(lǐng)域的應(yīng)用潛力，也為未來的自動(dòng)駕駛技術(shù)研究和開發(fā)提供了寶貴的經(jīng)驗(yàn)和啟示。

5.2 未來展望

本研究在CARLA駕駛模擬器和YOLOv7目標(biāo)檢測(cè)網(wǎng)絡(luò)的應(yīng)用上取得了顯著成果，不僅提升了模型在模擬環(huán)境中的表現(xiàn)，同時(shí)也為自動(dòng)駕駛技術(shù)的進(jìn)一步研究和開發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)。未來的研究可以從以下幾個(gè)方面受益于本研究的成果和經(jīng)驗(yàn)：

（1）基于仿真數(shù)據(jù)集的深入研究：Carla駕駛模擬器為自動(dòng)駕駛算法提供了一個(gè)無風(fēng)險(xiǎn)的測(cè)試平臺(tái)。未來的研究可以繼續(xù)利用這一平臺(tái)進(jìn)行更多的實(shí)驗(yàn)，探索在更復(fù)雜多變環(huán)境中的算法性能，以及如何將仿真數(shù)據(jù)與實(shí)際數(shù)據(jù)更有效地結(jié)合。

（2）算法迭代與優(yōu)化：本研究通過詳細(xì)的數(shù)據(jù)準(zhǔn)備和預(yù)處理流程，有效提升了模型的識(shí)別精度。未來研究可在此基礎(chǔ)上，探索更多優(yōu)化方法和新的網(wǎng)絡(luò)架構(gòu)，以進(jìn)一步提升性能。

（3）跨模態(tài)學(xué)習(xí)的潛力：盡管本研究主要依賴視覺信息，未來的工作可以擴(kuò)展到多模態(tài)學(xué)習(xí)，結(jié)合來自不同傳感器的數(shù)據(jù)，例如雷達(dá)和激光雷達(dá)，以提供更全面的環(huán)境感知能力。

（4）系統(tǒng)集成和應(yīng)用擴(kuò)展：本研究提供的經(jīng)驗(yàn)和啟示有助于未來自動(dòng)駕駛系統(tǒng)的集成和實(shí)際應(yīng)用。研究者可以探討如何將這些技術(shù)集成到真實(shí)車輛中，并評(píng)估它們?cè)谡鎸?shí)道路環(huán)境下的表現(xiàn)。

（5）面向?qū)嶋H應(yīng)用的難題解決：未來的研究可以利用本研究的成果，特別是在處理復(fù)雜交通場(chǎng)景和動(dòng)態(tài)對(duì)象時(shí)的經(jīng)驗(yàn)，解決自動(dòng)駕駛中的實(shí)際問題，如急剎車、行人突然穿越等情況。

參考文獻(xiàn)

[1] 張文爍，陳宇琳，姜洋.自動(dòng)駕駛汽車對(duì)城市空間形態(tài)的影響綜述[J].城市交通，2022（5）：1-10.

[2] 水卯瑞.基于改進(jìn)的YOLOv7與暗通道算法的圖像檢測(cè)[J].信息與電腦，2023，35（10）：76-78.

[3] 秦琴，谷文軍.ball tree優(yōu)化的自動(dòng)駕駛仿真測(cè)試場(chǎng)景生成方法[J].計(jì)算機(jī)應(yīng)用研究，2023，40（9）：2781-2784.

[4] 戴立偉，黃山.交通場(chǎng)景目標(biāo)檢測(cè)指標(biāo)優(yōu)化研究[J].激光與光電子學(xué)進(jìn)展，2020，57（14）：9.