摘" 要:為了提高行人過(guò)街的安全性和效率,避免安全事故的發(fā)生,設(shè)計(jì)一種可以實(shí)時(shí)檢測(cè)行人過(guò)街行為以及車輛往來(lái)的行人過(guò)街安全警示系統(tǒng)。該系統(tǒng)采用圖像處理技術(shù)和嵌入式系統(tǒng)技術(shù),能夠?qū)崟r(shí)監(jiān)測(cè)行人、車輛和交通信號(hào)燈狀態(tài),能準(zhǔn)確快速地提醒過(guò)街行人注意出行及安全,提高城市交通秩序,有助于推進(jìn)智慧城市建設(shè)和交通安全領(lǐng)域的技術(shù)創(chuàng)新,具有一定的理論和實(shí)踐價(jià)值。
關(guān)鍵詞:圖像處理;行人過(guò)街行為;安全警示
中圖分類號(hào):TP311" 文獻(xiàn)標(biāo)識(shí)碼:A" 文章編號(hào):2096-4706(2024)12-0096-05
Design and Research on Pedestrian Crossing Safety Warning System Based on Image Processing
JIANG Hui1, LI Shan1, HUANG Yangxiang1, WU Yuxia2, LIAO Qiuli1
(1.School of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin" 541004, China;
2.School of Architecture and Transportation Engineering, Guilin University of Electronic Technology, Guilin" 541004, China)
Abstract: In order to improve the safety and efficiency of pedestrian crossing the street and avoid potential accidents, the paper designs a pedestrian crossing safety warning system that can detect pedestrian crossing behavior and vehicle traffic in real-time. The system adopts image processing technology and embedded system technology. It can monitor the status of pedestrians, vehicles and traffic lights in real-time, and accurately and quickly remind pedestrians crossing the street to pay attention to their travel and safety. It improves urban traffic order, helps promote smart city construction and technological innovation in the field of traffic safety, and has certain theoretical and practical value.
Keywords: image processing; behavior of pedestrian crossing the street; safety warning
0" 引" 言
行人作為交通系統(tǒng)的弱勢(shì)群體,在交通參與者中數(shù)量最多、范圍最廣,但是目前我國(guó)對(duì)行人的重視和研究與行人在交通活動(dòng)中的地位難以匹配[1]。據(jù)統(tǒng)計(jì),行人事故傷亡率約占所有交通事故傷亡人數(shù)的20%,而行人過(guò)街時(shí)的傷亡人數(shù)占其中的50%以上[2]。而行人過(guò)街設(shè)施不健全、行人過(guò)街行為不規(guī)范等因素是其重要原因[3]。如何保障行人過(guò)街的安全,減少傷亡,目前已成為道路交通安全專家們主要思考解決的熱點(diǎn)、難點(diǎn)問(wèn)題[4]。因此,設(shè)計(jì)一種具有高效、準(zhǔn)確、快速警示作用的行人過(guò)街安全警示系統(tǒng)具有重要的現(xiàn)實(shí)意義和社會(huì)價(jià)值。
目前,國(guó)內(nèi)外對(duì)于行人過(guò)街安全警示系統(tǒng)的研究已經(jīng)取得了一定的成果。上海警方在2018年啟用了全國(guó)首套新型行人過(guò)街提示系統(tǒng)[5],該系統(tǒng)能夠自動(dòng)檢測(cè)行人在紅燈下的不當(dāng)行為,不僅可以通過(guò)屏幕現(xiàn)場(chǎng)顯示,還可以發(fā)出語(yǔ)音進(jìn)行警告,同時(shí),還能夠?yàn)楣步痪块T處理違規(guī)行為提供記錄,供其進(jìn)行后續(xù)的處理和調(diào)查。深圳旗揚(yáng)在2022年打造出人工智能斑馬線安全預(yù)警系統(tǒng),智慧斑馬線[6]通過(guò)AI人工智能視覺(jué)算法和多種新興技術(shù),可有效提醒過(guò)街行人注意安全,警示來(lái)往車輛注意禮讓行人,可及時(shí)有效避免過(guò)街人車沖突、人車闖紅燈現(xiàn)象頻發(fā)、行人過(guò)街效率低下等交管痛點(diǎn)。澳大利亞政府在2016年試點(diǎn)了一種專為低頭族設(shè)計(jì)的地面紅綠燈,有效地提醒他們紅綠燈的變化,從而提升了通行安全。盡管國(guó)內(nèi)外行人過(guò)街安全警示系統(tǒng)的研究已經(jīng)取得了一定的成果,但仍然存在局限性,在系統(tǒng)實(shí)時(shí)性、可行性和可擴(kuò)展性等方面仍需做進(jìn)一步研究。
1" 系統(tǒng)總體設(shè)計(jì)
本文設(shè)計(jì)一款基于全志V831芯片的具有實(shí)時(shí)檢測(cè)行人過(guò)街行為以及車輛往來(lái)的系統(tǒng)。該系統(tǒng)具有緊湊小巧、易安裝、性價(jià)比高,且支持嵌入式Linux、硬件AI加速等特點(diǎn)。該系統(tǒng)分人行道模式和非人行道模式兩種狀態(tài)。在人行道模式下,檢測(cè)紅綠燈狀態(tài)以及行人與斑馬線的坐標(biāo)位置,通過(guò)檢測(cè)行人是否在斑馬線上,判斷行人是否闖紅燈。如果紅燈狀態(tài)下,行人沒(méi)在斑馬線上,則判斷行人闖紅燈,立即對(duì)行人進(jìn)行語(yǔ)音燈光警示。在非人行道模式下,攝像頭同時(shí)檢測(cè)到車輛和行人時(shí),就進(jìn)行語(yǔ)音燈光預(yù)警。
系統(tǒng)總體框圖如圖1所示,由模型建立、圖像處理、語(yǔ)音燈光報(bào)警以及圖像顯示幾個(gè)模塊組成。本文的核心技術(shù)是模型建立和圖像處理,使用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行訓(xùn)練,以YOLOv2為模型網(wǎng)絡(luò),ResNet18為主干網(wǎng)絡(luò),通過(guò)算法優(yōu)化和參數(shù)調(diào)整實(shí)現(xiàn)行人闖紅燈檢測(cè)的準(zhǔn)確率和實(shí)時(shí)性。語(yǔ)音燈光報(bào)警在檢測(cè)到行人闖紅燈時(shí)可以及時(shí)進(jìn)行提醒,圖像顯示則為監(jiān)控人員提供了更直觀的檢測(cè)結(jié)果和管理依據(jù)。
2" 系統(tǒng)硬件設(shè)計(jì)
由于行人過(guò)街檢測(cè)需要低功耗和高算力的硬件支持,傳統(tǒng)的PC機(jī)在實(shí)際道路交叉口的部署中并不適用。綜合考慮實(shí)際道路環(huán)境的要求和成本,需要能夠提供緊湊的設(shè)計(jì)、低功耗且具備足夠的算力來(lái)支持深度學(xué)習(xí)模型的部署和運(yùn)算嵌入式平臺(tái)來(lái)進(jìn)行行人過(guò)街檢測(cè)。根據(jù)系統(tǒng)總體結(jié)構(gòu)的設(shè)計(jì),本系統(tǒng)硬件分為兩個(gè)部分,主要由基于全志V831的M2dock開(kāi)發(fā)板和基于存儲(chǔ)電路、燈光電路的底板組成,底板使用立創(chuàng)EDA繪制。
Maix-II-Dock定位于高性價(jià)比的AIOT開(kāi)發(fā)板,支持常規(guī)Linux開(kāi)發(fā)的同時(shí),有特有的AI硬件加速特性,配合Sipeed提供的完整的軟件生態(tài),能夠快速實(shí)邊緣AI應(yīng)用。硬件上以核心板+底板的形式組成開(kāi)發(fā)板,可以直接使用開(kāi)發(fā)板,也可以只使用核心板,根據(jù)需求自行設(shè)計(jì)底板,方便快速完成開(kāi)發(fā)。軟件上除了可以直接使用全志提供的資料進(jìn)行開(kāi)發(fā)外,也可以非常方便地使用Sipeed提供的Python SDK(MaixPy3)以及CSDK(libmaix),借助Python編程可以簡(jiǎn)單快速地應(yīng)用人工智能技術(shù)。M2dock支持U盤、IDE、ADB終端等多種交互方式,可以選擇簡(jiǎn)單易用的Python編程,也可以是較好性能的SDK開(kāi)發(fā),可以快速地驗(yàn)證功能效果。
實(shí)物圖如圖2所示,以M2dock開(kāi)發(fā)板和底板的形式組成,采用SP2305攝像頭采集圖像,1.3寸IPS屏幕顯示,喇叭語(yǔ)音示警,LED燈燈光提醒。
3" 系統(tǒng)軟件設(shè)計(jì)
該系統(tǒng)的軟件設(shè)計(jì)分為數(shù)據(jù)集的制作、模型訓(xùn)練、目標(biāo)檢測(cè)、語(yǔ)音燈光預(yù)警和系統(tǒng)保護(hù)五個(gè)部分。該系統(tǒng)需要進(jìn)行目標(biāo)檢測(cè),目標(biāo)檢測(cè)需要大量的數(shù)據(jù)集來(lái)進(jìn)行訓(xùn)練。因此,數(shù)據(jù)集的制作是非常關(guān)鍵的步驟。高質(zhì)量數(shù)據(jù)集的制作,需要進(jìn)行精細(xì)的樣本圖片采集、樣本圖片標(biāo)注等操作。在數(shù)據(jù)集制作完成之后,需要進(jìn)行模型訓(xùn)練。模型訓(xùn)練需要使用深度學(xué)習(xí)框架對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練,從而得到目標(biāo)檢測(cè)算法的模型,是整個(gè)系統(tǒng)中的核心部分。在這一階段中,需要選擇適合該問(wèn)題的深度學(xué)習(xí)模型,并對(duì)其進(jìn)行訓(xùn)練、尋優(yōu),以得到更好的檢測(cè)效果。最后,需要將訓(xùn)練好的模型部署到系統(tǒng)中,進(jìn)行目標(biāo)檢測(cè),并通過(guò)語(yǔ)音和燈光等方式進(jìn)行預(yù)警。
3.1" 數(shù)據(jù)集的采集與標(biāo)注
訓(xùn)練模型之前需要建立訓(xùn)練數(shù)據(jù)集[7],數(shù)據(jù)集的建立分為圖像采集和圖像標(biāo)注兩部分。使用的數(shù)據(jù)集包含了BDD100K數(shù)據(jù)集中具有車輛和行人的部分圖像,所在城市的十字路口、人行橫道實(shí)際采集到的圖像,以及通過(guò)網(wǎng)上爬蟲(chóng)獲取的圖像。盡可能地采集了符合實(shí)際應(yīng)用場(chǎng)景的多樣化目標(biāo)圖像,且在不同的光照、天氣、距離、角度等條件下進(jìn)行拍攝,以保證模型具有較好的泛化能力,提高深度模型的置信度。數(shù)據(jù)集圖片如圖3所示。
數(shù)據(jù)集中包含訓(xùn)練目標(biāo)圖像和目標(biāo)在圖像中標(biāo)注的位置信息文件。數(shù)據(jù)集的制作需要在圖像上標(biāo)記出系統(tǒng)所需要識(shí)別的特征信息,以提供給計(jì)算機(jī)視覺(jué)模型特定的圖像信息。如圖4所示,使用Labelimg軟件進(jìn)行圖像標(biāo)注,標(biāo)注的目的是確定目標(biāo)在圖像中的位置信息。在本系統(tǒng)中數(shù)據(jù)標(biāo)記了5個(gè)標(biāo)簽,分別為person、car、crossing、red和green這5個(gè)類,分別對(duì)應(yīng)了需要識(shí)別的人、車、人行道、紅燈和綠燈5個(gè)要素。每個(gè)圖像完成所有標(biāo)注后,會(huì)生成一個(gè)對(duì)應(yīng)的xml文件,文件里面記錄了物體的包圍矩形的位置。該標(biāo)簽文件具有folder、filename、path、size、name和bndbox等要素,可以很方便地對(duì)目標(biāo)進(jìn)行準(zhǔn)確的識(shí)別和定位,為后續(xù)的模型訓(xùn)練和目標(biāo)檢測(cè)提供了必要的數(shù)據(jù)基礎(chǔ)。
數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集,其中訓(xùn)練數(shù)據(jù)集用于訓(xùn)練模型,驗(yàn)證數(shù)據(jù)集用于驗(yàn)證模型的性能和調(diào)整超參數(shù)。數(shù)據(jù)集采用了隨機(jī)抽樣的方法進(jìn)行劃分,可以有效避免數(shù)據(jù)集的偏差性。并且為了保證數(shù)據(jù)集的隨機(jī)性和均衡性,按照9:1的比例劃分為訓(xùn)練集和驗(yàn)證集。
3.2" 模型訓(xùn)練
系統(tǒng)是基于PyTorch框架[8]搭建的訓(xùn)練模型。PyTorch框架是由Facebook公司開(kāi)發(fā)并維護(hù)的一種基于Python語(yǔ)言的開(kāi)源機(jī)器學(xué)習(xí)框架,具有易于使用和動(dòng)態(tài)計(jì)算圖等優(yōu)點(diǎn)。PyTorch框架依賴于Python,搭建訓(xùn)練環(huán)境首先需要安裝Python環(huán)境,然后根據(jù)安裝相關(guān)軟件包和依賴項(xiàng)。由于PyTorch不能直接將模型導(dǎo)出成ncnn格式,因此使用onnx2ncnn轉(zhuǎn)換工具進(jìn)行轉(zhuǎn)換。
為了達(dá)到最優(yōu)的訓(xùn)練效果,在訓(xùn)練目標(biāo)檢測(cè)模型之前,需要對(duì)學(xué)習(xí)率、訓(xùn)練批次、輸入圖片大小等參數(shù)進(jìn)行適當(dāng)?shù)脑O(shè)置和調(diào)整。為了方便在訓(xùn)練過(guò)程中進(jìn)行模型驗(yàn)證和調(diào)整,還需要準(zhǔn)備好訓(xùn)練數(shù)據(jù)集和標(biāo)簽,以及驗(yàn)證數(shù)據(jù)集和標(biāo)簽。在訓(xùn)練過(guò)程中,為了防止過(guò)擬合或欠擬合等問(wèn)題的發(fā)生,還需要監(jiān)控模型的訓(xùn)練損失和驗(yàn)證精度等指標(biāo),及時(shí)調(diào)整參數(shù)。在本次訓(xùn)練中,使用的是YOLOv2模型。YOLOv2是一種使用神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行端到端處理的目標(biāo)檢測(cè)算法,能夠在單個(gè)網(wǎng)絡(luò)中直接從原始圖像檢測(cè)出多個(gè)物體。YOLOv2采用了基于深度神經(jīng)網(wǎng)絡(luò)的特征提取方式,使用卷積層和池化層來(lái)提取圖像的特征,并采用全連接層對(duì)特征進(jìn)行分類和定位。YOLOv2相比YOLOv1做了一些改進(jìn),使用更深的ResNet或DarkNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)。本系統(tǒng)使用ResNet-18 [9]作為YOLOv2的主干網(wǎng)絡(luò),該網(wǎng)絡(luò)具有更好的特征提取能力、更強(qiáng)的泛化能力、更好的模型可訓(xùn)練性等多方面的優(yōu)勢(shì),可以提高特征提取能力和精度。同時(shí),由于YOLOv2采用了單階段[10](single-stage)檢測(cè)方法,因此與ResNet-18等主干網(wǎng)絡(luò)結(jié)合使用時(shí),可以避免兩階段(two-stage)檢測(cè)方法中煩瑣的區(qū)域提取和配準(zhǔn)操作,從而提高檢測(cè)速度。輸入圖片大小為224×224,迭代次數(shù)為200次,批量大小為12,學(xué)習(xí)率為0.001,啟用圖像增強(qiáng)。訓(xùn)練得到的模型結(jié)構(gòu)如圖5所示。
3.3" 目標(biāo)檢測(cè)及語(yǔ)音燈光報(bào)警
在本系統(tǒng)設(shè)計(jì)中,采用了YOLOv2模型進(jìn)行目標(biāo)檢測(cè)。當(dāng)系統(tǒng)開(kāi)始工作,攝像頭采集一幀圖像傳輸?shù)街骺匦酒M(jìn)行處理,主控采用YOLO算法對(duì)圖像進(jìn)行目標(biāo)檢測(cè)得到目標(biāo)位置和置信度。若在人行橫道模式下檢測(cè)到有行人闖紅燈,或者在非人行橫道模式檢測(cè)到車輛和行人同時(shí)出現(xiàn),就立即進(jìn)行語(yǔ)音燈光警告并繼續(xù)采集下一幀圖像,否則先關(guān)閉語(yǔ)音燈光警告繼續(xù)采集下一幀圖像進(jìn)行目標(biāo)檢測(cè)。
3.4" 系統(tǒng)保護(hù)
行人過(guò)街安全警示系統(tǒng)安裝在戶外,當(dāng)系統(tǒng)出現(xiàn)故障或死鎖等問(wèn)題需要重啟系統(tǒng)時(shí),手動(dòng)重啟就會(huì)非常不便且困難。因此為了防止出現(xiàn)故障,采用看門狗來(lái)保護(hù)系統(tǒng)。看門狗[11](watchdog)是一種硬件或軟件設(shè)備,用于監(jiān)視計(jì)算機(jī)系統(tǒng)或嵌入式設(shè)備的運(yùn)行狀況,以確保其正常工作。它可以在系統(tǒng)停止響應(yīng)或發(fā)生故障時(shí)自動(dòng)重啟系統(tǒng),從而提高系統(tǒng)的穩(wěn)定性和可靠性。系統(tǒng)啟動(dòng)后,初始化看門狗并設(shè)置喂狗時(shí)間為10秒,然后每過(guò)10秒都要進(jìn)行一次喂狗,當(dāng)超過(guò)設(shè)置時(shí)間沒(méi)有進(jìn)行喂狗時(shí),判定系統(tǒng)出現(xiàn)故障,對(duì)系統(tǒng)進(jìn)行重新啟動(dòng)操作。
4" 系統(tǒng)測(cè)試
4.1" 目標(biāo)識(shí)別測(cè)試
從數(shù)據(jù)集中隨機(jī)選擇100張含有行人、綠燈、紅燈、車輛和人行道的圖像進(jìn)行測(cè)試。為了更全面地測(cè)試系統(tǒng)的性能,這些圖像既包含正常情況下的交通場(chǎng)景,也包含一些異常情況,例如天氣惡劣、光線不足等情況。通過(guò)對(duì)行人、綠燈、紅燈、車輛和人行道100份的數(shù)據(jù)測(cè)試,得出了系統(tǒng)的識(shí)別準(zhǔn)確率。
測(cè)試結(jié)果如表1所示,在正常情況下的交通場(chǎng)景下,系統(tǒng)的平均準(zhǔn)確率為92%,識(shí)別率較高。同時(shí)還分析了系統(tǒng)在檢測(cè)速度和穩(wěn)定性方面的表現(xiàn),通過(guò)計(jì)算處理一張圖片需要的時(shí)間得到該系統(tǒng)的幀率,結(jié)果顯示系統(tǒng)的檢測(cè)速度平均為12幀/秒,檢測(cè)速度能夠達(dá)到要求。在穩(wěn)定性上,讓系統(tǒng)檢測(cè)大量復(fù)雜場(chǎng)景和長(zhǎng)時(shí)間進(jìn)行檢測(cè),雖然系統(tǒng)發(fā)熱量較大但仍然具有較好的穩(wěn)定性,基本沒(méi)有出現(xiàn)系統(tǒng)崩潰或死機(jī)等異常情況。
4.2" 燈光預(yù)警測(cè)試
在進(jìn)行燈光預(yù)警測(cè)試時(shí),選取50份行人闖紅燈的圖片和50份車輛與行人同時(shí)出現(xiàn)的圖片進(jìn)行測(cè)試。通過(guò)計(jì)算預(yù)警成功次數(shù)得出如表2所示結(jié)果。根據(jù)測(cè)試結(jié)果,該系統(tǒng)預(yù)警平均預(yù)警成功率為95%,響應(yīng)時(shí)間為100 ms,預(yù)警成功率高,響應(yīng)快。
5" 結(jié)" 論
在城市化進(jìn)程不斷推進(jìn)的今天,行人過(guò)街安全保障是城市道路交通優(yōu)化的重要組成部分,確保行人安全和提升交叉口通行效率已經(jīng)成為一個(gè)突出的社會(huì)問(wèn)題。在智慧城市建設(shè)的背景下,需要開(kāi)發(fā)一種非接觸、安全、高效、智能化的行人過(guò)街需求檢測(cè)裝置,以滿足實(shí)際需求。
本次的研究主要設(shè)計(jì)了一款緊湊小巧、易安裝的具有實(shí)時(shí)檢測(cè)行人過(guò)街行為以及車輛往來(lái)的裝置。設(shè)計(jì)提供了一個(gè)邊緣AI應(yīng)用的硬件平臺(tái),以實(shí)現(xiàn)道路上行人和車輛的智能監(jiān)控和警示。相比傳統(tǒng)的視頻監(jiān)控系統(tǒng),它能夠?qū)崿F(xiàn)更快速、更準(zhǔn)確的目標(biāo)檢測(cè)并進(jìn)行預(yù)警,并通過(guò)硬件AI加速提高了檢測(cè)效率和能耗效率。該設(shè)計(jì)的應(yīng)用前景非常廣闊,可以應(yīng)用在城市交通管理、學(xué)校校園等領(lǐng)域,為人們的生活帶來(lái)更多便利和安全。
參考文獻(xiàn):
[1] 尹巖,馬社強(qiáng).過(guò)街行人的交通特性及對(duì)策研究 [J].交通科技與經(jīng)濟(jì),2013,15(6):18-22+26.
[2] 何永明,尚慶鵬,王爽.城市行人過(guò)街交通安全警示系統(tǒng)研究 [J].交通科技與經(jīng)濟(jì),2018,20(4):9-12.
[3] 何賞璐,鄭長(zhǎng)江,過(guò)秀成,等. 路段感應(yīng)式信號(hào)控制行人過(guò)街系統(tǒng)設(shè)計(jì) [J]. 交通信息與安全,2012,30(3): 110-113+117.
[4] 翟良貴,丁靖艷,章金根. 行人過(guò)街特征分析及自我保護(hù)對(duì)策 [J]. 遼寧警專學(xué)報(bào),2004(4):61-63.
[5] 上海警方啟用全國(guó)首套新型人過(guò)街提示系統(tǒng) [J].上海安全生產(chǎn),2018(11):19-20
[6] 山東創(chuàng)安交通預(yù)警工程有限公司.智慧斑馬線裝置:CN202220366585.9[P]. 2022-06-21.
[7] 呂軒軒.基于監(jiān)控視頻的訓(xùn)練數(shù)據(jù)集標(biāo)注方法研究 [D].東營(yíng):中國(guó)石油大學(xué)(華東),2019.
[8] 李蔣.基于深度學(xué)習(xí)PyTorch框架下YOLOv3的交通信號(hào)燈檢測(cè) [J].汽車電器,2022(6):4-7.
[9] 高明宇,倪海明,張博洋,等.一種基于GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的木節(jié)缺陷識(shí)別方法 [J].森林工程,2021,37(4):66-70.
[10] 朱豪,周順勇,劉學(xué),等.基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)算法綜述 [J].工業(yè)控制計(jì)算機(jī),2023,36(4):101-103.
[11] 劉宵辰,趙剛,劉衛(wèi)華.一種嵌入式計(jì)算機(jī)系統(tǒng)的看門狗設(shè)計(jì) [J].山西電子技術(shù),2021(1):32-33.
作者簡(jiǎn)介:姜輝(1987—),男,漢族,湖南張家界人,實(shí)驗(yàn)師,碩士,研究方向:圖像處理、物聯(lián)網(wǎng)、智能控制;通訊作者:李珊(1986—),女,漢族,河北邯鄲人,實(shí)驗(yàn)師,碩士,研究方向:模式識(shí)別、智能控制。