智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)設(shè)計(jì)

謝君婷 張欽超 廖克志 常旭東

摘? 要：為減少交通事故的發(fā)生，輔助駕駛?cè)耸孢m安全地行車，文章設(shè)計(jì)了一套基于AIot技術(shù)的智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)。該系統(tǒng)包括智能車載軟件輔助駕駛和車內(nèi)硬件輔助系統(tǒng)兩大部分，可對車內(nèi)硬件進(jìn)行遠(yuǎn)程操控以及查看當(dāng)前車內(nèi)環(huán)境數(shù)據(jù)。同時(shí)，系統(tǒng)實(shí)時(shí)檢測駕駛員疲勞狀況為危險(xiǎn)情況做預(yù)警，為用戶在行車過程中提供更加安全舒適的環(huán)境。

關(guān)鍵詞：物聯(lián)網(wǎng)；車載輔助；人臉疲勞

中圖分類號(hào)：TP27 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）02-0153-04

Design of Intelligent On-board Networking Assisted Driving System

XIE Junting， ZHANG Qinchao， LIAO Kezhi， CHANG Xudong

（School of Computer Science and Information Security， Guilin University of Electronic Technology， Guilin? 541004， China）

Abstract： In order to reduce the occurrence of traffic accidents and assist drivers to drive comfortably and safely， this paper designs a set of intelligent on-board networking assisted driving system based on AIot technology. The system includes intelligent on-board software assisted driving and in-car hardware assisted system， which can remotely control the in-car hardware and view the current in-car environment data. At the same time， the system detects the driver's fatigue status in real time to give early warning for dangerous situations， so as to provide users with a safer and more comfortable environment during driving.

Keywords： Internet of Things; on-board assistance; face fatigue

0? 引? 言

隨著私家車數(shù)量的飛速增長，行車安全受到越來越多人的重視。在汽車行駛過程中，往往因?yàn)榫岂{、疲勞駕駛、疾病突發(fā)、未注意路面情況等問題引發(fā)不可挽回的悲劇[1]。

針對上述問題，本文設(shè)計(jì)了一套基于AloT技術(shù)的智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)，使駕駛員主動(dòng)避免交通事故的發(fā)生的汽車安全系統(tǒng)。系統(tǒng)搭載傳感器、控制器、執(zhí)行器等裝置，融合現(xiàn)代通信與網(wǎng)絡(luò)技術(shù)，實(shí)現(xiàn)車與X（人、車、路、后臺(tái)等）的智能信息交換共享，具備復(fù)雜的環(huán)境感知、智能決策、協(xié)同控制和執(zhí)行等功能。系統(tǒng)利用安裝于車上的攝像頭、雷達(dá)、激光和超聲波等傳感器，收集車內(nèi)外的環(huán)境數(shù)據(jù)，進(jìn)行靜、動(dòng)態(tài)物體的辨識(shí)、偵測與追蹤等技術(shù)上的處理，從而能夠讓駕駛者在最快的時(shí)間察覺可能發(fā)生的危險(xiǎn)，以引起注意和提高安全性的主動(dòng)安全技術(shù)。同時(shí)，本系統(tǒng)還基于安卓開發(fā)了專門的手機(jī)APP，在參照先進(jìn)駕駛輔助系統(tǒng)設(shè)計(jì)[2]的同時(shí)實(shí)現(xiàn)車聯(lián)網(wǎng)技術(shù)，傳感器通過無線連接，手機(jī)APP接收到車內(nèi)環(huán)境信息后可以自動(dòng)進(jìn)行調(diào)控，為用戶提供舒適的行車環(huán)境，同時(shí)引進(jìn)AI深度學(xué)習(xí)技術(shù)，對車外以及駕駛員做一些人臉疲勞的檢測，預(yù)判險(xiǎn)情，并可以及時(shí)提供預(yù)警，使用的設(shè)備較少，安裝方便，為用戶在行車過程中提供更加安全舒適的環(huán)境。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環(huán)境，然后決定要采取的操作，保證所有道路使用者的安全。

1? 系統(tǒng)總體框架設(shè)計(jì)

本系統(tǒng)由智能車載軟件輔助駕駛和車內(nèi)硬件輔助系統(tǒng)兩部分共同組成智能自動(dòng)車載聯(lián)網(wǎng)輔助系統(tǒng)，系統(tǒng)總體設(shè)計(jì)框架圖如圖1所示。

（1）利用X86給車載軟件提供可運(yùn)行的平臺(tái)，運(yùn)用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)實(shí)時(shí)對駕駛員人臉疲勞的識(shí)別對危險(xiǎn)做預(yù)警，人臉疲勞的識(shí)別采用科學(xué)的PERCLOS方法中的P80判據(jù)，使用專門的人臉68個(gè)關(guān)鍵點(diǎn)檢測模型庫，通過歐式距離計(jì)算公式分別計(jì)算出P80判據(jù)所需要的兩個(gè)重要參數(shù)EAR和MAR，結(jié)合P80判據(jù)就可以比較準(zhǔn)確的檢測出人臉疲勞狀態(tài)，同時(shí)，系統(tǒng)通過攝像頭對車尾環(huán)境和激光雷達(dá)檢測結(jié)果進(jìn)行實(shí)時(shí)更新，完成智能車載軟件輔助駕駛；

（2）對于車內(nèi)硬件輔助系統(tǒng)，利用ESP8266 Wi-Fi模塊讀取車內(nèi)硬件設(shè)備，并且開發(fā)了專用的APP通過MQTT協(xié)議與ESP8266進(jìn)行通信，MQTT協(xié)議即發(fā)布和訂閱主題的過程，如：ESP8266發(fā)布車內(nèi)溫濕度模塊信息的主題到云端服務(wù)器，由手機(jī)APP訂閱該主題，手機(jī)APP得到該主題信息并顯示出來，就可以在手機(jī)APP上觀測到車內(nèi)溫濕度狀態(tài)數(shù)據(jù)了；手機(jī)APP和ESP8266通過MQTT協(xié)議，實(shí)現(xiàn)了無線遠(yuǎn)程操控車內(nèi)硬件設(shè)備和實(shí)時(shí)顯示車內(nèi)硬件設(shè)備的狀態(tài)，智能小手表輔助駕駛員獲取自身健康信息和有天氣信息為駕駛員出行提供行車參考。

2? 智能車載軟件輔助駕駛系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)方案

2.1? 車載中控軟件的設(shè)計(jì)

本系統(tǒng)宗旨在輔助駕駛?cè)笋{駛機(jī)動(dòng)車，從而實(shí)現(xiàn)更為安全的出行。引進(jìn)現(xiàn)有的計(jì)算機(jī)技術(shù)輔助駕駛?cè)笋{駛機(jī)動(dòng)車顯得尤為重要。車載中控軟件主要搭載在車載的中控系統(tǒng)中，系統(tǒng)連接到硬件層和疲勞檢測算法，監(jiān)測回傳的數(shù)據(jù)，并將結(jié)果展示到軟件界面，給予駕駛?cè)税踩崾?，中控軟件系統(tǒng)框架圖如圖2所示。

（1）行駛：數(shù)據(jù)采集后由英特爾X86平臺(tái)上的Window 10專業(yè)版操作系統(tǒng)接收，進(jìn)行數(shù)據(jù)處理、儲(chǔ)存以及通過圖形化界面與語音提示呈現(xiàn)給用戶。在跑圖像處理算法的同時(shí)在軟件上實(shí)時(shí)顯示車輛行駛情況，實(shí)時(shí)輔助駕駛員駕駛。

（2）影音：此系統(tǒng)同時(shí)向用戶提供媒體功能，包括播放本地的視頻與音樂，和其他功能同時(shí)進(jìn)行，互不干預(yù)，多媒體功能是針對司機(jī)在悠閑時(shí)間可以娛樂放松一下。

（3）主界面：主界面主要由倒車?yán)走_(dá)檢測結(jié)果顯示板塊、疲勞檢測結(jié)果展示板塊和動(dòng)態(tài)畫面顯示板塊組成。倒車：當(dāng)駕駛員進(jìn)行倒車操作時(shí)，軟件會(huì)自動(dòng)切換到該界面，并且打開尾倒車攝像頭，把攝像頭捕捉到的畫面在動(dòng)態(tài)畫面展示板塊展示出來，倒車?yán)走_(dá)檢測到的障礙物位置也將實(shí)時(shí)展示在倒車?yán)走_(dá)檢測結(jié)果顯示板塊，實(shí)現(xiàn)盲區(qū)檢測的效果。疲勞檢測結(jié)果展示：動(dòng)態(tài)畫面顯示板塊可以在車尾攝像頭畫面和人臉疲勞檢測畫面之間任意切換，同時(shí)疲勞檢測結(jié)果展示板塊會(huì)實(shí)時(shí)將檢測結(jié)果以文字的形式展現(xiàn)出來，以此提示司機(jī)注意休息，提高行車安全。

（4）語音/彈窗警告提示：軟件提供語音提示和彈窗警告服務(wù)，其中主要是疲勞檢測結(jié)果的提示和酒精濃度檢測的提示。當(dāng)人臉疲勞檢測算法檢測到司機(jī)已經(jīng)疲勞駕駛或者酒精濃度過高時(shí)，軟件將彈出警告，并且伴隨語音提示。通過酒精濃度檢測模塊檢測司機(jī)呼氣的酒精濃度大于或者等于20 mg/100 ml，小于80 mg/ml則為酒駕，中控板發(fā)出警報(bào)聲；若檢測到的酒精濃度大于80 mg/ml則為醉駕，中控板發(fā)出嚴(yán)重警告聲。

2.2? 駕駛員人臉疲勞的算法

本系統(tǒng)選取目前公認(rèn)有效的PERCOLS疲勞程度評價(jià)指標(biāo)，即通過閉眼幀在連續(xù)N幀內(nèi)所占的時(shí)間比例來分析疲勞狀態(tài)，PERCLOS是指眼睛閉合時(shí)間占某一特定時(shí)間的百分率。PERCLOS方法有P70、P80和EM三種判定標(biāo)準(zhǔn)[3]。研究表明P80與疲勞程度間具有最好的相關(guān)性。對駕駛員疲勞的判定會(huì)因錯(cuò)誤檢查帶來不良影響，通過PERCLOS、眼睛閉合時(shí)間、眼睛眨眼頻率、嘴巴張開程度，進(jìn)行疲勞程度的綜合判定，可以準(zhǔn)確、有效地進(jìn)行駕駛員疲勞的檢測?！把劬v向比EAR”和“嘴巴縱向比MAR”則是判斷眼睛眨眼、嘴巴張開的重要依據(jù)。算法參照以下兩點(diǎn)進(jìn)行設(shè)計(jì)：

（1）根據(jù)人臉關(guān)鍵點(diǎn)檢測模型庫，系統(tǒng)檢測出人臉68個(gè)關(guān)鍵點(diǎn)，這68個(gè)關(guān)鍵點(diǎn)為后面計(jì)算疲勞判斷依據(jù)提供科學(xué)的依據(jù)，如圖3所示。

（2）駕駛疲勞依據(jù)P80做人臉疲勞判斷。P80指眼瞼遮住瞳孔的面積超過80%就計(jì)為眼睛閉合[4]。本文利用歐式距離分別計(jì)算出EAR和MAR。人在清醒的狀態(tài)下眨眼頻率約為10～20次/min，當(dāng)處于疲勞狀態(tài)時(shí)眨眼的頻率將提高約64%，故設(shè)置當(dāng)每分鐘眨眼次數(shù)大于20時(shí)則認(rèn)為駕駛?cè)颂幱谄隈{駛狀態(tài)[4]。由于目前沒有統(tǒng)一的嘴巴開度閾值檢測實(shí)驗(yàn)，取MAR的閾值為0.75，當(dāng)MAR＞0.75時(shí)即認(rèn)為打哈欠一次，當(dāng)每分鐘內(nèi)打哈欠次數(shù)達(dá)到3次即判斷為疲勞駕駛狀態(tài)[5-9]。駕駛疲勞檢測為駕駛員的人身安全提供了保障。

2.3? 專用手機(jī)APP

本系統(tǒng)旨在為用戶行車舒適安全提供輔助便利，可以無線控制并觀察車內(nèi)車內(nèi)環(huán)境也為我們行車便利提供了幫助。使用MQTT通信協(xié)議[10]，可以方便快捷低功耗低成本穩(wěn)定的建立手機(jī)APP與車內(nèi)傳感器之間的聯(lián)系，使用開發(fā)本車載輔助系統(tǒng)的專用APP，具體設(shè)計(jì)框圖如圖4所示，待ESP8266 Wi-Fi模塊通過MQTT協(xié)議將數(shù)據(jù)傳輸至云端服務(wù)器[11]后，用戶可在專用APP上查看車輛狀況與車內(nèi)人員狀況的各項(xiàng)指標(biāo)，并且可以通過此APP對車內(nèi)硬件設(shè)備進(jìn)行調(diào)控。實(shí)現(xiàn)各傳感器、車與用戶手機(jī)之間的通信。車內(nèi)硬件設(shè)備有溫濕度傳感器DHT11，火焰檢測傳感器，酒精檢測傳感器，照明小燈等傳感器設(shè)備。同時(shí)，使用SQLite數(shù)據(jù)庫儲(chǔ)存用戶信息，此外，該手機(jī)APP使用個(gè)性化設(shè)計(jì)，界面簡潔明了，字體采用漢儀樂喵字體是手機(jī)APP更加可愛明動(dòng)，更加人性化，一定程度上滿足了用戶的審美需求。

3? 系統(tǒng)測試結(jié)果

3.1? 車載中控軟件自定義設(shè)置界面

在用戶打開中控顯示界面時(shí)，首先呈現(xiàn)給用戶的是首頁與底部導(dǎo)航欄，底部導(dǎo)航欄采用固定方式，不管用戶切換到哪個(gè)頁面，都可以通過底部導(dǎo)航欄切換界面。自定義設(shè)置主要包括四個(gè)分區(qū)：語音提示、攝像頭設(shè)置、圖像顯示設(shè)置和常規(guī)設(shè)置。自定義設(shè)置界面如圖5所示，在各個(gè)分區(qū)里面可以按照自己的需求進(jìn)行自主設(shè)置。此處可靈活切換車載軟件的模式。

3.2? 行車界面

行車界面我們向用戶提供了車輛前方畫面，在行使過程中駕駛?cè)藛T可以通過這個(gè)界面獲取車輛前方信息，同時(shí)在此進(jìn)行前車的圖像檢測并實(shí)時(shí)顯示處理結(jié)果。傳回的圖像沒有過度的延時(shí)，實(shí)時(shí)性好，行車界面如圖6所示，顯示通過激光雷達(dá)獲取的前方距離數(shù)據(jù)，通過圖形化界面結(jié)合語音提示將前方障礙物呈現(xiàn)給用戶，達(dá)到預(yù)碰撞的要求。

3.3? 人臉疲勞檢測測試

用OpenCV計(jì)算機(jī)視覺庫調(diào)用攝像頭及視頻數(shù)據(jù)進(jìn)行圖像的預(yù)處理，使用Python編寫代碼利用官方提供的人臉68個(gè)關(guān)鍵點(diǎn)檢測的DAT模型庫.使用這個(gè)模型庫可以很方便地以及準(zhǔn)確地對人臉進(jìn)行檢測，并及時(shí)的作語音及其他提示警告，如圖7所示。

4? 結(jié)? 論

隨著私家車數(shù)量的飛速增長，在這樣一個(gè)用戶基數(shù)下，如果有一套能使駕駛員主動(dòng)避免交通事故的發(fā)生的汽車安全系統(tǒng)，為用戶在行車過程中提供更加安全舒適的環(huán)境。那么是非常貼合人們的需求的。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環(huán)境，然后決定要采取的操作，保證所有道路使用者的安全。

本文設(shè)計(jì)出了一套基于物聯(lián)網(wǎng)的智能自動(dòng)車載輔助駕駛系統(tǒng)，主要由兩大子系統(tǒng)組成：安全監(jiān)護(hù)系統(tǒng)和輔助駕駛系統(tǒng)，兩大子系統(tǒng)和客戶端組合，讓司機(jī)駕駛時(shí)更加安全，更容易。隨著互聯(lián)網(wǎng)技術(shù)的飛快發(fā)展，以及人們對駕駛安全需求的日益增加，智能車載輔助系統(tǒng)將進(jìn)一步擴(kuò)大使用比例。當(dāng)前版本硬件結(jié)構(gòu)較為簡單，如盲區(qū)檢測，檢測點(diǎn)太少，出于環(huán)境安全考慮，可采用激光雷達(dá)檢測周圍車輛，而且當(dāng)前程序可能存在設(shè)計(jì)缺陷，還有待進(jìn)一步改進(jìn)和完善。

參考文獻(xiàn)：

[1] 范延軍.基于機(jī)器視覺的先進(jìn)輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究 [D].南京：東南大學(xué)，2016.

[2] 趙徹.基于機(jī)器視覺的汽車駕駛輔助系統(tǒng)研究 [D].長春：長春理工大學(xué)，2014.

[3] 李小平，白超.基于深度學(xué)習(xí)的司機(jī)疲勞駕駛檢測方法研究 [J].鐵道學(xué)報(bào)，2021，43（6）：78-87.

[4] 汪洪濤，謝牡丹，潘昊.基于面部特征的疲勞駕駛檢測方法研究 [J].武漢理工大學(xué)學(xué)報(bào)：交通科學(xué)與工程版，2021，45（5）：851-856+862.

[5] 朱名流，李頂根.基于人臉特征點(diǎn)的疲勞檢測方法研究 [J].計(jì)算機(jī)應(yīng)用研究，2020，37（S2）：305-307.

[6] 趙強(qiáng)，王瑞，朱寶全，等.基于機(jī)器視覺的車道線檢測研究進(jìn)展綜述 [J].計(jì)算技術(shù)與自動(dòng)化，2022，41（1）：3440.

[7] 高揚(yáng)，王晨，李昭健.基于深度學(xué)習(xí)的無人駕駛汽車車道線檢測方法 [J].科學(xué)技術(shù)與工程，2021，21（24）：10401-10406.

[8] 劉源.基于車載視覺的行人檢測及行為識(shí)別 [D].成都：電子科技大學(xué)，2019.

[9] 石英，羅佳齊，李振威.一種基于改進(jìn)YOLOv2的無人駕駛中行人檢測方法：CN108985186B [P].2022-03-01.

[10] 吳俊輝，吳桂初，陳沖，等.基于MQTT協(xié)議的物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)計(jì) [J].溫州大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，40（4）：54-61.

[11] 張哲，孫濤，白蒴，等.基于安卓平臺(tái)的物聯(lián)網(wǎng)平臺(tái)的研究與實(shí)現(xiàn) [J].黑龍江科技信息，2014（7）：159-159.

作者簡介：謝君婷（2002—），女，漢族，廣西玉林人，本科在讀，研究方向：嵌入式軟件。

收稿日期：2022-09-06

基金項(xiàng)目：廣西大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃立項(xiàng)項(xiàng)目（202110595168）