“云端+深度學習”模式下的多傳感器協(xié)同控制車燈系統(tǒng)

鄒睿婕 王憲彬 趙宏達 常皓宇 焦 健

（東北林業(yè)大學，黑龍江 哈爾濱 150040）

0 引言

據(jù)公安部統(tǒng)計數(shù)據(jù)顯示，有40%以上的交通事故是由駕駛人濫用遠光燈引起的。當夜間行駛時，由于駕駛人不能及時切換汽車遠近光燈，在視覺上使對向駕駛人瞬間致盲，周圍行人的觀察能力下降，從而引發(fā)交通事故，且當夜間行車時，后車往往難以判斷前車的行車意圖，也易引發(fā)交通事故。隨著技術的發(fā)展，為減少夜間車輛事故的發(fā)生，融合LED 光源的汽車前照燈開始朝著智能化、多樣化的方向發(fā)展，自適應前照燈系統(tǒng)（Adaptive Front-lighting System，AFS）和自適應遠光系統(tǒng)（Adaptive Driving Beam，ADB）先后被提出，但這2 種系統(tǒng)結構較為復雜，設計難度大且制備成本高，市場占比少，無法真正改善大多數(shù)車輛的前照燈眩目問題[1]。該文旨在設計一種基于“互聯(lián)網(wǎng)+”、圖像識別、深度學習和多傳感器協(xié)同的智慧車燈系統(tǒng)，并且使其具備“云端+線下”的雙重工作模式。該智慧車燈系統(tǒng)利用樹莓派和JETSON TX2 NX 開發(fā)板，從多維度出發(fā)，通過多模型、多算法在全過程實現(xiàn)車燈遠近光燈的實時自動切換，同時結合百度AI 平臺與特定傳感器提高車燈自動切換的準確性以及裝置的簡易性，最大程度地保障車輛夜間行駛的安全。

1 智慧車燈系統(tǒng)設計

1.1 智慧車燈系統(tǒng)工作原理

智慧車燈系統(tǒng)以“云端+深度學習”相結合的方式采集道路車輛數(shù)目、車輛距離以及道路情況，并對采集到的信息進行處理，根據(jù)車燈的實時狀態(tài)判斷車燈是否需要進行切換。該系統(tǒng)的工作原理為信息采集模塊采集道路車輛信息，從而將信息傳遞給信息處理模塊，信息處理模塊對車燈進行控制，同時在車內OLED 顯示屏上顯示車燈當前狀態(tài)并進行語音播報，以提示駕駛人，駕駛人可根據(jù)需要選擇是否轉換為自動調節(jié)模式。智慧車燈系統(tǒng)的工作原理圖如圖1 所示。

1.1.1 云端控制模式

智慧車燈系統(tǒng)的控制模式包括云端控制模式和離線控制模式，離線控制模式主要基于“深度學習”技術來實現(xiàn)。

云端控制模式利用樹莓派進行控制，主要包括車輛識別部分、車燈控制部分和數(shù)據(jù)傳輸部分3 個部分，其整體工作流程如圖2 所示。

在車輛識別部分，首先，百度AI 借助車輛識別應用服務的權限認證，使樹莓派與百度AI 服務器之間可以順利通信。其次，利用cv2 庫中的函數(shù)截取攝像頭捕獲的圖片，將圖片保存在文件夾中并上傳百度AI 進行識別處理。最后，接收百度AI 返回的數(shù)據(jù)，并從中提取圖片中車輛的數(shù)目以及與本車輛距離最近的車輛在圖片中的位置信息。

在車燈控制部分，要獲取前方車輛的數(shù)目。當車輛數(shù)目大于或等于3 時，表明此時車輛較多，來回調節(jié)遠近光燈可能會對其他駕駛員產生影響，因此應將車燈亮度值調至近光燈亮度值，并保持不變；當車輛數(shù)目小于3 時，在符合使用遠光燈的道路條件下，將車燈亮度值調至遠光燈亮度值，但當兩車會車時，考慮在遠近光燈進行切換的過程中，車燈亮度的突變會造成對向車輛駕駛員的不適，因此，在該部分應根據(jù)本車與會車車輛的距離調節(jié)燈光亮度。車燈控制部分流程圖如圖3所示，即將車燈亮度值漸變?yōu)榻鉄袅炼戎?。?shù)據(jù)傳輸部分主要是將此時的亮度值傳輸給STM32 開發(fā)板。直接調節(jié)的亮度值可直接傳輸，漸變的亮度值則隨距離變化不斷傳輸。

圖3 車燈控制部分流程圖

1.1.2 離線控制模式

智慧車燈系統(tǒng)離線控制模式主要基于識別的路況進行車燈變換并對駕駛人進行提示，也可以根據(jù)駕駛人需要進行手動調節(jié)。

路況識別部分采用光敏電阻模塊、攝像頭、超聲波模塊、加速度計和陀螺儀檢測路況。第一步，檢測系統(tǒng)是否使用自動調節(jié)功能，當通過按鍵切換為自動調節(jié)時，燈光亮度的判斷須根據(jù)各個傳感器。第二步，采用光敏電阻模塊識別環(huán)境亮度，當環(huán)境亮度較亮時，關閉車燈；當環(huán)境亮度適中時，開啟近光燈；當環(huán)境亮度較暗時，先開啟近光燈，然后進一步確認燈光。第三步，當光線較暗時，通過攝像頭（車輛識別部分）識別前方是否有車輛，有車輛可選擇直接變換為近光燈或漸變?yōu)榻鉄?，無車輛時須進一步判斷車燈狀態(tài)。第四步，如果前方無車輛，可通過超聲波模塊檢測前方是否有障礙物，前方有障礙物可切換為近光燈，前方無障礙物就須進一步確定燈光。第五步，如果前方無障礙物，那么可利用加速度計和陀螺儀來判斷是否有坡道，有坡道須開啟信號燈（遠近光燈交替變化），無坡道且前方道路平坦須切換為遠光燈。當切換手動或自動控制燈光和車燈自動變換時，該系統(tǒng)都會有語音提示。

車輛識別部分在雙目相機采集圖像信息的同時進行測距。由三角形相似定律可知雙目相機的測距方法，雙目相機成像原理如圖4 所示。

圖4 雙目相機成像原理

由上述內容可得到公式（1）。

式中：x、y和z為物體的坐標值；xr、yr、xl和yl分別為P 的成像點在左右相機像素點的對應位置；f為相機焦距；b為左右相機基線。

由公式（1）可得到公式（2）。

式中：d為視差，即同一個空間點在兩個相機成像中對應的x坐標的差值。

通過相機焦距f可以得到空間點p離相機的距離；通過編碼成灰度圖可反映距離鏡頭的遠近，離鏡頭越近，灰度越亮。

由圖5 可知，如果兩個相機已經校正完成，即達到極線平行，兩條光軸方向也平行，那么視差和物體深度的關系式如公式（3）所示。

圖5 雙目相機測距原理

式中：b為雙目相機基線；XR、XT為P1、P2兩個成像點在左右兩個像面上距離圖像左邊緣的距離；Z為物體P在空間中的Z軸坐標；f為焦距。

由此可推導出公式（4）。

獲得視差d的值就可求待測物體P的深度信息Z[2]。

信息處理模塊是以Yolov5 目標檢測算法處理檢測前方車輛，將RGB 圖與深度圖進行匹配，對滿足閾值條件的目標進行測距與坐標計算的[3]，具體流程如圖6 所示。雙目相機在獲取圖像后進行預處理，之后采用已訓練好的數(shù)據(jù)集對車輛進行識別并進行測距。

圖6 算法流程

在計算得到目標車輛的位置信息后，車燈控制模比對接收的信息，判斷目前距離是否滿足燈光切換要求。如果條件滿足，就傳遞信號至電路控制處切換電路，調節(jié)遠近光燈；如果未達到理想車距，就保持車燈原狀態(tài)不變?；凇吧疃葘W習”這一技術對車燈進行的離線控制模式流程圖如圖7 所示。雙目相機持續(xù)獲得圖像，并判斷前方是否有車輛，如果檢測到前方有車輛，就開始測距，同時傳遞位置信息至處理器，進而對遠近光燈進行控制。除此之外，雙目相機獲得的圖像還可檢測前方是否有行人并根據(jù)檢測結果進行語音提示。

圖7 車燈控制流程圖

2 智慧車燈系統(tǒng)內容

智慧車燈總體系統(tǒng)可分為環(huán)境感知系統(tǒng)、數(shù)據(jù)處理系統(tǒng)、決策系統(tǒng)、車燈控制系統(tǒng)和人機交互系統(tǒng)5 個子系統(tǒng)。該系統(tǒng)利用STM32、樹莓派和JETSON TX2 NX 開發(fā)板實現(xiàn)對車燈遠近光燈在線、離線2 種模式進行控制，這2 種模式的結合可以提高車燈切換的準確度與可靠度。智慧車燈系統(tǒng)5 個子系統(tǒng)的具體內容如下。

2.1 環(huán)境感知系統(tǒng)

光敏電阻模塊、攝像頭、超聲波傳感器、加速度計和陀螺儀多種傳感器相結合可以判斷復雜路況；同時，基于雙目相機的立體視覺既擁有單目視覺識別優(yōu)勢，又具有激光雷達的點云測距優(yōu)點，因此在該部分可以使用雙目相機檢測前方車輛和測量距離，并將采集到的圖片信息傳遞至信息處理模塊。

2.2 數(shù)據(jù)處理系統(tǒng)

在線控制部分將圖片信息上傳至百度AI 平臺進行處理，提取車輛數(shù)量信息并且判斷、框選距離本車最近的車輛；離線控制部分通過Yolov5 目標檢測算法對目標車輛進行測距和坐標計算[4]。

2.3 決策系統(tǒng)

決策系統(tǒng)是智慧車燈系統(tǒng)的核心系統(tǒng)之一，可以對數(shù)據(jù)進行處理判斷，對車燈的變化情況進行決策。該部分使用STM32 開發(fā)板，判斷決策數(shù)據(jù)處理系統(tǒng)傳遞的信息并綜合在線控制模式和離線控制模式的信息，最終選擇最佳方式對車燈進行調節(jié)。

2.4 車燈控制系統(tǒng)

車燈控制系統(tǒng)主要接收決策系統(tǒng)傳輸?shù)臄?shù)據(jù)，環(huán)境光強檢測模塊采用由光敏電阻構成的環(huán)境光強檢測電路。當光敏電阻檢測到光線的變化時，可以使切換電路，開啟車輛前照燈，同時啟動車燈自動控制模塊，根據(jù)決策系統(tǒng)傳遞的車燈控制信號對遠近光燈進行自動切換，在特殊道路條件下，駕駛人可根據(jù)自身情況選擇開啟或關閉車燈自動控制功能[5]。

2.5 人機交互系統(tǒng)

人機交互系統(tǒng)可以及時將此時車燈的燈光狀態(tài)或建議的燈光狀態(tài)反饋給駕駛人；駕駛人也可以使用按鍵隨時開啟或關閉燈光自動控制功能。人機交互系統(tǒng)分為語音提示模塊、液晶顯示模塊和主動按鍵自由控制模塊。

語音提示模塊提示駕駛人當前是否啟用自動調節(jié)功能、當前的路況和此時的車燈狀態(tài)。例如當攝像頭檢測到有對向來車時，語音提示模塊進行提示“前方有車輛，漸變至近光燈”。

液晶顯示模塊提醒駕駛人當前的車燈狀態(tài)和一些環(huán)境參數(shù)，同時顯示當前的車燈控制狀態(tài)為自動控制或手動控制。

在主動按鍵自由控制模塊中，系統(tǒng)默認開啟自動調節(jié)燈光功能，由一號按鍵（開啟遠光燈）、二號按鍵（開啟近光燈）和三號按鍵（開啟自動調節(jié)燈光功能或關閉該功能）3 個按鍵構成，可供駕駛人自主選擇。

智慧車燈系統(tǒng)總體設計如圖8 所示。

圖8 智慧車燈系統(tǒng)總體設計

3 智慧車燈系統(tǒng)設計路線

該文設計積極響應我國“交通強國”的戰(zhàn)略需要，從智能化、數(shù)字化和信息化方面開展創(chuàng)新性設計研究，結合互聯(lián)網(wǎng)、深度學習等技術完善現(xiàn)有的車燈系統(tǒng)，建立智慧車燈系統(tǒng)，助力智慧交通的發(fā)展。其中，信息采集模塊是車燈遠近光燈得以自動切換的基礎，需要攝像頭和雙目相機采集前方道路信息，以傳遞正確的指令；信息處理模塊，即決策系統(tǒng)，是智慧車燈系統(tǒng)的核心系統(tǒng)之一，該系統(tǒng)在結合百度AI 平臺檢測前方道路情況的過程中，需要及時獲取返回的信息并進行計算，最終實現(xiàn)對車燈的控制。人機交互系統(tǒng)中設置按鍵以及顯示屏，用戶可以通過按鍵選擇車燈的控制方式，通過顯示屏得知車燈狀態(tài)與控制方式，實現(xiàn)人機的交互。除此之外，該系統(tǒng)還使用JETSON TX2 NX 開發(fā)板建立模型輔助控制車燈，實現(xiàn)云端控制和離線控制的結合，以提高車燈切換的準確性。

4 結語

智慧車燈系統(tǒng)的設計可以實現(xiàn)車燈遠近光燈的漸變切換，不僅可以避免車輛夜間行駛會車時出現(xiàn)的眩光問題，還可以緩解直接切換遠近光燈時燈光亮度突然變化而使司機致盲的問題，極大程度上提高了車輛夜間行駛的安全性；車燈也可根據(jù)路況信息進行燈光實時調節(jié)，駕駛人不用頻繁操作燈光變換，避免了駕駛人的注意力分散。同時，在線和離線兩種控制模式的結合提高了車燈切換的準確性和可靠性并且駕駛人可自行選擇控制模式，有利于人機交互。該設計不僅積極響應我國“交通強國”的戰(zhàn)略需要，還能有效推進車輛本質安全化的實現(xiàn)，可以在一定程度上避免燈光資源的浪費，有利于節(jié)能減排。