基于機器視覺技術(shù)的車主交互位置推介系統(tǒng)研究及應(yīng)用

鄒江華 劉杰豐 姜德宏 武英杰

（1.招商華軟信息有限公司 廣東省廣州市 510640 2.招商局公路網(wǎng)絡(luò)科技控股股份有限公司 北京市 100071）

1 背景

目前，全國各省高速公路仍主要采用ETC和MTC這兩種收費方式，當(dāng)中ETC在撤站過程中已得到長足發(fā)展，而MTC在智能化水平上仍相較落后。隨著高速公路智慧收費的快速發(fā)展，具備“無人化、非現(xiàn)金、快速通行”的自助收費車道備受業(yè)主和車主青睞。但是目前所建的大部分自助收費車道，基本可劃分為兩大類：客車專道和全車型車道。前者只服務(wù)于客車交易，一般應(yīng)用在如機場高速等特殊路段；后者則可支持全車型，但是目前在機器上基本都需要設(shè)置兩個工位，但是這些工位只能固定設(shè)置，導(dǎo)致存在相同車型車主由于工位交互位置不佳且無法調(diào)適而需要車主解下安全帶或開車門后進行操作，既影響現(xiàn)場過車速度，也造成不好的服務(wù)體驗。為提高自助車道的應(yīng)用優(yōu)勢，提升過車速度，減少現(xiàn)場人員干預(yù)，加強車主交互體驗，有必要通過更強的自適應(yīng)控制能力來提高車主交互位置的準(zhǔn)確捕抓和推薦。隨著AI智能圖像識別技術(shù)的快速發(fā)展，基于機器視覺技術(shù)來辨識和提取物體的特征提取已有眾多成功案例。本文提出的基于機器視覺技術(shù)的車主交互位置推介系統(tǒng)，可實現(xiàn)對車道通行車輛的車窗高度等特征信息的精準(zhǔn)識別，助力高速公路無人化、少人化智能收費場景打造。

2 現(xiàn)狀分析

車主交互位置準(zhǔn)確辨識和推薦是高速自助設(shè)備提升車主交互友好性的重要手段之一，即是利用相關(guān)技術(shù)實現(xiàn)對通行車輛及車主交互位置特征的精確提取和準(zhǔn)確識別，從而給出較佳的車主交互位置控制參數(shù)，支撐自助發(fā)卡繳費設(shè)備以此參數(shù)來控制相應(yīng)的交互面板位移。目前，主要采用兩種路線予以實現(xiàn)，包括有：通過車型預(yù)判高度和通過激光檢測高度。前者是利用車型識別器識別車型后，通過模型訓(xùn)練預(yù)判車輛高度；后者則是連續(xù)拍攝車輛圖像，并將車輛圖像的信息數(shù)據(jù)拼接出帶尺寸標(biāo)注的整車圖像，再通過高度測量雷達檢測車輛高度。但是無論是車型預(yù)判，還是雷達檢測都主要側(cè)重于整車身高度，而車身高度又并不完全契合車主最佳交互位置。由此可見，現(xiàn)有技術(shù)未能很好滿足車主交互位置的友好性需要，致使大多數(shù)情況，還是需要收費員介入?yún)f(xié)助車主進行收、取卡。

機器視覺則是通過工業(yè)相機代替人眼去攝取目標(biāo)圖像，再將目標(biāo)圖像傳輸至圖像處理器進行處理，由其根據(jù)成像設(shè)備采集的像素分布、亮度等信息通過形形色色的算法提取出目標(biāo)特征。它是將計算機和圖像處理技術(shù)結(jié)合起來的一門科學(xué)，由于計算機本身具有高速計算能力，也造就當(dāng)下很多機器視覺系統(tǒng)也具有精確性、重復(fù)性、效率高、客觀性等優(yōu)點[1]。

同時，機器視覺相較于光學(xué)或機器傳感而言，在對于客觀世界三維景物和物體的形態(tài)和運動識別，有更好的可適應(yīng)性，也具有精度高、效率高、連續(xù)性好和靈活性高等性能優(yōu)勢。可見，依托領(lǐng)先的機器視覺技術(shù)優(yōu)勢可實現(xiàn)車輛高度特征值提取、特征值辨識等功能，再融合自助發(fā)卡繳費設(shè)備根據(jù)此高度切換收發(fā)卡位置將會成為技術(shù)發(fā)展的新趨勢。[2]

3 系統(tǒng)介紹

車主交互位置推介系統(tǒng)與收費車道車輛全車型高精識別軟硬一體機可共同集成在同一套設(shè)備載體上，主要功能是通過對通行車輛及車主交互位置區(qū)域特征的提取和識別，從而給出較佳的車主交互位置控制參數(shù)，支撐新一代智高速自助設(shè)備可以依據(jù)此參數(shù)來控制相應(yīng)的交互面板位移到車主交互更為舒適的位置上。當(dāng)中，系統(tǒng)內(nèi)含有面向不同類型車輛的車主交互位置特征提取、計算和判別等多種配套AI智能識別算法，也具備計算結(jié)果合適度高、輸出迅速等應(yīng)用優(yōu)點。

3.1 工作原理

車主交互位置推介系統(tǒng)主要是通過圖像抓拍、圖像采集、圖像處理、交互位置區(qū)計算、結(jié)果輸出這幾大步驟來完成整項識別工作（見圖1）。車主交互位置推介系統(tǒng)主要是基于AI智能識別算法實現(xiàn)對圖像的解析、組拼和提取等處理，并且面向不同車輛的外廓特征、不同車主所處位置特征等進行計算、配對、判斷，并最終形成滿足最佳車主交互位置參數(shù)的精確輸出。若圖像處理后無法獲取到車主交互位置推介或交互位置非最佳位置時，則系統(tǒng)可通過車主交互位置推介分類特征及關(guān)系所構(gòu)建的模型庫作為判斷依據(jù)來輔助車主交互位置的研判和修正，從而實現(xiàn)車主最佳交互位置推介結(jié)果的精準(zhǔn)輸出。

圖1：車主交互位置推介流程

3.1.1 圖像抓拍

圖像抓拍模塊主要是指支持通過外接的觸發(fā)源（如地感線圈、電磁等）進行信號條件觸發(fā)，啟動系統(tǒng)的圖像抓拍控制功能，即是實現(xiàn)對相關(guān)的圖像攝像單元對目標(biāo)位置物體進行圖像抓拍；并且支持多次抓拍處理，即是可對一次物體行為進行多張圖像抓拍，以便為后續(xù)的圖像處理提供充足的數(shù)據(jù)源。

3.1.2 圖像采集

圖像采集模塊主要是對圖像抓拍獲得的圖像數(shù)據(jù)進行本地的存儲處理，并且為便于后續(xù)的處理檢索，對這些圖片或圖片集（如觸發(fā)多次抓拍動作）均會作出相應(yīng)的標(biāo)識，以便系統(tǒng)在執(zhí)行相關(guān)的處理任務(wù)時，根據(jù)控制指令迅速定位系統(tǒng)中存儲的待處理對象或?qū)ο蠹?，提高整體的處理效率。

圖像采集過程因圖像噪聲導(dǎo)致圖片質(zhì)量不佳時，需要使用濾波器對圖片進行過濾。濾波器是將圖像信號轉(zhuǎn)換為能量信號，把低能量的噪聲信號過濾掉，從而對圖像中的噪聲進行消除或減弱。[3]

3.1.3 圖像處理

圖像處理一般分為圖像的預(yù)處理和特征信息的提取，車主交互位置推介主要使用的是特征信息的提取。圖像處理是車主最優(yōu)交互位置高精識別及自適應(yīng)控制系統(tǒng)核心功能模塊，當(dāng)中的關(guān)鍵是機器視覺與AI算法的共同應(yīng)用。機器視覺主要是借助計算機技術(shù)模擬人的視覺功能，先是從物理車道上抓拍車輛圖像，再而結(jié)合相關(guān)的特征規(guī)則提取目標(biāo)對象的特征信息，并加以分類；AI算法，則是借助一些智能基礎(chǔ)算法（如神經(jīng)網(wǎng)絡(luò)、卡爾曼濾波等），圍繞計算目標(biāo)（如車輛外形、車主交互位置等）和條件約束（如光照強度、外界環(huán)境的變化、設(shè)備本身的精確程度、異常約束等），先是基于訓(xùn)練樣本量不斷地進行學(xué)習(xí)、訓(xùn)練，形成合適本場景應(yīng)用的算法模型，再而協(xié)同機器視覺和其他處理手段達成最終識別目標(biāo)結(jié)果。

在圖像處理過程中，除了需要充分考慮處理的有效性、準(zhǔn)確性之外?？紤]到現(xiàn)場處理的實時性要求，還要充分研究當(dāng)中的處理速度，希望最終結(jié)果能迅速得到收斂。對此，在研究中除了通過一些計算機手段的配備外（如合適算了的CPU，甚至GPU設(shè)備配置），還會對模型進行充分訓(xùn)練和調(diào)優(yōu)。

（1）圖像解析。圖像解析主要是對目標(biāo)圖像進行解析和結(jié)構(gòu)化處理，當(dāng)中包含有一系列的預(yù)處理過程，如實現(xiàn)對一些噪聲數(shù)據(jù)的識別和處理，包括：拋棄和補充；又如，支持對圖圖組拼中一些邊緣、重疊區(qū)識別和處理。

（2）圖像拼接。圖像拼接主要是針對圖像解析的結(jié)果，考慮到某些場景需要通過連續(xù)多幀圖像來組拼構(gòu)成另外一副圖像的需要，如車身組拼等，支持同一物體、不同圖像，通過銜接、去重等操作，將時間和空間元素關(guān)聯(lián)得出目標(biāo)圖像。無疑組拼技術(shù)是圖像處理中的一項難點，其需要對抓拍圖像頻率、組拼時點設(shè)置和組拼邊界處理等有較高的要求，需要多次的訓(xùn)練方能達成，若有不足，會對組拼圖像的質(zhì)量有較大的影響。

（3）圖像提取。主要是根據(jù)給定的特征對象，基于解析的圖像、組拼的圖像進行全圖、局部的特征檢索，并且對檢索到的特征區(qū)再而進行特征的提取處理，并通過數(shù)字化的方式記錄這些特征提取結(jié)果。相較于車型識別方面的應(yīng)用，本系統(tǒng)算法中的特征不僅涉及車，還涉及一些物體和人像。

3.1.4 交互位置區(qū)計算

交互位置區(qū)計算是根據(jù)車輛上，車主可能選擇的最佳交互位置區(qū)特征評價體系，結(jié)合上述的圖像處理結(jié)果，針對用于研判車主多會選擇的最佳交互位置區(qū)域特征進行搜索，如車門、車窗、車主人像等；再而，進行綜合的分析、研判，鎖定車主交互位置的最佳區(qū)域（如高度等），并通過數(shù)據(jù)的方式借助結(jié)果輸出模塊進行輸出處理。另外，考慮到本結(jié)果會作為新一代自助發(fā)卡繳費設(shè)備的面板位置依據(jù)，對此，系統(tǒng)還會根據(jù)給定的控制邏輯對處理過程中的異常進行調(diào)適，確保不影響后續(xù)的自助發(fā)卡繳費設(shè)備控制作業(yè)。

車主交互位置自適應(yīng)控制系統(tǒng)識別特征示意圖如圖2所示，收費車型及高度對應(yīng)關(guān)系表如表1所示。

圖2：車主交互位置自適應(yīng)控制系統(tǒng)識別特征示意圖

表1：收費車型及高度對應(yīng)關(guān)系表

3.1.5 結(jié)果輸出

結(jié)果輸出模塊主要是基于交互位置區(qū)的計算結(jié)果，按照給定的接口規(guī)范要求提供給自助發(fā)卡繳費設(shè)備系統(tǒng)，以便自助發(fā)卡繳費系統(tǒng)可以以此作為控制自助發(fā)卡繳費設(shè)備面板高度、伸縮距離的重要依據(jù)。

3.2 關(guān)鍵技術(shù)應(yīng)用

3.2.1 基于機器視覺及智能算法的車主交互位置推介模型

采用機器視覺技術(shù)，結(jié)合不同收費車型車輛的分類特征，如對車輛、車主的圖像、輪廓等綜合特征進行識別，構(gòu)建起對應(yīng)的車主最佳交互位置推介模型庫；再而，在實際應(yīng)用中通過車輛圖像解析和特征提取，再而套用識別模型來準(zhǔn)確區(qū)分相同車型不同的交互位置。通過給出車主交互位置，控制升降高度自適應(yīng)到車主車窗高度，并控制伸縮面板伸縮至車主方便操作位置，使得操作更具人性化，加快車主的適應(yīng)能力，并降低車主的學(xué)習(xí)成本。預(yù)期，通過這樣技術(shù)的應(yīng)用，無論對于原雙工位發(fā)卡繳費設(shè)備，還是對于支持工位升降調(diào)適的設(shè)備都有非常重要的作用。如前者，對于原有的因無法準(zhǔn)確獲知車主交互位置導(dǎo)致無法自動發(fā)卡，只能通過人工按鍵發(fā)卡的車輛，調(diào)整成根據(jù)車主交互位置自動匹配發(fā)卡工位進行發(fā)卡操作，減少入口發(fā)卡過車交易耗時，提升過車速度；后者則支持根據(jù)車主距離設(shè)備位置空在伸出面板位置外，還支持根據(jù)車主交互位置在高度移動（支持4個高度），方便車主進行取卡操作。在減少過車耗時的同時，提升了車主交互友好性。

3.2.2 基于判別失效的應(yīng)急或輔助模型

識別提取車輛車牌、車型以及車輛特征信息等信息，并在規(guī)則推理和信息融合的基礎(chǔ)上建立一套應(yīng)急機制或輔助出發(fā)機制，在判別失效異常，如實現(xiàn)在“無值”等異常計算輸出時仍可給出一個保守的交互位置建議數(shù)據(jù)，以便自助發(fā)卡繳費設(shè)備仍能正常操控運作。

3.2.3 基于自學(xué)習(xí)的修正識別模型算法

考慮到高速公路自助設(shè)備交易時入口可獲取自動發(fā)卡位置及車主最終取走卡片位置，入口模式下自動發(fā)卡位置和車主最終取走卡片位置一致時，則車主交互位置是準(zhǔn)確的。為此基于這些結(jié)果的應(yīng)用，對于錯誤研判的車主最佳交互位置推介結(jié)果可以反饋到自學(xué)習(xí)算法中，重新對模型進行訓(xùn)練和自完善，從而提高模型的適用性。

4 應(yīng)用介紹

4.1 設(shè)備安裝

由于車主交互位置推介系統(tǒng)與收費車道車輛全車型高精識別軟硬一體機共同集成在同一套設(shè)備載體上，為此，雖然支持“軟硬一體化”應(yīng)用，但是本質(zhì)上會在“硬”體上支持復(fù)用，以提升系統(tǒng)實施的經(jīng)濟性。

基于機器視覺技術(shù)的車主交互位置推介系統(tǒng)設(shè)備主要安裝在收費站車道島面，對進入車道的車輛進行車主交互位置推介計算，將計算出的車主交互位置推介傳給自助發(fā)卡繳費設(shè)備軟件。一般在車道安裝的布局如圖3。

圖3：車主交互位置推介設(shè)備布局圖

為了更優(yōu)的識別效果，車主交互位置設(shè)備安裝位置建議如下：

（1）車主交互位置設(shè)備優(yōu)先裝在右邊島面，需要保持與收費亭（或自助發(fā)卡/繳費設(shè)備）同側(cè)，設(shè)備離島邊緣750mm～800mm；若裝在左邊島面或?qū)?cè)，設(shè)備離島邊緣500mm；

（2）為覆蓋所有長度車輛，車主交互位置設(shè)備需離收費亭（自助發(fā)卡/繳費設(shè)備）距離大于等于22m以上。一條物理車道多個收費亭（入口自助發(fā)卡/出口自助繳費設(shè)備）時，則以最后一個收費亭（入口自助發(fā)卡/出口自助繳費）設(shè)備為準(zhǔn)。

（3）車主交互位置設(shè)備對齊線圈3后邊緣

（4）車主交互位置設(shè)備正前方，島邊緣左右水平更方向與設(shè)備區(qū)域無遮擋，要求水平方向100度以內(nèi)無遮擋，左右方向100度以內(nèi)無遮擋

（5）車主交互位置設(shè)備必須要安裝在島外地面上。

4.2 系統(tǒng)功能

（1）以視頻流方式觸發(fā)進入高速入口車道及高速出口車道的車輛圖像識別抓拍，采集車輛車頭、車輛側(cè)面、車輛尾部以及車窗等車輛圖片信息，輸出車輛圖像信息。

（2）信息辨識及特征提取抓拍采集的車輛圖像信息，并結(jié)合特征識別模型、車輛多類特征約束規(guī)則模型等綜合研判，輸出車主交互位置推介數(shù)據(jù)集，包括車牌號碼、車窗高度、車輛類別等信息。

（3）將車主交互位置推介結(jié)果傳輸給自助發(fā)卡繳費系統(tǒng)或其他系統(tǒng)進行調(diào)取使用。

4.3 應(yīng)用實例

車主交互位置推介系統(tǒng)硬件支持復(fù)用基于機器視覺技術(shù)的收費車型自動識別設(shè)備，故車主交互位置推介系統(tǒng)可在已安裝收費車型自動識別設(shè)備的現(xiàn)場快速部署上線。由于基于機器視覺技術(shù)的收費車型自動識別已在全國十余個省份路段應(yīng)用，故自2022年3月份以來，基于機器視覺技術(shù)的車主交互位置推介系統(tǒng)應(yīng)用路段已有十幾個?，F(xiàn)場應(yīng)用實例如圖4所示。

圖4：車主交互位置推介系統(tǒng)安裝布設(shè)實景圖

新自助設(shè)備安裝在廣東收費站，故選取廣東收費站系統(tǒng)運行數(shù)據(jù)作分析。再另選湖南收費站的一代自助設(shè)備作為分析對比，自動發(fā)卡時，智能按鍵位置和取卡位置一致時則車主交互位置準(zhǔn)確，兩個收費站點的車主交互位置準(zhǔn)確率均值都在99.6%以上。如表2所示。

表2：站點運行情況

5 未來展望

車主交互位置推介系統(tǒng)基于機器視覺、智能基礎(chǔ)算法、神經(jīng)網(wǎng)絡(luò)分析技術(shù)等技術(shù)，實現(xiàn)了車主交互位置高精準(zhǔn)識別，提升了高速收費領(lǐng)域車主交互友好性，為實現(xiàn)少人化、無人化自助收費場景打造打下了了堅實的基礎(chǔ)。且隨著機器視覺特征提取優(yōu)化提升、深度自學(xué)習(xí)模型算法改進，將實現(xiàn)更精準(zhǔn)、更全面的交互信息的識別。為先行后付、數(shù)字人民幣高速運用等其他高速通行模式提供有效保障，對提高車主高速通行滿意度、推動高速實現(xiàn)智慧收費建設(shè)具有重大意義。