基于移動(dòng)邊緣計(jì)算的車聯(lián)網(wǎng)車牌號(hào)碼識(shí)別算法

李猛坤，柯正軒，于定榮，張建林，賈軍營(yíng)，劉利峰

(1.首都師范大學(xué) 管理學(xué)院，北京 100089；2.中國(guó)航天科技集團(tuán)有限公司 北京神舟航天軟件技術(shù)有限公司，北京 100094；3.中國(guó)中醫(yī)科學(xué)院 中藥研究所，北京 100700；4.沈陽(yáng)風(fēng)馳軟件股份有限公司 風(fēng)馳研究院，遼寧 沈陽(yáng) 110167；5.譽(yù)才科技總部 北京譽(yù)才科技有限公司，北京 100040)

0 引 言

車牌號(hào)識(shí)別是一種道路交通系統(tǒng)中的基礎(chǔ)應(yīng)用，為當(dāng)今社會(huì)交通帶來(lái)了很大的便利，大量產(chǎn)品在固定攝像頭情境下取得了巨大的成功，但對(duì)基于車聯(lián)網(wǎng)的車牌識(shí)別算法卻鮮有涉及。當(dāng)前主流使用的車牌識(shí)別算法主要依據(jù)顏色特征、灰度檢測(cè)等方法達(dá)成，其中有些方法抗干擾性差、有些方法需要大量計(jì)算、有些方法難以實(shí)現(xiàn)、有些方法則需要對(duì)自然環(huán)境條件的要求比較苛刻[1]。為了抵抗這些誤差，需要使用較為重型的集中計(jì)算方式完成。

車聯(lián)網(wǎng)系統(tǒng)脫胎于物聯(lián)網(wǎng)，其計(jì)算處理能力與嵌入式系統(tǒng)相當(dāng)。根據(jù)規(guī)劃，在2025年前汽車DA、PA、CA的裝配率將達(dá)到80%以上。在2020年全國(guó)汽車就已經(jīng)達(dá)到了3.6億輛，預(yù)計(jì)2025年將達(dá)到5億；按照80%的裝配率計(jì)算，全國(guó)車聯(lián)網(wǎng)下的汽車總量將達(dá)到4億輛，這和全國(guó)的2000萬(wàn)個(gè)固定式監(jiān)控已經(jīng)不在一個(gè)數(shù)量級(jí)中，傳統(tǒng)固定式監(jiān)控下的車牌識(shí)別技術(shù)框架已經(jīng)無(wú)法滿足未來(lái)大規(guī)模車聯(lián)網(wǎng)環(huán)境下的需求，市場(chǎng)需要一種更輕量、更便捷的識(shí)別框架完成識(shí)別功能。

根據(jù)以上業(yè)務(wù)背景，本文將使用邊緣計(jì)算技術(shù)[2-5]配合深度神經(jīng)網(wǎng)絡(luò)技術(shù)、MobileNet以及傳統(tǒng)圖像處理技術(shù)，提出一種低時(shí)延、低帶寬需求、高精度的車牌識(shí)別框架與方法，以適應(yīng)數(shù)年后大規(guī)模車聯(lián)網(wǎng)環(huán)境下更嚴(yán)格的要求。

本文主要從以下兩個(gè)內(nèi)容進(jìn)行研究。

(1)基于傳統(tǒng)圖像處理技術(shù)的改進(jìn)算法。在傳統(tǒng)圖像處理技術(shù)的基礎(chǔ)上，選取適當(dāng)?shù)乃惴ɡ碚摚槍?duì)我國(guó)車牌號(hào)具體應(yīng)用情況下對(duì)車牌號(hào)識(shí)別預(yù)處理方案進(jìn)行改進(jìn)。

(2)基于大規(guī)模車聯(lián)網(wǎng)環(huán)境下的邊緣計(jì)算方案。根據(jù)傳統(tǒng)車牌號(hào)識(shí)別框架，引入車聯(lián)網(wǎng)需求與邊緣計(jì)算的相關(guān)方案，完成車聯(lián)網(wǎng)邊緣計(jì)算架構(gòu)下的車牌號(hào)識(shí)別新框架。

1 業(yè)務(wù)與技術(shù)背景

作為近10年較為熱門的話題，車牌與車牌號(hào)識(shí)別方法一直在進(jìn)行著大量的改進(jìn)。中山大學(xué)吳志攀、趙躍龍、羅中良、杜華英提到了在一種改進(jìn)的方案以扭轉(zhuǎn)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中陷入的局部最優(yōu)問(wèn)題[6]。山西欣奧特自動(dòng)化工程公司的胡利娜[7]也完成了基于MATLAB工具的車牌號(hào)識(shí)別方法，驗(yàn)證技術(shù)可行性。李戰(zhàn)明和徐錦鋼也發(fā)表了《基于DSP的車牌號(hào)識(shí)別技術(shù)及應(yīng)用研究》，成功將整個(gè)系統(tǒng)小型化，以嵌入式的方案完成車牌號(hào)識(shí)別[8]。

當(dāng)前，在人工智能的發(fā)展下，尤其是基于TensorFlow的高速發(fā)展與升級(jí)，便捷地搭建大型深度神經(jīng)網(wǎng)絡(luò)成為可能，這為快速部署神經(jīng)網(wǎng)絡(luò)識(shí)別算法提供了強(qiáng)有力的支持。在近幾年霧計(jì)算、邊緣計(jì)算的快速發(fā)展趨勢(shì)下，大量范式被提出并應(yīng)用，為邊緣計(jì)算的落地部署提供了保障。在大唐、百度、華為等工智能自動(dòng)駕駛的領(lǐng)頭羊的帶領(lǐng)下，車聯(lián)網(wǎng)技術(shù)標(biāo)準(zhǔn)在近5年也進(jìn)行了多次快速迭代[9]；在工信部的領(lǐng)導(dǎo)下，大量測(cè)試場(chǎng)也完成建設(shè)，為車聯(lián)網(wǎng)的落地應(yīng)用提供了幫助。

傳統(tǒng)而流行的大型深度神經(jīng)網(wǎng)絡(luò)，如Alexnet、VGG、ResNet等，雖然學(xué)習(xí)能力和識(shí)別效果非常出眾，但是都需要強(qiáng)大的算力完成計(jì)算，所以只有較重型云服務(wù)器才會(huì)部署深度神經(jīng)網(wǎng)絡(luò)完成機(jī)器學(xué)習(xí)。然而在邊緣層的計(jì)算中，這些復(fù)雜的模型實(shí)在難以運(yùn)用[10]。在內(nèi)存和算力有限、低延遲快響應(yīng)的要求下，使用傳統(tǒng)CNN已經(jīng)難以解決這些實(shí)際需求。2016年Google提出了一種輕量級(jí)的、需求算力更低的、可以在嵌入式系統(tǒng)和移動(dòng)設(shè)備上使用的新型CNN模型“MobileNet”[11]，且已經(jīng)推出到MobileNetV3版本，未來(lái)還在持續(xù)更新。本算法將借鑒其對(duì)卷積算法中卷積核的分離變形，完成在邊緣設(shè)備中的卷積計(jì)算加速和內(nèi)存節(jié)約。

2 基于車聯(lián)網(wǎng)邊緣計(jì)算的車牌號(hào)識(shí)別框架

本文提出的基于車聯(lián)網(wǎng)邊緣計(jì)算的車牌號(hào)識(shí)別框架如圖1所示。

圖1 基于車聯(lián)網(wǎng)邊緣計(jì)算的車牌號(hào)識(shí)別框架

該框架主要包含圖像預(yù)處理、車牌號(hào)粗定位、車牌號(hào)精細(xì)定位、卷積處理、字符分割和字符識(shí)別幾個(gè)部分。在從視頻接口中獲取視頻輸入后，先關(guān)鍵幀提取完成載入，隨后在圖像預(yù)處理單元通過(guò)協(xié)比同調(diào)函數(shù)、高斯平滑、中值濾波、X向sobel濾鏡、膨脹、腐蝕、再膨脹一系列數(shù)學(xué)形態(tài)學(xué)運(yùn)算完成預(yù)處理，繼而使用輪廓查找、面積篩選的方式完成粗定位，劃出可能的位置。在精細(xì)定位單元中，使用方向篩選的方式完成精細(xì)定位，隨后使用對(duì)角濾波法完成剪裁或篩選，得出車牌號(hào)最可能的位置。在獲得精準(zhǔn)定位數(shù)據(jù)后，即對(duì)剪裁后圖像以MobileNet為基礎(chǔ)實(shí)施卷積處理，隨后任務(wù)卸載至云服務(wù)器。

在云服務(wù)器端，使用垂直投影法完成字符切割，對(duì)切割后的字符使用深度神經(jīng)網(wǎng)絡(luò)完成識(shí)別，最終對(duì)車輛進(jìn)行反饋或進(jìn)行其它處理。

2.1 預(yù)處理單元的改進(jìn)

傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)處理包括高斯平滑、中值濾波、X向sobel濾鏡、膨脹、腐蝕、再膨脹這幾步。

高斯平滑用于消除噪聲，使用高斯分布的核進(jìn)行濾波處理。其中，二維高斯分布為

(1)

其中，σ2代表區(qū)域內(nèi)總體方差。

中值濾波也是一種抑制噪聲的技術(shù)，使用某一像素點(diǎn)的鄰域像素點(diǎn)的中值替代原本的像素值。中值濾波可以有效清除孤立的脈沖噪聲。

sobel濾鏡分為X軸方向和Y軸方向，主要可以完成對(duì)圖像邊緣的探測(cè)。其中，3×3的sobel濾鏡見(jiàn)表1和表2。

表1 橫向sobel濾鏡

表2 縱向sobel濾鏡

使用sobel濾鏡X向求梯度，進(jìn)行二值化后，即可進(jìn)行膨脹操作。對(duì)于二值圖像，膨脹會(huì)將邊界向外擴(kuò)展，填補(bǔ)圖片中較小的空洞。膨脹的函數(shù)為

D=X⊕B={(x,y)|BXY∩X≠0}

(2)

過(guò)程函數(shù)為

D=(X⊕B)(x,y)=max{X(x-i,y-j)+B(i,j)}

(3)

對(duì)于二值圖像，腐蝕會(huì)將邊界向內(nèi)收縮，消除小而無(wú)意義的點(diǎn)或邊界，常用于消除噪聲。腐蝕的概念函數(shù)為

E=X?B={(x,y)|BXY?X}

(4)

其中，X為目標(biāo)圖像，B為結(jié)構(gòu)元素。當(dāng)B的原點(diǎn)移動(dòng)至(x,y)處時(shí)，記為BXY。

過(guò)程函數(shù)為

E=(X?B)(x,y)=min{X(x-i,y-j)-B(-i,-j)}

(5)

開(kāi)閉運(yùn)算是在腐蝕和膨脹的基礎(chǔ)上，進(jìn)行進(jìn)一步形態(tài)學(xué)處理的算子。先腐蝕后膨脹的運(yùn)算方法被稱為開(kāi)運(yùn)算，先膨脹后腐蝕的運(yùn)算被稱為閉運(yùn)算。開(kāi)運(yùn)算一般用于清除噪聲，閉運(yùn)算一般用來(lái)平滑內(nèi)部小型空洞。

圖2經(jīng)過(guò)完整的數(shù)學(xué)形態(tài)學(xué)預(yù)處理運(yùn)算，即可獲得如圖3的圖像，預(yù)處理完成。

圖2 基礎(chǔ)例圖

圖3 經(jīng)圖像預(yù)處理的圖2

2.2 MobileNet深度可分離卷積

MobileNet是Google研發(fā)的一種新一代輕量級(jí)的CNN，自提出后用于部署在各種嵌入式設(shè)備和移動(dòng)端設(shè)備中，可以在保持模型性能的前提下降低模型大小，提升了速度而精度不失去太多；這就為將卷積算法部署于條件更為苛刻的邊緣設(shè)備中提供了技術(shù)支持。

MobileNet的基礎(chǔ)卷積單元是深度可分離卷積。深度可分離卷積是一種可分解的卷積操作，可以分解為空間卷積(depthwise convolution)和通道卷積(pointwise convolution)，如圖4所示。其中Dk為平方核的維數(shù)，M為輸入通道數(shù)，N為輸出通道數(shù)。

圖4 可分解卷積

空間卷積和標(biāo)準(zhǔn)卷積的不同點(diǎn)在于，標(biāo)準(zhǔn)卷積的卷積核是作用在所有的輸入通道上(input channels)的；而空間卷積針對(duì)每個(gè)輸入通道均采用不同的卷積核，每卷積核對(duì)應(yīng)一個(gè)輸入通道。對(duì)于深度可分離卷積，首先是采用空間卷積對(duì)不同輸入通道分別卷積，然后采用通道卷積將不同通道的輸出結(jié)果再進(jìn)行組合。這樣的結(jié)果與直接進(jìn)行標(biāo)準(zhǔn)卷積是相同的，但是卻能大大降低參數(shù)量和運(yùn)算量，節(jié)約時(shí)間和存儲(chǔ)空間。推導(dǎo)過(guò)程如下。

設(shè)輸入大小為Hin×Win×Cin， 輸出大小為Hout×Wout×Cout。 設(shè)卷積核大小為k，則：

傳統(tǒng)卷積中，參數(shù)量 (params)=k2CinCout， 計(jì)算量為k2CinCout×HoutWout。

由圖5可知，深度可分離卷積參數(shù)量為k2Cin+CinCout， 計(jì)算量為k2Cin×HoutWout+CinCout×HoutWout。

圖5 普通卷積和深度可分離卷積的區(qū)別

可知，深度可分離卷積加速比為

實(shí)驗(yàn)結(jié)果如表3所示。根據(jù)文獻(xiàn)[11]可知，深度可分離卷積對(duì)比一般卷積可達(dá)到近9倍加速。

表3 普通卷積和深度可分離卷積實(shí)際運(yùn)行對(duì)比

3 核心算法設(shè)計(jì)

3.1 建 模

3.1.1 協(xié)比同調(diào)函數(shù)

在處理有色圖片時(shí)，面對(duì)較為復(fù)雜、有大量干擾的圖像，傳統(tǒng)的數(shù)學(xué)形態(tài)學(xué)處理會(huì)面臨較大困難，在經(jīng)過(guò)開(kāi)閉運(yùn)算之后，大量噪聲將被統(tǒng)計(jì)為形態(tài)學(xué)邊界，隨后被認(rèn)定為車牌號(hào)預(yù)選區(qū)域。這為識(shí)別造成了不小的干擾。

再度以圖2為例，這是一張強(qiáng)干擾的圖片，使用傳統(tǒng)的數(shù)學(xué)形態(tài)學(xué)將會(huì)造成較大誤差。

其中地板具有格子的屬性，易被識(shí)別為邊緣，如圖6中被斜框標(biāo)出所示。

圖6 地磚干擾

后方斑駁的樹枝因?yàn)槎喾N巧合的原因也會(huì)形成一個(gè)封閉的矩形空間，成為候選區(qū)域，如圖7所示。

圖7 樹影干擾

后方地磚上方的格子磚也會(huì)成為干擾，如圖8所示。

圖8 瓷磚干擾

識(shí)別出的車牌號(hào)區(qū)域，如圖9所示。

圖9 車牌號(hào)區(qū)域

綜上可知，由于多種干擾原因，車牌號(hào)區(qū)域識(shí)別出現(xiàn)了較大誤差，在強(qiáng)干擾情況下傳統(tǒng)識(shí)別準(zhǔn)確率不到15%。為了解決這一情況，可以使用協(xié)比同調(diào)函數(shù)對(duì)圖像進(jìn)行第一次加工，消除一部分干擾。協(xié)比同調(diào)激活函數(shù)如式(6)所示

(6)

其中，x為圖像某一顏色通道內(nèi)所有點(diǎn)的色彩值(0-255)的平均值，φ(x) 為躍遷閾值。其圖像如圖10所示。

圖10 協(xié)比同調(diào)激活函數(shù)圖像

在獲得躍遷閾值φ(x) 后，則遍歷圖片每個(gè)像素點(diǎn)，依次使用躍遷函數(shù)完成躍遷。躍遷函數(shù)如式(7)所示

(7)

其中，x為該通道某點(diǎn)的色彩強(qiáng)度值(0-255)，φ(x) 為該通道躍遷閾值，y為該通道該點(diǎn)的色彩強(qiáng)度輸出值。經(jīng)過(guò)協(xié)比同調(diào)函數(shù)，圖2被調(diào)整為圖11。

圖11 經(jīng)協(xié)比同調(diào)函數(shù)調(diào)整的圖2

3.1.2 對(duì)角角度篩選

在完成粗定位后，獲取的候選區(qū)域是經(jīng)過(guò)膨脹處理的，所以剪裁出的邊框?qū)⒚黠@大于實(shí)際邊框，如圖3所示。這就為字符分割造成了很大誤差。

由于已經(jīng)完成了粗定位，畫面中其它元素的干擾將較小。在不考慮其它誤差的情況下，可以使用直接從畫面中提取藍(lán)色的方法直接進(jìn)行精細(xì)定位。

在現(xiàn)實(shí)中，并非所有車牌都正對(duì)拍攝方向，或者說(shuō)大部分情況中車牌都和拍攝方向有一定角度，這就導(dǎo)致了車牌在定位過(guò)程中不是以一個(gè)矩形出現(xiàn)的，而是有一些角度的平行四邊形。利用這一特性就可以再度進(jìn)行一次篩選，去掉候選區(qū)域中的干擾項(xiàng)，提升實(shí)驗(yàn)準(zhǔn)確率。

依然如圖9所示，車牌區(qū)域在候選區(qū)域的中央位置呈平行四邊形。此時(shí)，從左上角開(kāi)始，依次使用行優(yōu)先和列優(yōu)先遍歷方法，尋找第一個(gè)藍(lán)色的像素點(diǎn)，獲取車牌區(qū)域左上角的坐標(biāo)UL；再?gòu)挠蚁陆情_(kāi)始，依次使用行優(yōu)先和列優(yōu)先遍歷方法反向遍歷，尋找第一個(gè)藍(lán)色的像素點(diǎn)，獲取車牌區(qū)域右下角的坐標(biāo)LR。

計(jì)算兩點(diǎn)之間連線與UL水平坐標(biāo)的夾角θ，計(jì)算公式為

(8)

由多次訓(xùn)練經(jīng)驗(yàn)可知，車牌號(hào)圖像長(zhǎng)寬比例大概在2～5 之間，夾角θ的取值范圍應(yīng)在15°～45°之間。不符合此規(guī)律或甚至未定位到藍(lán)色坐標(biāo)的圖像皆可放棄。

3.2 實(shí)驗(yàn)設(shè)計(jì)

使用正交實(shí)驗(yàn)法完成實(shí)驗(yàn)設(shè)計(jì)。

3.2.1 實(shí)驗(yàn)預(yù)處理

準(zhǔn)備10種不同場(chǎng)景實(shí)際道路中車輛行駛中錄制視頻并平均截取500 幀，對(duì)每幀圖片均使用灰度轉(zhuǎn)化、高斯平滑、中值濾波、sobel濾鏡、膨脹、腐蝕、膨脹幾步傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行先行處理，圖像數(shù)據(jù)及位置標(biāo)注如圖12所示。

圖12 圖像數(shù)據(jù)及標(biāo)注位置

3.2.2 實(shí)驗(yàn)主體設(shè)計(jì)

5000張圖片完成預(yù)處理后成為數(shù)據(jù)集，使用相同的數(shù)據(jù)集進(jìn)行4次實(shí)驗(yàn)。4次實(shí)驗(yàn)方式見(jiàn)表4。在完成主體實(shí)驗(yàn)后，使用TensorFlow深度神經(jīng)網(wǎng)絡(luò)完成識(shí)別，并記錄正確率。實(shí)驗(yàn)完成后，在結(jié)果中對(duì)比使用總時(shí)間、粗定位準(zhǔn)確率、精細(xì)定位準(zhǔn)確率、神經(jīng)網(wǎng)絡(luò)識(shí)別正確率。

3.2.3 實(shí)驗(yàn)環(huán)境

使用Python語(yǔ)言編程并完成實(shí)驗(yàn)。

CPU：Inter(R)Core(TM)i7-7500

GPU：Inter(R)HD Graphics 620

3.2.4 正交表

表4中處理速度單位為秒/圖，粗定位準(zhǔn)確率指5000張通過(guò)實(shí)際道路拍攝圖片中通過(guò)傳統(tǒng)車牌識(shí)別算法以及協(xié)比同調(diào)函數(shù)可提取的車牌次數(shù)。精細(xì)定位準(zhǔn)確率指在粗定位基礎(chǔ)上通過(guò)對(duì)角角度篩選達(dá)成的準(zhǔn)確率。神經(jīng)網(wǎng)絡(luò)識(shí)別正確率指在總實(shí)驗(yàn)數(shù)據(jù)集中的識(shí)別正確率。

4 實(shí)驗(yàn)與數(shù)據(jù)分析

4.1 協(xié)比同調(diào)函數(shù)

根據(jù)表4的正交實(shí)驗(yàn)可得，在未使用協(xié)比同調(diào)函數(shù)時(shí)，

表4 實(shí)驗(yàn)正交表

實(shí)際道路行駛狀態(tài)下車牌號(hào)粗定位正確率不到3%；使用協(xié)比同調(diào)函數(shù)后，正確率提升至8%。干擾篩出率(指車牌號(hào)粗定位正確率/使用協(xié)比同調(diào)函數(shù)后車牌號(hào)粗定位正確率)超過(guò)50%。但處理時(shí)間將有明顯提升。

4.2 對(duì)角角度篩選

根據(jù)表4的正交實(shí)驗(yàn)可得，在未使用對(duì)角角度篩選時(shí)，實(shí)際道路行駛狀態(tài)下車牌號(hào)精細(xì)定位正確率近7%；使用對(duì)角角度篩選后，總正確率提升至近15%，干擾篩出率(指車牌號(hào)精細(xì)定位正確率/使用對(duì)角角度篩選后車牌號(hào)精細(xì)定位正確率)近50%。處理時(shí)間提升不明顯。

4.3 深度神經(jīng)網(wǎng)絡(luò)迭代折線圖

使用所提方法前后深度神經(jīng)網(wǎng)絡(luò)正確率迭代折線圖分別如圖13和圖14所示。

圖13 使用所提方法前深度神經(jīng)網(wǎng)絡(luò)正確率迭代折線

圖14 使用所提方法后深度神經(jīng)網(wǎng)絡(luò)正確率迭代折線

5 結(jié)束語(yǔ)

在目前人工智能技術(shù)快速發(fā)展趨勢(shì)之下，為配合我國(guó)2025年車聯(lián)網(wǎng)要求總體部署，為減輕總體帶寬要求、降低網(wǎng)絡(luò)延遲，本文借鑒邊緣計(jì)算的架構(gòu)方法和最新的低參數(shù)卷積方法，提出了在大規(guī)模車聯(lián)網(wǎng)環(huán)境中以邊緣計(jì)算為架構(gòu)的車牌號(hào)識(shí)別總體框架，并依據(jù)這種新需求完成了一種以優(yōu)化的數(shù)學(xué)形態(tài)學(xué)和深度神經(jīng)網(wǎng)絡(luò)為技術(shù)路線的算法實(shí)現(xiàn)。

傳統(tǒng)的識(shí)別技術(shù)框架無(wú)法直接應(yīng)用在汽車上，所以在未來(lái)大規(guī)模車聯(lián)網(wǎng)部署下，整體技術(shù)框架將難以應(yīng)對(duì)超大帶寬、超低時(shí)延的技術(shù)需求。為解決這種技術(shù)需求，除利用5G等更高速蜂窩通信技術(shù)外，更應(yīng)該從系統(tǒng)架構(gòu)上解決問(wèn)題。通過(guò)借鑒邊緣計(jì)算的方案，將整體架構(gòu)分為設(shè)備層、邊緣層和云服務(wù)器3層，在邊緣層中，使用汽車自帶的微型計(jì)算機(jī)或嵌入式設(shè)備完成多項(xiàng)圖像預(yù)處理工作，之后再與云服務(wù)器通訊，即可大幅降低所需通信帶寬。在邊緣層中，通過(guò)多項(xiàng)先進(jìn)的數(shù)學(xué)形態(tài)學(xué)技術(shù)、快速的卷積技術(shù)和一部分改進(jìn)的數(shù)學(xué)形態(tài)學(xué)技術(shù)，加快圖像處理速度和準(zhǔn)確性，在提高圖像利用率的同時(shí)加快預(yù)處理速度，達(dá)成降低總處理時(shí)長(zhǎng)、降低處理時(shí)延的目的。

在基礎(chǔ)設(shè)備層，使用車載攝像頭作為圖像獲取設(shè)備，通過(guò)汽車總線將視頻傳輸至汽車內(nèi)置電腦進(jìn)行預(yù)處理。

車輛內(nèi)置微型計(jì)算機(jī)或嵌入式設(shè)備扮演了邊緣層的角色。車輛內(nèi)置微型計(jì)算機(jī)或嵌入式設(shè)備通過(guò)一定采樣頻率，對(duì)視頻流進(jìn)行關(guān)鍵幀采樣。在關(guān)鍵幀采樣完畢后，進(jìn)行如前文所提到的數(shù)學(xué)形態(tài)學(xué)處理并截取車牌號(hào)可能存在的圖像位置，隨后使用精準(zhǔn)定位的方式再度縮小范圍。最終完成以深度可分離卷積為核心操作的卷積處理，通過(guò)PTSP將任務(wù)卸載至云服務(wù)器。

在云服務(wù)器，基于垂直投影法的字符分割技術(shù)將會(huì)將已經(jīng)卷積完成的車牌號(hào)圖像分割為單字符圖像，并依次使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，最終得到識(shí)別完畢的車牌號(hào)，并通過(guò)移動(dòng)網(wǎng)絡(luò)反饋至車輛本身或道路交通管理系統(tǒng)。

在完成數(shù)學(xué)形態(tài)學(xué)技術(shù)的改進(jìn)中，實(shí)驗(yàn)結(jié)果表明，在基于車聯(lián)網(wǎng)的環(huán)境下，協(xié)比同調(diào)函數(shù)和對(duì)角角度篩選方法在無(wú)法使用背景減除法等傳統(tǒng)方法的情況下，可以大幅提升定位精度，繼而提升識(shí)別準(zhǔn)確率。同時(shí)，MobileNet的可分離卷積也有效為邊緣計(jì)算的環(huán)境下完成卷積計(jì)算提供了加速支持。這些方案在一定程度下降低了帶寬需求，并提升了識(shí)別準(zhǔn)確性。

綜上所述，本文提出的大規(guī)模車聯(lián)網(wǎng)環(huán)境中以邊緣計(jì)算為架構(gòu)的車牌號(hào)識(shí)別總體框架和幾種改進(jìn)的數(shù)學(xué)形態(tài)學(xué)技術(shù)均基本達(dá)到了預(yù)期要求，實(shí)驗(yàn)原型機(jī)在實(shí)驗(yàn)理想狀態(tài)下可以正常輸出且輸出結(jié)果達(dá)到預(yù)期效果。本文的研究結(jié)果可以為公安應(yīng)急處突、邊境敵我識(shí)別等適合邊緣計(jì)算部署的情境提供一定的技術(shù)支撐，且可適應(yīng)數(shù)年后至2025年大規(guī)模車聯(lián)網(wǎng)環(huán)境下對(duì)邊緣計(jì)算、人工智能更嚴(yán)格的要求。