智能駕駛汽車機器視覺關(guān)鍵技術(shù)分析

范 靖，山世玉，林先山

智能駕駛汽車機器視覺關(guān)鍵技術(shù)分析

范 靖1，山世玉*2，林先山1

（1.廣州公路工程集團(tuán)有限公司，廣東 廣州 510730；2.長安大學(xué) 能源與電氣工程學(xué)院，陜西 西安 710064）

文章對智能駕駛汽車機器視覺關(guān)鍵技術(shù)中的圖像采集、圖像處理和圖像分析三個部分進(jìn)行研究。在圖像采集技術(shù)中，重點研究帶電耦合器件（CCD）圖像傳感器和互補金屬氧化物半導(dǎo)體（CMOS）圖像傳感器的特點及其工作原理，并分別介紹基于現(xiàn)場可編程門陣列（FPGA）和數(shù)字信號處理機（DSP）的圖像采集卡的工作特點及適用環(huán)境。在圖像處理技術(shù)中，對感興趣區(qū)域提取、圖像灰度化處理、圖像濾波去噪和邊緣檢測等環(huán)節(jié)進(jìn)行研究。在圖像分析技術(shù)中，重點對比傳統(tǒng)的數(shù)字圖像識別技術(shù)和基于深度學(xué)習(xí)的圖像識別技術(shù)。結(jié)合對三個部分工作原理與特點的研究，對智能駕駛汽車機器視覺技術(shù)未來的發(fā)展趨勢進(jìn)行展望，提出人工智能化、車聯(lián)網(wǎng)、車輛通信系統(tǒng)和多傳感器化等發(fā)展構(gòu)想。

機器視覺；圖像采集；圖像處理；圖像分析；智能駕駛

據(jù)《2022中國統(tǒng)計年鑒》上有關(guān)數(shù)據(jù)顯示[1]，2021年中國個人汽車保有量達(dá)26 152.02萬輛。隨著機動車數(shù)量的不斷增長，交通事故頻發(fā)。根據(jù)數(shù)據(jù)統(tǒng)計[2]，全球每年共有135萬人因交通事故失去生命。為了減少交通事故的發(fā)生，智能駕駛汽車應(yīng)運而生。智能駕駛汽車依靠搭載的各類傳感器、控制器、執(zhí)行器和通訊模塊等設(shè)備，完成對汽車的輔助操控，并具備對突發(fā)狀況的應(yīng)急處理能力以及預(yù)測道路未知信息的能力[3]。智能駕駛汽車相關(guān)的技術(shù)主要包括：感知技術(shù)、決策技術(shù)、路徑規(guī)劃和跟蹤控制技術(shù)等[4]。機器視覺技術(shù)是感知技術(shù)的一部分，通過機器視覺技術(shù)與多傳感器融合的感知方案，使得系統(tǒng)可靠性大大提高[5]。

本文對智能駕駛汽車機器視覺技術(shù)的三個組成部分進(jìn)行研究。對于圖像采集技術(shù)，主要研究其核心原件圖像傳感器的種類和工作原理；對于圖像處理技術(shù)，主要研究感興趣區(qū)域提取、灰度化處理、濾波去噪和邊緣檢測等技術(shù)的特點；對于圖像分析技術(shù)，主要研究傳統(tǒng)的數(shù)字圖像識別技術(shù)和基于深度學(xué)習(xí)的圖像識別技術(shù)等兩種技術(shù)的特點和關(guān)鍵環(huán)節(jié)。在此基礎(chǔ)上，結(jié)合車聯(lián)網(wǎng)、多傳感器化和車輛通信系統(tǒng)等技術(shù)，對機器視覺在智能駕駛汽車領(lǐng)域的應(yīng)用進(jìn)行了展望和討論。

1 圖像采集技術(shù)

圖像采集技術(shù)主要通過數(shù)字?jǐn)z像頭拍攝目標(biāo)物體，之后利用光電器件將獲得的光信號轉(zhuǎn)換成數(shù)字信號，再經(jīng)移動產(chǎn)業(yè)處理器傳至下一部分，由控制模塊對數(shù)字信號做初步優(yōu)化處理，最后經(jīng)過安全數(shù)字輸入輸出接口存入存儲卡（Trans Flash, TF）中。

圖像傳感器主要有攝像頭傳感器和光電傳感器兩種，相較于光電傳感器，攝像頭傳感器具有前瞻遠(yuǎn)度高、獲取信息量多以及方便圖像后期處理等優(yōu)點，因此得到廣泛應(yīng)用。常用的攝像頭傳感器有帶電耦合器件（Charge Coupled Device, CCD）和互補金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductor, CMOS）。CCD相機將一定數(shù)量的CCD排成陣列[6-7]，例如512×480和 1 024×768，這被稱為解析度，標(biāo)志著成像的清晰程度高低。在上個世紀(jì)九十年代，我國就有研究學(xué)者將CCD相機應(yīng)用于汽車的前照燈強度測量上[8]。進(jìn)入新世紀(jì)后，CCD相機在汽車上的應(yīng)用發(fā)展迅猛，將CCD相機獲取的圖像導(dǎo)入到計算機中，采用不同圖像處理方法對圖像進(jìn)行分析，從而判斷汽車前照燈是否符合標(biāo)準(zhǔn)[9]。隨著深入研究，應(yīng)用CCD相機對車燈在路面上的發(fā)光狀況進(jìn)行檢測[10]，從而可以衡量車燈的性能優(yōu)劣。

近些年來，伴隨著半導(dǎo)體材料的發(fā)展和革新， CMOS相機也獲得了非常大的進(jìn)步，與CCD相機不同，CMOS集成在金屬氧化物的半導(dǎo)體材料上[11]。CMOS材料在制造過程中技術(shù)難度低，擁有更為低廉的成本，并且具有高集成、低功耗和抗輻射等優(yōu)點，在智能輔助駕駛領(lǐng)域得到廣泛的應(yīng)用。通過設(shè)計基于CMOS相機的車道偏離和預(yù)警裝置[12-13]，能夠?qū)︸{駛員在駕駛過程中無意識偏離車道做出檢測和報警功能。應(yīng)用CMOS相機的車載高清環(huán)視系統(tǒng)將布置在汽車周身的攝像模組采集到的圖像拼接到一起，從而獲得汽車周圍的信息，幫助駕駛員通過汽車的全景俯視圖[14]，來判斷是否有障礙物影響或障礙物的位置距離等信息。

圖像在采集之后的傳輸環(huán)節(jié)中，會出現(xiàn)反復(fù)讀寫的情況，依靠性能良好的圖像采集卡可以解決這一問題。目前廣泛使用的有基于現(xiàn)場可編程門陣列（Field Programmable Gate Array, FPGA）的圖像采集卡和基于數(shù)字信號處理機（Digital Singnal Processor, DSP）的圖像采集卡?；贔PGA的圖像采集卡具備內(nèi)部存儲豐富和處理速度快捷的優(yōu)點，可以提高圖像采集傳輸速度，優(yōu)化圖像質(zhì)量[15]。基于DSP的圖像采集卡有著較快的處理速度，但時序控制能力弱[16]，更加適合于偏向圖像處理的圖像采集系統(tǒng)。同時以DSP為核心的圖像采集系統(tǒng)可以同時執(zhí)行多個操作，具備更低的制造成本和更小的能耗。

2 圖像處理技術(shù)

圖像處理技術(shù)是機器視覺技術(shù)的核心所在，依靠硬件設(shè)備和軟件算法的相互配合，對圖像進(jìn)行分割和噪聲濾除，完成數(shù)據(jù)處理。圖像處理技術(shù)主要有感興趣區(qū)域劃分、圖像灰度化、圖像濾波和邊緣檢測等幾個步驟，本文將以車道線檢測為例，詳細(xì)說明各個步驟工作原理。

2.1 感興趣區(qū)域

在車道線檢測過程中，采集的圖像包含有很多與車道線無關(guān)的信息，為了減少不必要的計算量，需要進(jìn)行圖像感興趣區(qū)域提?。≧egion Of Interest, ROI）。由于在實際行駛過程中，拍攝到的圖片上半部分為天空和道路兩旁建筑等無關(guān)信息，所以在圖像處理過程中，可以將此部分圖像信息舍棄，僅對含有道路信息的圖像下半部分進(jìn)行分析，如圖1所示[17]，經(jīng)ROI提取之后，將圖像的下半部分作為感興趣區(qū)域，并確定ROI邊界[18]。

圖1 ROI提取

2.2 圖像灰度化

數(shù)字?jǐn)z像機拍攝到的圖片均為RGB（Red, Green, Blue）三通道彩色圖像[19]，雖然信息量豐富，但由于其色彩繁多，在圖像處理時，計算過程復(fù)雜，影響工作效率。因此，可將RGB圖像做灰度化處理，將三通道圖像轉(zhuǎn)變?yōu)閱瓮ǖ赖幕疑珗D像，如圖2和圖3所示[20]。

圖2 原始圖像

圖3 圖像灰度化處理

圖像灰度化處理有四種方法，分別是平均值法、分量法、最大值法和加權(quán)平均法[21-22]。平均值法是對于三個通道數(shù)值做平均化處理，分量法則是任意取三個通道數(shù)值中的一個值作為灰度化處理的通道數(shù)值，最大值法是取三個通道數(shù)值中的最大數(shù)值作為實際處理的通道數(shù)值，加權(quán)平均法對三個通道數(shù)值進(jìn)行加權(quán)平均處理，既符合人眼對色彩的敏感程度，也能夠突出被識別對象特征[21-22]。每種方法特點如表1所示。

表1 四種圖像灰度化處理方法效果對比

2.3 圖像濾波

車輛在行駛過程中，由于實際路況因素，在收集的圖像中會存在噪聲等現(xiàn)象，影響圖像處理的精度，可以通過圖像濾波解決這一問題。目前常用的濾波方法有均值濾波、中值濾波、雙邊濾波和高斯濾波。

均值濾波[23]的原理是對圖像進(jìn)行像素化處理，將全部像素加權(quán)平均，然后覆蓋原有像素。中值濾波[24]屬于非線性濾波，其原理是選擇圖像中某一像素，確定鄰域范圍，將此鄰域范圍內(nèi)的所有像素從小到大排序，取其中間值，替換掉原有中心像素值。雙邊濾波[25]也是一種非線性濾波方法，在對圖像邊緣區(qū)域的像素進(jìn)行濾波時，離邊緣較遠(yuǎn)的像素值不會對邊緣的像素值產(chǎn)生很大的影響，從而可以使圖像邊緣比較清晰。高斯濾波[26-27]是一種線性濾波，原理是用高斯卷積核對整個圖像的像素值進(jìn)行加權(quán)平均，把卷積核所對應(yīng)的位置和其所覆蓋到的地方相乘，然后做加法，從而獲得中心區(qū)域的像素值。高斯卷積核的大小通常是3×3、5×5和7×7的矩陣。

2.4 邊緣檢測

圖像濾波去噪之后，需要對圖像中物體特征進(jìn)行增強，這就要應(yīng)用邊緣檢測和邊緣增強等處理方法。常用的邊緣檢測有Sobel算法[28]和Canny算法[29]。Soble算法采用的Soble算子，是離散的一階差分算子，這種算子在處理圖像像素點時能夠獲得對應(yīng)像素點梯度，或者其法向量的矢量。根據(jù)每個像素的位置對圖像的影響程度不同，Sobel算子對此情況進(jìn)行加權(quán)處理，使得檢測出的邊緣清晰度有明顯提高。Soble算子的形式是濾波算子，能夠非?？焖俚靥崛∵吘?，但是Sobel算法對于噪聲梯度變化的適應(yīng)性不夠充足，對噪聲比較敏感，容易造成特征的丟失。

Canny算法在近些年的研究中得到廣泛的認(rèn)可，通過設(shè)置雙閾值，可以消除特征的丟失，增強表現(xiàn)圖像的輪廓。輸入的圖像由小波分解后形成高頻和低頻兩部分，先對高頻部分設(shè)置閾值去噪。然后，將處理過的高頻部分和低頻部分重構(gòu)，得到高頻去噪圖，再對其中低頻信號做相應(yīng)的閾值去噪，最后進(jìn)行小波逆變換處理。Canny算法在實際應(yīng)用過程中可以精準(zhǔn)的提取圖像邊緣，同時不受噪聲的影響[30]，且能夠識別圖像中的弱邊緣和強邊緣[31]。圖4為Canny邊緣檢測操作后的顯示圖像[20]。

圖4 Canny邊緣檢測后圖像

3 圖像分析技術(shù)

圖像分析技術(shù)是利用數(shù)學(xué)模型對經(jīng)過處理后的圖像提取相關(guān)的應(yīng)用特征，從而獲得圖像的信息。在機器視覺技術(shù)發(fā)展前期，主要依靠傳統(tǒng)的圖像分析技術(shù)，但是傳統(tǒng)的圖像分析技術(shù)容易受到其他因素影響，魯棒性較差[32]。伴隨著半導(dǎo)體芯片技術(shù)的發(fā)展和計算機算法的發(fā)展，基于深度學(xué)習(xí)的圖像分析技術(shù)逐漸取代傳統(tǒng)的圖像分析技術(shù)，成為主流應(yīng)用的圖像分析技術(shù)[33]?；谏疃葘W(xué)習(xí)的圖像分析技術(shù)有基于卷積神經(jīng)網(wǎng)絡(luò)和基于語義分割等多種方法[34-35]，能夠滿足大量圖片的分析要求，并且魯棒性較好，但是該技術(shù)對于算法的要求比較高。

3.1 傳統(tǒng)的圖像識別技術(shù)

在車道線檢測過程中，需對圖像的特征信息進(jìn)行提取，對采集到的車道線進(jìn)行擬合。通過圖像識別分割之后，得到的車道線像素點比較集中，容易造成車道線的缺失。通過逆透視變換可以獲得車道線的鳥瞰圖，在鳥瞰圖中車道線近乎于平行分布，使得效果更為直觀，不容易造成像素點的丟失，便于后面車道線的擬合。圖5和圖6分別為原始車道線效果圖和經(jīng)過逆透視變換操作后的效果圖[36]。經(jīng)逆透視變換后，利用最小二乘法[37-38]擬合車道線。

圖5 原始車道線效果圖

圖6 逆透視變換效果圖

3.2 基于深度學(xué)習(xí)的圖像識別

目前應(yīng)用最為廣泛的是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）的圖像識別方法[39]。CNN有卷積層、激活層、池化層和全連接層等4部分組成，其中，最為關(guān)鍵的是卷積層。不同的卷積核負(fù)責(zé)不同的圖像特征[40]，分別對應(yīng)紋理、邊緣、顏色等多種圖像特征，并且可以采用多項式擬合的方法對車道線進(jìn)行預(yù)測[41]。圖7為卷積層計算過程圖[42]，假設(shè)輸入圖像為一個5×5的二維矩陣[43]，其對應(yīng)的卷積核為一個3×3的二維矩陣。卷積的操作過程從輸入數(shù)據(jù)的左上角開始，以卷積步長按照先上后下，先左后右依次后移，當(dāng)卷積核位于輸入數(shù)據(jù)的左上角即圖7左端紅色區(qū)域時，計算結(jié)果為1×1+2×0+3×1+6×0+ 7×1+9×1+8×0+7×1=27。

圖7 卷積層計算過程

4 智能駕駛汽車機器視覺技術(shù)展望

伴隨著人工智能技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，智能駕駛汽車與信息通信技術(shù)加速融合發(fā)展，電動化、網(wǎng)聯(lián)化和智能化成為智能駕駛汽車的新特點。智能駕駛汽車和互聯(lián)網(wǎng)大數(shù)據(jù)的融合成為發(fā)展趨勢，并且伴隨著計算機算法的推陳出新和智能硬件芯片的應(yīng)用，今后智能駕駛技術(shù)會逐步向儲能單元、移動智能終端和數(shù)字空間方向拓展。

4.1 人工智能化

隨著算法的不斷改良和硬件設(shè)施的發(fā)展進(jìn)步，結(jié)合機器視覺技術(shù)與人工智能技術(shù)的融合發(fā)展，未來智能駕駛汽車不僅僅依靠機器視覺技術(shù)來構(gòu)造輔助駕駛系統(tǒng)，更會實現(xiàn)各種復(fù)雜路況的無人駕駛，形成以人工智能為基礎(chǔ)的智能駕駛汽車技術(shù)。以硬件設(shè)備更新為主，配合算法的設(shè)計和改良，未來智能駕駛汽車的計算處理能力和存儲能力將大大提高，能在各種復(fù)雜場景下完成合理判斷，提高駕駛的安全性。

4.2 車聯(lián)網(wǎng)

隨著5G等互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，機器視覺技術(shù)與車聯(lián)網(wǎng)技術(shù)相互配合，輔助以大數(shù)據(jù)計算中心，將收集到的數(shù)據(jù)匯總，結(jié)合對交通設(shè)施數(shù)據(jù)的收集，可以對道路擁堵情況做出判斷，將判斷后的指令傳輸?shù)街悄荞{駛汽車，可以有效緩解汽車擁堵情況。結(jié)合汽車本身內(nèi)部各類傳感器，可以幫助智能汽車尋找就近的加油站或充電樁，也可以精準(zhǔn)進(jìn)行故障診斷，并及時給出預(yù)警。

4.3 車輛通信系統(tǒng)

機器視覺技術(shù)與車輛通信系統(tǒng)的配合同樣是智能駕駛汽車未來的發(fā)展趨勢之一。裝載車輛通信系統(tǒng)的智能汽車，可以實現(xiàn)對于駕駛員駕駛行為的實時評估和監(jiān)控，提供車輛實時的安全信息和車輛行駛的時間地點信息，配合以機器視覺技術(shù)對于車輛行駛過程中道路情況的反饋，可以有效地避免交通事故的發(fā)生，提高道路行駛的安全性。

4.4 多傳感器化

隨著數(shù)字?jǐn)z影機、圖像處理卡等設(shè)備的發(fā)展，機器視覺技術(shù)未來可以實現(xiàn)多種功能協(xié)同運轉(zhuǎn)，例如機器視覺技術(shù)與各類傳感器相配合，解決單一設(shè)備在實際使用過程中的局限性，在光照條件不好不適合圖像技術(shù)的運用時，可以借助雷達(dá)和傳感器對圖像技術(shù)進(jìn)行補充，而在復(fù)雜路況下對于傳感器干擾因素比較多時，可以通過圖像為主的提取方法提取道路信息，取長補短，發(fā)揮各項技術(shù)的長處。

5 結(jié)論

本文研究了機器視覺技術(shù)在智能駕駛汽車領(lǐng)域的發(fā)展現(xiàn)狀，對智能駕駛汽車機器視覺技術(shù)中圖像采集、圖像處理和圖像分析技術(shù)進(jìn)行了研究。首先介紹了圖像傳感器的種類和工作原理，其次對圖像處理技術(shù)中的感興趣區(qū)域提取、灰度化處理、濾波去噪和邊緣檢測等技術(shù)環(huán)節(jié)進(jìn)行了介紹，然后分別介紹了傳統(tǒng)的數(shù)字圖像識別技術(shù)和基于深度學(xué)習(xí)的圖像識別技術(shù)的特點，最后結(jié)合人工智能、車聯(lián)網(wǎng)、多傳感器化和車輛通信系統(tǒng)等技術(shù)對未來機器視覺技術(shù)在智能駕駛汽車領(lǐng)域的發(fā)展提出了展望。

[1] 中華人民共和國國家統(tǒng)計局.2022年中國統(tǒng)計年鑒. [EB/OL].(2022-01-01)[2023-03-06].http://www.stats. gov.cn/sj/ndsj/2022/indexch.htm.

[2] 張翔,唐小林,黃巖軍.道路結(jié)構(gòu)特征下的車道線智能檢測[J].中國圖象圖形學(xué)報,2021,26(1):123-134.

[3] 楊濤.智能駕駛車輛跟蹤控制方法設(shè)計與試驗[D]. 合肥:安徽農(nóng)業(yè)大學(xué),2022.

[4] 王金強,黃航,郅朋,等.自動駕駛發(fā)展與關(guān)鍵技術(shù)綜述[J].電子技術(shù)應(yīng)用,2019,45(6):28-36.

[5] 劉金橋,吳金強.機器視覺系統(tǒng)發(fā)展及其應(yīng)用[J].機械工程與自動化,2010(1):215-216.

[6] 朱飛虎.機器視覺原理及應(yīng)用[J].自動化博覽,2005 (2):81-83.

[7] 王海霞,李凱勇,陳佳舟.基于機器學(xué)習(xí)的高速線陣CCD圖像數(shù)據(jù)采集系統(tǒng)[J].現(xiàn)代電子技術(shù),2022, 45(10):160-164.

[8] 李策.基于計算機視覺的汽車車燈檢測技術(shù)研究[D].北京:北京化工大學(xué),2021.

[9] 張勇.基于圖像處理的汽車前照燈檢測系統(tǒng)的研究[D].長春:長春理工大學(xué),2009.

[10] EKRIAS A,ELOHOLMA M,HALONEN L,et al.Road Lighting and Headlights:Luminance Measurements and Automobile Lighting Simulations[J].Building & Environment,2008,43(4):530-536.

[11] 王旭東,葉玉堂. CMOS與CCD圖像傳感器的比較研究和發(fā)展趨勢[J].電子設(shè)計工程,2010(11):178-181.

[12] 劉翔章.基于寬動態(tài)CMOS相機的車道偏離預(yù)警技術(shù)研究[D].長春:長春理工大學(xué),2013.

[13] 李成勇,王莎,陳成瑞.基于CMOS圖像采集的車道偏移識別系統(tǒng)設(shè)計與實現(xiàn)[J].中國測試,2022,48(6): 106-110.

[14] 霍浩宇.基于CMOS的車載高清環(huán)視系統(tǒng)的研究與應(yīng)用[D].天津:天津科技大學(xué),2021.

[15] 孔德可,鐘升,匡乃亮,等.基于CMOS傳感器和FPGA的圖像采集系統(tǒng)設(shè)計[J].機械工程與自動化,2020 (3):28-30.

[16] 梁璠.基于CMOS圖像傳感器的高速圖像采集系統(tǒng)設(shè)計[D].太原:中北大學(xué),2020.

[17] 王文滔.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法研究與實現(xiàn)[D].重慶:西南大學(xué),2022.

[18] Huang A,Moore D,Antone M,et al.Finding Multiple Lanes in Urban Road Networks with Vision and Lidar[J].Autonomous Robots,2009,26(2/3):103- 122.

[19] 宋鳳菲.彩色圖像灰度化及其效果的客觀評價方法研究[D].泉州:華僑大學(xué),2014.

[20] 田俊康.基于深度學(xué)習(xí)的車道線檢測方法研究[D]. 太原:太原科技大學(xué),2021.

[21] 王先月.基于機器視覺的自動噴涂系統(tǒng)設(shè)計[D].青島: 青島大學(xué),2022.

[22] 魏笑.基于圖像處理的車道線識別[D].大連:大連交通大學(xué),2020.

[23] Joshi A,Boyat A K,Joshi B K.Impact of Wavelet Transform and Median Filtering on Removal of Salt and Pepper Noise in Digital Images[C]//Issues and Challenges in Intelligent Computing Techniques (ICICT), Krishna InstEngn & Technol, Ghaziabad.Piscataway: IEEE,2014:838-843.

[24] Qatawneh M,Massad Y,Musaddaq M,et al.A Uniform Noise Median Filter Based on a New Type of Filtering Window[J].International Information Insti- tute (Tokyo).Information,2012,15(2):699.

[25] 熊晶晶,楊雪,蘇靜,等.基于雙邊濾波的織物潤濕區(qū)域有效提取[J].上海紡織科技,2021,49(11):41-45.

[26] Kopparapu S.K,Satish M.Identifying Optimal Gaussian Filter for Gaussian Noise Removal[C]//Third IEEE National Conference on NCVPRIPG.Piscata- way:IEEE,2011:126-129.

[27] 王芳佳.基于機器視覺的汽車駕駛疲勞識別方法研究[D].重慶:重慶大學(xué),2021.

[28] 袁春蘭,熊宗龍,周雪花,等.基于Sobel算子的圖像邊緣檢測研究[J].激光與紅外,2009,39(1):85-87.

[29] Canny J.A Computational Approach to Edge Detec- tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[30] 車暢,蘭文寶.Canny算法和中值濾波法的紅外全景圖像拼接[J].激光雜志,2020,41(5):109-113.

[31] LAAROUSSI S,BAATAOUI A,HALLI A,et al.A Dyn- amic Mosaicking Method for Finding an Optimal Seamline with Canny Edge Detector[J].Procedia Com- puter Science,2019,148:618-626.

[32] 張常彪.復(fù)雜環(huán)境下的車道線檢測算法研究[D].桂林: 桂林電子科技大學(xué),2018.

[33] 翁佳昊.基于深度學(xué)習(xí)的車道線檢測方法研究[D]. 揚州:揚州大學(xué),2022.

[34] Ju C G,Wang G D.Human Instance Segmentation[J]. Digital TV and Wireless Multimedia Communication, 2021,1390:41-51.

[35] Lin F,Li B,Zhou W G,et al.Single-stage Instance Segmentation[J].ACM Transactions on Multimedia Computing,Communications, and Applications,2020, 16(3):1-19.

[36] 劉澤凌.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測與車道保持控制研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2021.

[37] Fan C,Song Y P,JIAO Y J.Multi-lane Detection Based on Deep Convolutional Neural Network[J]. IEEE Access,2019,7:50833-150841.

[38] Cao J W,Song C X,Song S X,et al. Lane Detection Algorithm for Intelligent Vehicles in Complex Road Conditions and Dynamic Environments[J].Sensors, 2019,19(14):3166.

[39] Huval B,Wang T,Tandon S,et al.An Empirical Evaluation of Deep Learning on Highway Driving [J]. Computer Science,2015,29(4):691-702.

[40] 景輝.基于卷積神經(jīng)網(wǎng)絡(luò)的全距車道線檢測算法研究[D].北京:北京交通大學(xué),2018.

[41] Tabelini L,Berriel R,Paixao T M,et al.Poly LaneNet:Lane Estimation via Deep Polynomial Regr- ession[J].ArXiv Preprint ArXiv:2021:9412265.

[42] 趙紫霞.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測技術(shù)研究[D].北京:北京交通大學(xué),2020.

[43] 袁楓.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法研究[D].北京:北京交通大學(xué),2019.

Analysis of Key Technology of Machine Vision for Intelligent Driving Vehicle

FAN Jing1, SHAN Shiyu*2, LIN Xianshan1

( 1.Guangzhou Highway Engineering Group Company Limited, Guangzhou 510730, China;2.School of Energy and Electrical Engineering, Chang'an University, Xi'an 710064, China )

The key technologies of machine vision for intelligent driving vehicle are studied in this paper. Machine vision technology is composed of three parts: image acquisition, image processing and image analysis. Firstly, it introduces the whole procedure of the image acquisition, focuses on the analysis of the characteristics of charge coupled device(CCD) image sensor and complementary metal oxide semiconductor(CMOS) image sensor and their working principles. Furthermore, the application of image acquisition card based on field programmable gate array(FPGA) and digital singnal processor(DSP)has been investigated. Secondly, the key technologies of the image processing, including the region of interest extraction, image gray processing, image filtering denoising and edge detection are studied. Thirdly, in terms of the image analysis technology, the traditional digital image recognition technology and deep learning-based image recognition technology are compared. Combined with the research results of this paper, the future development trend of intelligent driving vehicle machine vision technology is prospected, and the development ideas of artificial intelligence, vehicle networking, vehicle communication system and multi-sensor are expounded.

Machine vision; Image capture; Image processing; Image analysis; Intelligent driving

TP391.4

A

1671-7988(2023)21-173-06

10.16638/j.cnki.1671-7988.2023.021.035

范靖（1976－），男，高級工程師，研究方向為智能駕駛，E-mail:13725272600@139.com。

山世玉（2000－），男，碩士研究生，研究方向為機器視覺，E-mail:shansy129@163.com。

基于計算機視覺的公路養(yǎng)護(hù)車輛異常駕駛行為識別與網(wǎng)聯(lián)監(jiān)控預(yù)警技術(shù)研究（220238220503-GC20-A015- F04）；“新能源汽車”國家重點研發(fā)項目科學(xué)數(shù)據(jù)分析與共享方案研究（211938220518）。