基于自動(dòng)駕駛的機(jī)器視覺(jué)原理及應(yīng)用

笪陳宇 唐明 雷鑑銘

摘要：機(jī)器視覺(jué)是一門跨越多門學(xué)科的前沿研究課題。視覺(jué)是生物億萬(wàn)年進(jìn)化的結(jié)晶，一代代科學(xué)家、工程師在模擬視覺(jué)的道路上傾注了無(wú)數(shù)心血，經(jīng)過(guò)數(shù)十年的研究，人類終于窺探到了神奇視覺(jué)的一角。文章將以自動(dòng)駕駛系統(tǒng)為例針對(duì)現(xiàn)有的機(jī)器視覺(jué)原理和圖像分析的典型算法進(jìn)行介紹，并展望機(jī)器視覺(jué)巨大的應(yīng)用前景。

關(guān)鍵詞：機(jī)器視覺(jué)；自動(dòng)駕駛；直接感知

1 視覺(jué)概述

視覺(jué)是生物數(shù)十億年來(lái)進(jìn)化的產(chǎn)物，是人類和其他高等生命體重要的信息來(lái)源。以人的視覺(jué)系統(tǒng)為例，它具有十分復(fù)雜的構(gòu)造：光線通過(guò)角膜和瞳孔進(jìn)入眼球內(nèi)部，經(jīng)過(guò)晶狀體的聚焦調(diào)節(jié)到達(dá)視網(wǎng)膜，視網(wǎng)膜上的感光細(xì)胞再將光信號(hào)轉(zhuǎn)化成神經(jīng)沖動(dòng)，最后由視覺(jué)中樞進(jìn)行分析。如何模擬人類視覺(jué)的全部或部分功能來(lái)實(shí)現(xiàn)所謂的“機(jī)器視覺(jué)”，是幾十年來(lái)科學(xué)家和工程師不懈努力的方向。從20世紀(jì)50年代的圖像識(shí)別問(wèn)題[1]得到研究以來(lái)，機(jī)器視覺(jué)獲得了長(zhǎng)足的發(fā)展。20世紀(jì)80年代，Marr[2]首次提出了“重建”和“識(shí)別”的自底向上的視覺(jué)框架，而后又有自頂向下的框架提出。到如今，機(jī)器視覺(jué)已經(jīng)成為一門貫通硬件和軟件的龐大研究課題，其中的圖像分析和語(yǔ)義理解更是和人工智能密不可分[3]。機(jī)器視覺(jué)的原理和其廣闊的應(yīng)用前景是本文的主要討論內(nèi)容。

2 機(jī)器視覺(jué)的基本原理

一個(gè)完整的機(jī)械視覺(jué)流程包括圖像采集、圖像處理和圖像分析3部分[4]。

2.1 圖像采集

傳統(tǒng)的工業(yè)電荷藕合器件圖像傳感器（Charge CoupledDevice，CCD）相機(jī)是將相當(dāng)數(shù)量的CCD排成陣列[5]，如：512X480， 640X480， 800X600， 1024X768 等等，稱作解析度，決定了最后成像的清晰度。光線通過(guò)鏡頭聚焦投射到CCD陣列上，每個(gè)CCD單元根據(jù)自身接收到的光線強(qiáng)度發(fā)生光電效應(yīng)，電信號(hào)再通過(guò)模數(shù)轉(zhuǎn)換得到一個(gè)數(shù)字量。這個(gè)數(shù)字量被稱為灰度或者灰階。最后計(jì)算機(jī)根據(jù)設(shè)定好的算法還原出圖像。

近幾年用互補(bǔ)金屬氧化物半導(dǎo)體（ComplementaryMetal-Oxide-Semiconductor，CMOS）組成陣列的CMOS相機(jī)發(fā)展迅速。與CCD陣列集成在半導(dǎo)體單晶材料上不同，CMOS是集成在被稱為金屬氧化物的半導(dǎo)體材料上的[6]。CCD工業(yè)生產(chǎn)的技術(shù)難度大成本高，被索尼、松下等大公司壟斷，而CMOS生產(chǎn)成本和難度都較低。同時(shí)CMOS相機(jī)還有抗輻射、低功耗、高集成等優(yōu)點(diǎn)，在克服噪音較大和感光靈敏度較差等不足后，取代CCD相機(jī)是大勢(shì)所趨。

2.2 圖像處理

狹義的圖像處理是指利用計(jì)算機(jī)強(qiáng)大的計(jì)算能力，對(duì)采集到的海量數(shù)字信號(hào)進(jìn)行轉(zhuǎn)換、壓縮等操作。傳統(tǒng)的預(yù)處理包括濾去噪聲、均衡直方圖、矯正畸變等[7]。廣義的圖像處理甚至包括了圖像分析的過(guò)程，涵蓋了識(shí)別、增強(qiáng)、對(duì)比、依托人工智能進(jìn)行“理解”等[8]。

2.3 圖像分析

圖像分析是當(dāng)今機(jī)器視覺(jué)研究的熱點(diǎn)領(lǐng)域，涌現(xiàn)了眾多算法和框架。這也是一個(gè)跨越多學(xué)科的課題，圖像分析方法的進(jìn)步同樣也幫助人們理解人類視覺(jué)的原理[3]。其中人工智能可視化、三維重建、虛擬現(xiàn)實(shí)是圖像分析的幾個(gè)研究的重點(diǎn)。隨著智能化、信息化時(shí)代的到來(lái)，人工智能和大數(shù)據(jù)的運(yùn)用勢(shì)必成為圖像分析研究的主要方向。本文將以自動(dòng)駕駛技術(shù)中涉及的動(dòng)態(tài)圖像理解為例介紹兩種典型的圖像分析方法。

3 自動(dòng)駕駛系統(tǒng)中兩種典型的圖像分析法

3.1 間接感知型

基于間接感知型的自動(dòng)駕駛技術(shù)是通過(guò)多個(gè)子系統(tǒng)的合作間接達(dá)到圖像分析目的的方法。其中主要包括目標(biāo)檢測(cè)、目標(biāo)跟蹤、場(chǎng)景語(yǔ)義分割、三維重建等子系統(tǒng)。每個(gè)子系統(tǒng)都不斷有新的發(fā)展、新的理論補(bǔ)充，這形成了間接感知技術(shù)包容并蓄、集百家之長(zhǎng)的特點(diǎn)。但同時(shí)，龐雜的子系統(tǒng)又使間接感知技術(shù)冗雜繁復(fù)，無(wú)形中提高了應(yīng)用的成本[7]。

3.1.1 目標(biāo)檢測(cè)

要準(zhǔn)確地檢測(cè)出目標(biāo)不僅要靠單一的光學(xué)傳感器，同時(shí)還要結(jié)合紅外傳感器、激光雷達(dá)等采集的信息綜合分析。目前普遍的目標(biāo)檢測(cè)方法的主要思路是通過(guò)優(yōu)化過(guò)的窮舉法分割圖像，再將分割的區(qū)域與數(shù)據(jù)庫(kù)中的已知數(shù)據(jù)對(duì)比，最后確定目標(biāo)。為了提高檢測(cè)的精準(zhǔn)度和正確率，人們已經(jīng)將神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的技術(shù)融入其中[9]。

3.1.2 目標(biāo)跟蹤

在車輛行駛的過(guò)程中，行人或結(jié)伴而走，或被障礙物遮擋，車輛或加速，或急停，目標(biāo)的狀態(tài)時(shí)時(shí)刻刻都在變化。自動(dòng)駕駛系需要在混亂的路況中通過(guò)跟蹤目標(biāo)得出距離、速度、加速的這些基本的物理量，從而做出正確的行為。在天氣良好、目標(biāo)無(wú)遮擋的理想條件下，可以采用直接匹配的方法：將相鄰兩幀的圖像直接對(duì)比找出目標(biāo)的運(yùn)動(dòng)規(guī)律。但當(dāng)條件受限，目標(biāo)被遮擋時(shí)，還需要采用基于區(qū)域統(tǒng)計(jì)的跟蹤法[10]，輪廓跟蹤法[11]、基于貝葉斯濾波的跟蹤法[7]等復(fù)雜的算法。

3.1.3 場(chǎng)景語(yǔ)義分割

場(chǎng)景語(yǔ)義分割的作用是將圖像中的像素劃分行人、車輛、道路這些基本的元素，為自動(dòng)駕駛提供參考。傳統(tǒng)上研究人員常運(yùn)用概率圖模型進(jìn)行分割。但因?yàn)閱蝹€(gè)像素所表達(dá)的信息十分有限，有的學(xué)者將超像素的思路引入了圖形分割領(lǐng)域，還有的學(xué)者通過(guò)車輛行駛過(guò)程中常見(jiàn)目標(biāo)關(guān)系提出優(yōu)化的概率圖模型。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)也推動(dòng)了圖像語(yǔ)義分割技術(shù)的發(fā)展。

3.2 直接感知型

直接感知，顧名思義是不通過(guò)分析圖像中的目標(biāo)信息而通過(guò)直接學(xué)習(xí)圖像代表的車輛狀態(tài)信息從而指導(dǎo)駕駛的感知模式。自動(dòng)駕駛系統(tǒng)利用卷積神經(jīng)網(wǎng)絡(luò)[9]學(xué)習(xí)汽車的第一視角圖像所表示的各種道路參數(shù)，在研究人員的監(jiān)督下不斷提高駕駛技術(shù)、豐富知識(shí)儲(chǔ)備。直接感知型的圖像分析法省卻了各種子系統(tǒng)的集成和整合，復(fù)雜性降低，在高速公路等標(biāo)志明顯的路況條件下表現(xiàn)良好。但是，當(dāng)此系統(tǒng)在日常道路這樣沒(méi)有明顯特點(diǎn)的路況下運(yùn)作時(shí)表現(xiàn)卻不理想。

4 機(jī)器視覺(jué)的應(yīng)用前景

4.1 自動(dòng)駕駛汽車

機(jī)器視覺(jué)是自動(dòng)駕駛汽車、自動(dòng)駕駛技術(shù)的重要組成部分。駕駛員的觀察、監(jiān)視、分析的工作都將由機(jī)器視覺(jué)系統(tǒng)和其他傳感系統(tǒng)承擔(dān)。近幾年來(lái)，自動(dòng)駕駛、智能汽車發(fā)展迅速，消費(fèi)市場(chǎng)急劇擴(kuò)大。行業(yè)內(nèi)普遍預(yù)測(cè)自動(dòng)駕駛汽車將在2025年前后呈現(xiàn)爆發(fā)式增長(zhǎng)；到2035年，自動(dòng)駕駛汽車將取代當(dāng)今一般的車輛，屆時(shí)自動(dòng)駕駛整車及相關(guān)設(shè)備、應(yīng)用的收入規(guī)?？傆?jì)將超過(guò)5 000億美元。

4.2 工業(yè)制造領(lǐng)域

機(jī)器視覺(jué)擁有人類視覺(jué)不可比擬的精確度和穩(wěn)定性，在精密儀器檢測(cè)、電子元件裝配等制造業(yè)領(lǐng)域有巨大應(yīng)用前景[12]。人眼無(wú)法察覺(jué)超過(guò)可見(jiàn)光范圍的信息，但機(jī)器視覺(jué)系統(tǒng)可以利用紅外傳感器、超聲波傳感器獲得比人眼更多的信息。同時(shí)機(jī)器不知疲倦、不存在主觀觀測(cè)誤差，所以在工業(yè)領(lǐng)域，機(jī)器視覺(jué)正以極快的速度替代肉眼觀察。印刷電路板時(shí)，可以使用機(jī)器視覺(jué)進(jìn)行定位，減小誤差；加工機(jī)械零件時(shí)，可以使用機(jī)器視覺(jué)捕捉產(chǎn)品的瑕疵誤差，提高效率；在食品包裝、物流分類、零件裝配等領(lǐng)域，機(jī)器視覺(jué)已經(jīng)大量取代了人工。

[參考文獻(xiàn)]

[1]李延浩.機(jī)器視覺(jué)在多領(lǐng)域內(nèi)的應(yīng)用[J].電子技術(shù)與軟件工程，2018（1）：93-94.

[2]MARR D.Vision-A computational investigation into the human representation and processing of visual informantion[M]. San Francisco：W H Freeman and Company， 1982.

[3]周勇.智能車輛中的幾個(gè)關(guān)鍵技術(shù)研究[D].上海：上海交通大學(xué)，2007.

[4]何濤.或談機(jī)器視覺(jué)的原理及應(yīng)用[J].技術(shù)與市場(chǎng)，2011（5）：11.

[5]朱飛虎.機(jī)器視覺(jué)原理及應(yīng)用[J].自動(dòng)化博覽，2005（2）：81-83.

[6]王旭東，葉玉堂.CMOS與CCD圖像傳感器的比較研究和發(fā)展趨勢(shì)[J].電子設(shè)計(jì)工程，2010（11）：178-181.

[7]白辰曱.基于計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的自動(dòng)駕駛方法研究[D]哈爾濱：哈爾濱工業(yè)大學(xué)，2017.

[8]郭元戎.圖像處理與識(shí)別技術(shù)的發(fā)展應(yīng)用[J].電子技術(shù)與軟件工程，2018（1）：58-59.

[9]LECUN Y， BENGIO Y， HINTON G.Deep learning[J].Nature， 2015（7553）：436-444.

[10]DORIN C， VISVANATHAN R， PETER M.Kernel-based object tracking [J].Pattern Analysis and Machine Intelligence， 2003（5）：564-577.

[11]GEMIGNANI V， PATERNI M， BENASSI A， et al.Real time contour tracking with a new edge detector[J].Real-Time Image， 2004（2）：102-116.

[12]李延浩.機(jī)器視覺(jué)在多領(lǐng)域內(nèi)的應(yīng)用[J].電子技術(shù)與軟件工程，2018（1）：93-94.