智能視覺感知與理解研究態(tài)勢(shì)分析

張 迪，魯 寧，李宜展，滕 飛，王 麗

1.中國(guó)科學(xué)院 文獻(xiàn)情報(bào)中心，北京 100190

2.中國(guó)科學(xué)院大學(xué)，北京 100190

3.中國(guó)科學(xué)院 自動(dòng)化研究所，北京 100190

1 引言

視覺感知與理解是客觀事物通過人的視覺在人腦中形成的直接反映，以及進(jìn)一步的理解和認(rèn)識(shí)。智能視覺感知與理解研究利用計(jì)算機(jī)系統(tǒng)解釋視覺圖像，實(shí)現(xiàn)類似人類或其他高等生物視覺系統(tǒng)理解外部世界的行為，是當(dāng)前計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)和難點(diǎn)。從1966年學(xué)科建立（Summer Vision Project，MIT）至今，盡管智能視覺感知與理解領(lǐng)域仍有大量難以理解，尚待解決的問題，該技術(shù)還是取得了長(zhǎng)足的進(jìn)步，尤其是隨著視頻內(nèi)容的井噴發(fā)展，智能視覺感知與理解研究獲得了大量的數(shù)據(jù)支撐，同時(shí)也獲得了重要的應(yīng)用場(chǎng)景。智能視覺感知與理解開始在智慧交通、智能安防、醫(yī)療影像分析、自動(dòng)駕駛、機(jī)器人等領(lǐng)域獲得重要的應(yīng)用，各國(guó)也進(jìn)行了相應(yīng)的規(guī)劃制定和項(xiàng)目部署，數(shù)據(jù)量的增加使大范圍視覺感知和理解以及無人平臺(tái)的視覺感知與理解成為重要的研究方向，行業(yè)各相關(guān)公司也都推出了重要的視覺感知與理解相關(guān)產(chǎn)品。

2 政策規(guī)劃與項(xiàng)目部署

2.1 政策規(guī)劃

視覺感知與理解技術(shù)是人工智能、智慧城市、智慧交通、智能安防等領(lǐng)域的重要研究?jī)?nèi)容。在人工智能、智慧城市、智慧交通、智能安防相關(guān)的規(guī)劃部署文件中，都不同程度地提到對(duì)視覺感知設(shè)備和理解方法的研發(fā)需求和培育要求。

人工智能是信息時(shí)代的尖端科技，各國(guó)政府皆不遺余力的推進(jìn)一系列人工智能戰(zhàn)略和產(chǎn)業(yè)規(guī)劃。美國(guó)在人工智能方面起步較早，科研機(jī)構(gòu)、企業(yè)和軍方為人工智能貢獻(xiàn)了大量的技術(shù)和應(yīng)用。智能視覺感知作為人工智能的主要研究領(lǐng)域，國(guó)家組織了大量的力量進(jìn)行研究攻關(guān)，其中，2015年底，美國(guó)國(guó)家科學(xué)基金會(huì)（NSF）“國(guó)家機(jī)器人計(jì)劃第四輪”聯(lián)合國(guó)防部（DOD）、國(guó)防部高級(jí)研究計(jì)劃局（DARPA）、國(guó)家航空航天局（NASA）、國(guó)立衛(wèi)生研究院（NIH）、農(nóng)業(yè)部（USDA）等聯(lián)邦機(jī)構(gòu)部門宣布，將投資3 700萬美元用于推動(dòng)協(xié)作機(jī)器人（corobots）的開發(fā)與使用，其中感知和理解方面，就涉及傳感器/生物傳感器系統(tǒng)和網(wǎng)絡(luò)，針對(duì)特定目標(biāo)的高空間分辨率和高時(shí)間分辨率的實(shí)時(shí)環(huán)境感知系統(tǒng)，各種光照條件下的目標(biāo)識(shí)別感知系統(tǒng)和增強(qiáng)智能感知的策略等。2016年12月，白宮發(fā)布了一份名為《人工智能、自動(dòng)化和經(jīng)濟(jì)》[1]報(bào)告，提出了聯(lián)邦政府對(duì)智能監(jiān)控方面的需求。韓國(guó)也非常重視人工智能領(lǐng)域的研究，韓國(guó)投資了引人矚目的人工智能計(jì)劃“Deep View”，該項(xiàng)目就是一項(xiàng)計(jì)算機(jī)視覺相關(guān)項(xiàng)目。我國(guó)人工智能雖然起步較晚，但政府也一直努力推進(jìn)人工智能的研究，《“十三五”國(guó)家科技創(chuàng)新規(guī)劃》明確人工智能作為發(fā)展新一代信息技術(shù)的主要方向，在圍繞新一代信息技術(shù)等十大領(lǐng)域構(gòu)建現(xiàn)代產(chǎn)業(yè)技術(shù)體系中明確指出“發(fā)展自然人機(jī)交互技術(shù)，重點(diǎn)是智能感知與認(rèn)知、虛實(shí)融合與自然交互、語義理解和智慧決策”[2]。2016年8月26日，國(guó)家發(fā)展改革委發(fā)布《關(guān)于請(qǐng)組織申報(bào)“互聯(lián)網(wǎng)+”領(lǐng)域創(chuàng)新能力建設(shè)專項(xiàng)的通知》[3]，批準(zhǔn)建立了由百度、清華大學(xué)、北京航空航天大學(xué)等組成的“深度學(xué)習(xí)國(guó)家隊(duì)”，該國(guó)家隊(duì)將在聽覺、視覺感知和語言理解三個(gè)人工智能基礎(chǔ)領(lǐng)域?qū)崿F(xiàn)技術(shù)突破。發(fā)改委推出的機(jī)器人產(chǎn)業(yè)發(fā)展規(guī)劃（2016—2020年）[4]提出重點(diǎn)圍繞人工智能、感知與識(shí)別、機(jī)構(gòu)與驅(qū)動(dòng)、控制與交互等方面開展基礎(chǔ)和共性關(guān)鍵技術(shù)研究。除了美國(guó)、韓國(guó)和中國(guó)之外，歐盟發(fā)起的“藍(lán)腦計(jì)劃”“人類大腦工程”也引領(lǐng)了人工智能前沿技術(shù)的發(fā)展，英國(guó)的“數(shù)字英國(guó)戰(zhàn)略”、日本的“機(jī)器人新戰(zhàn)略”、人工智能產(chǎn)業(yè)化路線圖，都在國(guó)家層面對(duì)人工智能領(lǐng)域進(jìn)行了部署。這些人工智能項(xiàng)目都涉及感知與理解的相關(guān)研究和部署。

智慧城市方面，日本“第5期科技基本規(guī)劃”，提出名為“超級(jí)智能社會(huì)”[5]的未來社會(huì)構(gòu)想，要最大限度應(yīng)用物聯(lián)網(wǎng)、機(jī)器人、人工智能、大數(shù)據(jù)等信息通訊技術(shù)，建設(shè)繼狩獵社會(huì)、農(nóng)耕社會(huì)、工業(yè)社會(huì)、信息社會(huì)之后的超智慧社會(huì)（社會(huì)5.0）。美國(guó)國(guó)家科學(xué)基金會(huì)（NSF）利用“產(chǎn)業(yè)與高校合作研究中心項(xiàng)目”（IUCRC）[6]鼓勵(lì)以產(chǎn)研結(jié)合的方式加強(qiáng)物聯(lián)網(wǎng)平臺(tái)、智慧城市、交通及其管理系統(tǒng)方面的研究。智慧城市的建設(shè)離不開感知與理解技術(shù)的研發(fā)。

智慧交通方面，2017年2月，我國(guó)國(guó)務(wù)院印發(fā)了《“十三五”現(xiàn)代綜合交通運(yùn)輸體系發(fā)展規(guī)劃》[7]，在提升交通發(fā)展智能化水平方面，提出了檢測(cè)設(shè)備與交通設(shè)施同步建設(shè)，建立網(wǎng)絡(luò)平臺(tái)，形成動(dòng)態(tài)感知、全面覆蓋、泛在互聯(lián)的交通運(yùn)輸運(yùn)行監(jiān)控體系。美國(guó)的《智能交通系統(tǒng)（ITS）戰(zhàn)略規(guī)劃2015—2019年》[8]提出包括實(shí)時(shí)監(jiān)測(cè)、探測(cè)區(qū)域性交通流運(yùn)行狀況，快速收集各種交通流運(yùn)行數(shù)據(jù)，及時(shí)分析交通流量運(yùn)行特征、預(yù)測(cè)變化，制訂最佳應(yīng)變措施和方案，將遠(yuǎn)程信息處理網(wǎng)絡(luò)連入車載裝置等感知理解相關(guān)內(nèi)容。

智能安防方面，我國(guó)《關(guān)于加強(qiáng)公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)應(yīng)用工作的若干意見》[9]提出截止2020年，相關(guān)部門將加大安防視頻監(jiān)控力度，使用人工智能等技術(shù)實(shí)現(xiàn)全網(wǎng)覆蓋、全網(wǎng)監(jiān)控，建立公共安全視頻監(jiān)控網(wǎng)和視頻分析平臺(tái)的指示。《中國(guó)安防行業(yè)“十三五”（2016—2020年）發(fā)展規(guī)劃》[10]提出用視頻結(jié)構(gòu)化描述技術(shù)改造傳統(tǒng)的視頻監(jiān)控系統(tǒng)，使之形成新一代的視頻監(jiān)控系統(tǒng)智慧化、語義化、情報(bào)化的語義視頻監(jiān)控系統(tǒng)，同時(shí)開展有關(guān)視頻結(jié)構(gòu)化描述數(shù)據(jù)的應(yīng)用服務(wù)模式研究，針對(duì)典型應(yīng)用環(huán)境制定視頻結(jié)構(gòu)化應(yīng)用的系統(tǒng)及解決方案。

綜合人工智能、智慧城市、智慧交通、智能安防方向的政策部署來看，視覺感知與理解都將在其中扮演重要的角色，政策著力點(diǎn)大多在于基礎(chǔ)設(shè)置的建設(shè)以及相關(guān)感知與理解技術(shù)的研發(fā)。

2.2 項(xiàng)目部署

利用國(guó)家自然科學(xué)基金NSFC數(shù)據(jù)庫(kù)數(shù)據(jù)對(duì)我國(guó)視覺感知與理解相關(guān)的項(xiàng)目進(jìn)行分析，可以看出我國(guó)國(guó)家自然科學(xué)基金對(duì)該領(lǐng)域的項(xiàng)目支持力度是非常大的，截止2016年（由于數(shù)據(jù)庫(kù)收錄2016年之前數(shù)據(jù)），項(xiàng)目數(shù)量1 186項(xiàng)，經(jīng)費(fèi)近5億。資助的項(xiàng)目從1988年開始，數(shù)量在2010年達(dá)到峰值。從項(xiàng)目類型來看，面上項(xiàng)目、青年科學(xué)基金項(xiàng)目、重大研究計(jì)劃項(xiàng)目和重點(diǎn)項(xiàng)目的經(jīng)費(fèi)超過總額的85%。覆蓋面也是較為廣泛的，除主要的面上項(xiàng)目、青年科學(xué)基金項(xiàng)目外，還支持了專項(xiàng)基金項(xiàng)目、聯(lián)合基金項(xiàng)目、地區(qū)科學(xué)基金項(xiàng)目、國(guó)際合作交流項(xiàng)目等，如圖1和表1所示。

圖1 國(guó)家自然科學(xué)基金項(xiàng)目資助趨勢(shì)

表1 國(guó)家自然科學(xué)基金資助項(xiàng)目類型分布

從項(xiàng)目所屬的學(xué)科來看（圖2），信息與通信工程、控制科學(xué)與工程、計(jì)算機(jī)科學(xué)與技術(shù)三大領(lǐng)域的項(xiàng)目數(shù)量最多，分別占總量的31%、21%和17%。在其他類型中，包含了地理學(xué)、生物、交通運(yùn)輸、管理工程、海洋等多個(gè)學(xué)科。從此也可以看出，視覺感知與理解領(lǐng)域的技術(shù)應(yīng)用前景廣闊。

圖2 國(guó)家自然科學(xué)基金資助項(xiàng)目所屬學(xué)科分布

從項(xiàng)目申請(qǐng)的機(jī)構(gòu)來看（圖3），西安電子科技大學(xué)以61個(gè)科研項(xiàng)目排名第一，經(jīng)費(fèi)為2 614萬元。中科院自動(dòng)化研究所申請(qǐng)科研項(xiàng)目40項(xiàng)，雖然項(xiàng)目數(shù)不及西安電子科技大學(xué)，但經(jīng)費(fèi)數(shù)量2 885萬元，排名第一。

圖3 國(guó)家自然科學(xué)基金資助項(xiàng)目申請(qǐng)量TOP10機(jī)構(gòu)

3 大范圍視頻視覺感知與理解研究態(tài)勢(shì)

隨著數(shù)字視頻監(jiān)控技術(shù)的發(fā)展和國(guó)際安全形勢(shì)的日趨嚴(yán)峻，世界各國(guó)部署的視頻監(jiān)控系統(tǒng)越來越密集，攝像頭等設(shè)備數(shù)量上的增加帶來了大范圍視覺采集的可能，通過人工處理這些海量的視頻數(shù)據(jù)，變得很不現(xiàn)實(shí)的?；谟?jì)算機(jī)視覺的大范圍視頻內(nèi)容識(shí)別和理解，就成為了大范圍視頻解析平臺(tái)必不可少的核心技術(shù)。

黃凱奇等綜述認(rèn)為[11]基于視頻的視覺識(shí)別與解析理解技術(shù)方法主要包括目標(biāo)檢測(cè)、目標(biāo)分類、目標(biāo)跟蹤和行為分析四個(gè)方面，涉及特征選擇與提取、特征降維、融合增強(qiáng)、姿態(tài)識(shí)別、個(gè)體識(shí)別、行為識(shí)別、事件分析等眾多技術(shù)分支。單言虎[12]等綜述了人的視覺識(shí)別行為研究，認(rèn)為更為真實(shí)的使用場(chǎng)景，深度學(xué)習(xí)在時(shí)序數(shù)據(jù)中的應(yīng)用，新型傳感器數(shù)據(jù)將為視覺識(shí)別帶來契機(jī)。姜丹[13]等綜述了視頻處理在智能交通中的應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)，對(duì)基于內(nèi)容的視頻分析與檢索視頻檢索系統(tǒng)進(jìn)行了介紹。

本文通過對(duì)Web of Science數(shù)據(jù)庫(kù)收錄的大范圍視頻視覺感知與理解論文的計(jì)量分析，也可以觀察近年來大范圍視頻視覺感知與理解的研究動(dòng)態(tài)和應(yīng)用情況。

從圖4可以看出，在20世紀(jì)90年代已經(jīng)出現(xiàn)涉及大范圍視頻視覺感知與理解技術(shù)的研究，近年來的年發(fā)文量增長(zhǎng)顯著，尤其是在2013年之后，每年的增長(zhǎng)量都在50篇左右（2017年數(shù)據(jù)不完整，僅供參考）。這說明視頻視覺感知與理解的研究成果越來越多，研究受到了越來越多的關(guān)注。

從發(fā)文國(guó)家來看（圖5），美國(guó)和中國(guó)的產(chǎn)出較多，分別占總量的35%和26%，其后是日本、英國(guó)、德國(guó)、加拿大、澳大利亞、法國(guó)、印度和韓國(guó)。從美、中兩國(guó)年度發(fā)文趨勢(shì)來看（圖6），美國(guó)的年發(fā)文量基本維持在年發(fā)文總量的30%～40%，而中國(guó)自2012年以來快速增長(zhǎng)，出現(xiàn)明顯的趕超趨勢(shì)，其他國(guó)家的發(fā)文量保持緩慢增長(zhǎng)的趨勢(shì)。

圖4 大范圍視頻視覺感知與理解方向發(fā)文趨勢(shì)

圖5 大范圍視頻視覺感知與理解方向論文國(guó)家分布

圖6 大范圍視頻視覺感知與理解方向各國(guó)發(fā)文趨勢(shì)

對(duì)發(fā)表論文的主要機(jī)構(gòu)進(jìn)行分析（圖7），可以看出，大范圍視頻視覺感知與理解方面重要的研究機(jī)構(gòu)是中國(guó)科學(xué)院、卡內(nèi)基-梅隆大學(xué)、清華大學(xué)、新加坡國(guó)立大學(xué)、哥倫比亞大學(xué)、南洋理工大學(xué)、北京郵電大學(xué)、香港大學(xué)、微軟亞洲研究院、北京大學(xué)和加州大學(xué)伯克利分校。

圖7 大范圍視頻視覺感知與理解論文發(fā)表主要機(jī)構(gòu)

基于此次構(gòu)建的數(shù)據(jù)集分析，該領(lǐng)域的相關(guān)工作約有三分之二（1 616/2 383）發(fā)布在國(guó)際級(jí)的學(xué)術(shù)會(huì)議上，表2是排名前7的會(huì)議及其近期主題詞。從這些會(huì)議的主題詞的變化歷程來看，研究?jī)?nèi)容和熱點(diǎn)從目標(biāo)檢測(cè)與跟蹤等底層算法向高層的行為分析技術(shù)轉(zhuǎn)變，近年在復(fù)雜事件識(shí)別與分析、社會(huì)行為分析、人群分析等技術(shù)方向的研究熱度頗高。另外，面部識(shí)別、相似行為（跑步與慢跑）等的識(shí)別也對(duì)算法提出了更為精細(xì)化的要求。同時(shí)，隨著視頻數(shù)據(jù)獲取越來越容易，視頻資源越來多豐富，針對(duì)大型數(shù)據(jù)的，基于語義的快速檢索、去冗余、視頻注釋、摘要、字幕的生成技術(shù)也受到關(guān)注，在這些技術(shù)中也涉及到對(duì)圖片、音頻、屬性的靈活應(yīng)用，測(cè)試數(shù)據(jù)集也更為豐富和多元化，如Youtube、Google等。

從涉及的方法來看，對(duì)卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法在精度、效率、新的輔助信息上的改進(jìn)較多，另外深度學(xué)習(xí)、學(xué)習(xí)轉(zhuǎn)移等方法在時(shí)序數(shù)據(jù)中的應(yīng)用研究成為熱點(diǎn)。

表2 大范圍視頻視覺感知與理解重要會(huì)議發(fā)文與主題分布

在應(yīng)用來看，會(huì)議中報(bào)道了與大范圍視覺感知相關(guān)的利用人的服裝細(xì)粒度屬性識(shí)別失蹤人口[14]；基于運(yùn)動(dòng)信息語義、建筑物的車輛檢測(cè)[15]；基于人群分析的報(bào)警系統(tǒng)與誤報(bào)控制[16]；利用網(wǎng)絡(luò)視頻重構(gòu)近地尺度的圖像以替代衛(wèi)星數(shù)據(jù)[17]；基于3D重建技術(shù)的航空廣域運(yùn)動(dòng)分析[18]；利用無人機(jī)視頻分析以彌合地面和航空影像之間的差距[19]；基于對(duì)象和場(chǎng)景解析技術(shù)的自動(dòng)駕駛案例[20]；基于行為分析的烹飪、外科手術(shù)的監(jiān)控和評(píng)估[21]等等?？梢钥闯?，智能視頻監(jiān)控的應(yīng)用領(lǐng)域也在快速地?cái)U(kuò)展。

4 無人平臺(tái)視覺感知與理解研究態(tài)勢(shì)

在攝影測(cè)量或遙感方面，原本需要靠高精度的地面控制點(diǎn)才能精確解算出影像的姿態(tài)信息和位置，隨著定位精度和IMU靈敏性的提高，無人平臺(tái)能夠在不利用地面控制點(diǎn)的情況下獲取精確的影像姿態(tài)位置信息[22]；在偵查領(lǐng)域方面，可進(jìn)行現(xiàn)場(chǎng)照片、指紋識(shí)別、手跡識(shí)別、印章識(shí)別等進(jìn)行處理和辨識(shí)模糊人像等。此外，在智能汽車[23]、消防救援[24]、在產(chǎn)品質(zhì)量檢測(cè)、生產(chǎn)過程的自動(dòng)控制、CAD/CAM等方面都有應(yīng)用[25]。無人平臺(tái)圖像分析水平的高低直接決定了無人平臺(tái)應(yīng)用水平的高下，開發(fā)無人平臺(tái)影像高效、自動(dòng)化處理系統(tǒng)，建立無人平臺(tái)圖像信息深度挖掘體系，是目前關(guān)注的熱點(diǎn)和研究的難點(diǎn)[26]。

如圖8，揭示了無人平臺(tái)視覺感知與理解技術(shù)Web of Science（2 997篇）收錄論文數(shù)量的年度統(tǒng)計(jì)情況，可以看該技術(shù)呈現(xiàn)遞增趨勢(shì)。引用率高達(dá)887次的無人平臺(tái)視覺識(shí)別技術(shù)出現(xiàn)在2007年，Davison等人在IEEE Transactions on Pattern Analysis and Machine Intelligence發(fā)表的“MonoSLAM：Real-time single camera SLAM”[27]，該論文提出了一種實(shí)時(shí)算法，是依靠一個(gè)單一控制相機(jī)的移動(dòng)機(jī)器人在純視覺SLAM方法領(lǐng)域的首次成功應(yīng)用，實(shí)現(xiàn)了從結(jié)構(gòu)到運(yùn)動(dòng)方法的實(shí)時(shí)但無漂移的性能。主要?jiǎng)?chuàng)新點(diǎn)包括運(yùn)用主動(dòng)的方法來映射和測(cè)量，使用一般的運(yùn)動(dòng)模型、平滑的攝像機(jī)運(yùn)動(dòng)、單眼特征初始化和特征方向估計(jì)提供解決方案，目前的主要應(yīng)用有實(shí)時(shí)三維定位。

圖8 無人平臺(tái)視覺感知與理解技術(shù)論文發(fā)表趨勢(shì)

無人平臺(tái)的視覺感知與理解技術(shù)主要研發(fā)國(guó)家是美國(guó)、日本、中國(guó)和德國(guó)，美國(guó)處于絕對(duì)領(lǐng)先地位，日本、中國(guó)和德國(guó)研發(fā)量相當(dāng)。法國(guó)、西班牙、韓國(guó)、英國(guó)、意大利和加拿大緊隨其后，如表3所示。對(duì)主題分析可以看出，近年來，無人平臺(tái)視覺感知與理解的對(duì)象包括空中圖像和地面對(duì)象，靜態(tài)圖像和動(dòng)態(tài)圖像；應(yīng)用目標(biāo)主要是靜態(tài)或動(dòng)態(tài)目標(biāo)的檢測(cè)、識(shí)別、追蹤和分析，從而實(shí)現(xiàn)視覺導(dǎo)航和人機(jī)交互等功能；方法層面，差分法、光流法和統(tǒng)計(jì)學(xué)習(xí)模型依然是常用的方法，卷積神經(jīng)網(wǎng)絡(luò)算法的不斷改進(jìn)、語義理解和仿生視覺研究的加入也為無人機(jī)視覺感知與理解注入活力，3D定位和3D測(cè)量、3D目標(biāo)跟蹤等3D視覺技術(shù)在無人平臺(tái)研究熱點(diǎn)較高。形式層面，無人機(jī)、無人車、交互式機(jī)器人、并聯(lián)機(jī)器人、娛樂機(jī)器人、社交機(jī)器人、合作機(jī)器人等無人平臺(tái)形式拓寬了應(yīng)用的同時(shí)為視覺感知和理解提出了更高的要求。

表3 無人平臺(tái)視覺感知與理解技術(shù)論文發(fā)表國(guó)家分布情況（TOP10）

如圖9，揭示了無人平臺(tái)視覺感知與理解技術(shù)主要研究機(jī)構(gòu)。排名前10位的分別是慕尼黑理工大學(xué)、東京大學(xué)、中國(guó)科學(xué)院、卡耐基梅隆大學(xué)、麻省理工學(xué)院、上海交通大學(xué)、早稻田大學(xué)、韓國(guó)科學(xué)技術(shù)研究院、法國(guó)國(guó)家科研中心和香港大學(xué)。

圖9 無人平臺(tái)視覺感知與理解技術(shù)論文發(fā)表的機(jī)構(gòu)（TOP10）分布

5 產(chǎn)業(yè)應(yīng)用

智能視覺感知與理解在智慧城市、智能交通、智能安防方面已經(jīng)取得了一些好的應(yīng)用案例，如韓國(guó)松島智慧互聯(lián)城市[28]利用思科統(tǒng)一的服務(wù)平臺(tái)進(jìn)行，核心技術(shù)組件是思科相關(guān)視頻技術(shù)，這些嵌入街道和建筑物的傳感器，可以檢測(cè)從溫度、濕度到道路交通條件等問題，幫助城市提高反應(yīng)速度和運(yùn)行效率。智能交通方面，智能視覺感知與理解技術(shù)為智能交通系統(tǒng)提供了更為直觀方便的分析手段，可以在交通監(jiān)控系統(tǒng)、交通指揮與誘導(dǎo)系統(tǒng)、自動(dòng)駕駛與導(dǎo)航系統(tǒng)、輔助駕駛系統(tǒng)、智能收費(fèi)系統(tǒng)、交通違章系統(tǒng)等方面開展應(yīng)用。上海平安浦東視頻聯(lián)網(wǎng)監(jiān)控[29]、蘇州工業(yè)園自適應(yīng)交通管控[30]、香港交通監(jiān)控[31]、倫敦交通[32]、東京交通[33]都已經(jīng)采用了智慧交通的理念。智能安防方面，波士頓爆炸案[34]中，社交媒體監(jiān)視、互聯(lián)網(wǎng)通訊分析、案發(fā)現(xiàn)場(chǎng)圖像視頻檢索分析、監(jiān)控?cái)z像頭硬件供應(yīng)等技術(shù)發(fā)揮了強(qiáng)大的作用。

公司方面，大量行業(yè)相關(guān)公司研發(fā)或者布局了相關(guān)的技術(shù)和產(chǎn)品，表4舉例介紹了典型的大范圍視覺感知與理解和無人平臺(tái)視覺感知與理解相關(guān)公司產(chǎn)品。

大范圍視覺感知與理解方面，IBM公司[35]的Watson視覺識(shí)別圖像分類器（Watson Visual Recognition）使用深度學(xué)習(xí)算法來分析場(chǎng)景、對(duì)象、臉和其他內(nèi)容的圖像，可以通過訓(xùn)練自定義分類器創(chuàng)建專門類，其采用了圖形處理器（GPUs）的分布式網(wǎng)絡(luò)，將所有信息融合到具有數(shù)萬標(biāo)簽的卷積神經(jīng)網(wǎng)絡(luò)，并研發(fā)出利用語義推理優(yōu)化圖片描述的新推論方法。IBM智能視頻分析可與Genetec、Milestone、Cisco、Acti和Pelco等視頻管理軟件和網(wǎng)絡(luò)視頻錄制解決方案相集成，可輕松地集成其他支持Microsoft Direct Show Filter的解決方案，支持活動(dòng)搜索、交叉關(guān)聯(lián)和趨勢(shì)分析，目前可以進(jìn)行移動(dòng)攝像分析、高級(jí)人臉檢測(cè)與識(shí)別、支持CJIS密碼政策、權(quán)限管理和視頻文件的攝入。中國(guó)亦有大量公司推出相關(guān)的產(chǎn)品和服務(wù)，華為視頻云[36]解決方案通過VCN和OceanStor兩種方案實(shí)現(xiàn)城市監(jiān)控視頻的整體存儲(chǔ)、跨域共享，保護(hù)視頻數(shù)據(jù)安全，并支持彈性建設(shè)，平滑擴(kuò)容。華為VCN平臺(tái)將視頻接入、流媒體轉(zhuǎn)發(fā)、視頻存儲(chǔ)管理、錄像點(diǎn)播、設(shè)備業(yè)務(wù)管理、錄像備份、磁盤陣列各硬件設(shè)備單元合為一體，單臺(tái)支持最高256路視頻接入，并支持堆疊。不同警局單位的VCN節(jié)點(diǎn)可以通過網(wǎng)絡(luò)組成監(jiān)控云，最高支持20萬路視頻接入。華為OceanStor 9000視頻云存儲(chǔ)系統(tǒng)提供視頻流整合、智能預(yù)取、IO直通等技術(shù)，使視頻圖像檢索效率得到顯著提升，支持4∶1存儲(chǔ)讀寫比例。另外系統(tǒng)具有支持上千路視頻并行分析處理的能力，可以對(duì)來自前端數(shù)千個(gè)高清攝像機(jī)的并發(fā)視頻數(shù)據(jù)做到負(fù)載均衡、動(dòng)態(tài)管理。針對(duì)原始視頻、分析過程視頻或圖片、涉案事件視頻或圖片的信息關(guān)聯(lián)管理，提供分布式并行檢索與關(guān)聯(lián)分析，讓刑偵辦案處于更有序的管理狀態(tài)，幫助公安客戶高效快速進(jìn)行事件過濾篩選。華為智能分析云平臺(tái)產(chǎn)品有VCM5020和VCM5010兩種型號(hào)。VCM5020單機(jī)支持816路并發(fā)智能分析，實(shí)現(xiàn)千倍速視頻采集摘要，視頻快速搜索，車牌識(shí)別，行為分析，視頻增強(qiáng)修復(fù)等豐富功能。VCM5010關(guān)鍵特征與VCM5020類似，單機(jī)支持96路并發(fā)智能分析。華為eLTE寬帶集群解決方案，基于最先進(jìn)的LTE無線寬帶技術(shù)，上行吞吐量可達(dá)50 Mb/s，下行吞吐量達(dá)100 Mb/s。一網(wǎng)支持多媒體集群語音、視頻調(diào)度，高清無線視頻監(jiān)控，遠(yuǎn)程數(shù)據(jù)采集和移動(dòng)辦公業(yè)務(wù)。目前，華為視頻云解決方案已運(yùn)用于敦煌安全旅游城市、信息科技下的平安龍崗、上海嘉定高清平安城市等項(xiàng)目中。

無人平臺(tái)視覺感知與理解方面，行業(yè)領(lǐng)軍的Google無人駕駛視覺技術(shù)借助了美國(guó)工業(yè)知覺公司的3D視覺系統(tǒng)[37]，通過用OpenCV（計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)庫(kù)）等分析由激光傳感器等收集的圖像，例如追蹤物體的動(dòng)態(tài)、物體識(shí)別、圖像縫合、抓取風(fēng)景提供虛擬現(xiàn)實(shí)功能等，來判斷安全行駛路線，實(shí)現(xiàn)自動(dòng)駕駛汽車上的圖像識(shí)別和深度分析；Google通過與Jetpac公司在圖像識(shí)別技術(shù)上的融合，對(duì)行駛道路上的目標(biāo)障礙物的檢測(cè)和識(shí)別匹配得到改進(jìn)，體現(xiàn)在匹配識(shí)別時(shí)間的縮短和相關(guān)識(shí)別復(fù)雜程度的提升，并解決了在檢測(cè)圖像質(zhì)量不佳的情況下提升其道路標(biāo)示的可確定性，同時(shí)還增加了對(duì)行駛天氣環(huán)境的感知，進(jìn)一步獲取更多行蹤條件信息；對(duì)檢測(cè)部件的改進(jìn)體現(xiàn)在計(jì)算點(diǎn)陣、電控線路等方面。百度全資收購(gòu)了專注于機(jī)器視覺軟硬件解決方案的美國(guó)科技公司xPerception[38]，面向機(jī)器人、AR/VR、智能導(dǎo)盲等行業(yè)客戶提供以立體慣性相機(jī)為核心的機(jī)器視覺軟硬件產(chǎn)品，其核心技術(shù)是慣性視覺定位與構(gòu)圖（Visual Inertial SLAM），其智能感知計(jì)算模塊，集成了感知、定位、避障和導(dǎo)航技術(shù)，為第三方手機(jī)、VR設(shè)備、機(jī)器人等提供包括定位、識(shí)別、3D重建等功能在內(nèi)的軟硬件一體化解決方案。美國(guó)3D Robotics公司與索尼和Autodesk等公司合作[39]，推出了直觀、功能強(qiáng)大、開放的空中分析平臺(tái)Site Scan，通過無人駕駛飛機(jī)提供易于執(zhí)行、高分辨率的現(xiàn)實(shí)捕捉，網(wǎng)站提供了掃描數(shù)據(jù)的一鍵采集、處理和分析，易于商業(yè)用戶從現(xiàn)場(chǎng)獲得高保真的數(shù)據(jù)。美國(guó)Knightscope公司的機(jī)器人K5[40]，可以使用其傳感器在指定區(qū)域收集車牌、面部識(shí)別和人的運(yùn)動(dòng)等實(shí)時(shí)現(xiàn)場(chǎng)數(shù)據(jù)，分析數(shù)據(jù)時(shí)使用來自商界和政府的數(shù)據(jù)集作為參考，從而決定何時(shí)提醒社會(huì)和當(dāng)局的關(guān)注。一旦警報(bào)響起，K5將打開所有的傳感器，為整個(gè)社區(qū)審查數(shù)據(jù)和提供實(shí)時(shí)信息。Aeryon Labs公司的AeryonLive[41]是一個(gè)實(shí)時(shí)視頻&遙感和機(jī)隊(duì)管理的無人機(jī)系統(tǒng)平臺(tái)，它是一個(gè)集成解決方案，可以保障Aeryon SkyRanger的現(xiàn)場(chǎng)視頻和飛機(jī)遙測(cè)通過一個(gè)安全、可靠的結(jié)蜂窩網(wǎng)絡(luò)進(jìn)行在線傳輸，該公司的Vector?可用于實(shí)時(shí)高效的視頻處理，其基于NVDIA TK1（提供一個(gè)四核2.2 GHz處理器和專用GPU）芯片搭建，嵌入于Aeryon的payload系列產(chǎn)品中，其圖像處理功能提供運(yùn)動(dòng)目標(biāo)的自動(dòng)識(shí)別和跟蹤。跟蹤算法可實(shí)時(shí)鎖定目標(biāo)，即使目標(biāo)位置變化或被其它對(duì)象阻礙視線，操作者可以在視場(chǎng)內(nèi)直觀地標(biāo)注10個(gè)移動(dòng)物體，顯示器自動(dòng)高亮顯示目標(biāo)，同時(shí)數(shù)字圖像穩(wěn)定。MotionDSP公司的Ikena ISR[42]是一款實(shí)時(shí)視頻增強(qiáng)與二維繪圖軟件，ISR的圖像處理算法，解決了震動(dòng)、灰霾、照明等帶來的問題，盡可能全部實(shí)時(shí)地獲取無人機(jī)和安全攝像頭的視頻，操作者可以實(shí)時(shí)進(jìn)行空中視頻流的處理和增強(qiáng)，幾分鐘內(nèi)從視頻創(chuàng)建二維地圖，檢測(cè)和跟蹤移動(dòng)物體的精確到1～2像素。主要用于軍事和公共安全領(lǐng)域。優(yōu)必選公司的機(jī)器人產(chǎn)品Cruzr[43]，可以通過SLAM算法，自主規(guī)劃路徑移動(dòng)到目標(biāo)位置，并能夠?qū)崟r(shí)避障。系統(tǒng)可以應(yīng)用在視頻監(jiān)控領(lǐng)域，能夠?qū)\(yùn)動(dòng)物體進(jìn)行檢測(cè)，還可以對(duì)異常情況進(jìn)行拍照或錄影取證，并發(fā)送警報(bào)信息。另外，可以“行走”的機(jī)器人也能夠?qū)崿F(xiàn)動(dòng)態(tài)的巡邏功能。

表4 智能視覺感知與理解典型公司與產(chǎn)品

6 總結(jié)與展望

智能視覺感知與理解技術(shù)作為人工智能、智慧城市、智慧交通、智能安防等領(lǐng)域的重要內(nèi)容，具有重大的戰(zhàn)略意義，近年來一直是戰(zhàn)略部署以及項(xiàng)目支持的重要方向，預(yù)計(jì)隨著智能社會(huì)的發(fā)展，其戰(zhàn)略地位將進(jìn)一步提升。

從學(xué)術(shù)角度來看，大范圍視頻視覺感知與理解的學(xué)術(shù)研究量呈現(xiàn)逐年增加的趨勢(shì)，研究?jī)?nèi)容和熱點(diǎn)從目標(biāo)檢測(cè)與跟蹤等底層算法向高層的行為分析技術(shù)轉(zhuǎn)變，針對(duì)大型數(shù)據(jù)的、基于語義的快速檢索、去冗余、視頻注釋、摘要、字幕的生成技術(shù)也受到關(guān)注。理論方法方面，對(duì)卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法在精度、效率、新的輔助信息上的改進(jìn)較多，另外深度學(xué)習(xí)、學(xué)習(xí)轉(zhuǎn)移等方法在時(shí)序數(shù)據(jù)中的應(yīng)用研究成為熱點(diǎn)。同時(shí)，亦可以看出應(yīng)用領(lǐng)域的快速擴(kuò)展，如失蹤人口識(shí)別、車輛檢測(cè)、烹飪、手術(shù)監(jiān)控等。研究開始加速提高洞悉大數(shù)據(jù)的能力，追求更高水平的數(shù)據(jù)細(xì)節(jié)，對(duì)于科學(xué)家而言仍然是一個(gè)挑戰(zhàn)，也將成為重要的突破方向。無人平臺(tái)視覺感知與理解的學(xué)術(shù)研究量也呈現(xiàn)逐年增加的趨勢(shì)，主題方面，差分法、光流法、統(tǒng)計(jì)學(xué)習(xí)模型一直在尋求改進(jìn)，與此同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)算法、語義理解、仿生視覺研究成為無人機(jī)視覺感知與理解研究的熱點(diǎn)方法，3D視覺技術(shù)、無人機(jī)或機(jī)器人之間的交互協(xié)作成為熱點(diǎn)技術(shù)方向。然而，無人平臺(tái)視覺感知與理解的精確度、實(shí)時(shí)度、效率的提高依然需要探索的腳步?；谝曈X技術(shù)的無人平臺(tái)減少人為干預(yù)，實(shí)現(xiàn)多個(gè)無人設(shè)備之間的自主決策協(xié)同工作將是重要的發(fā)展目標(biāo)。

從產(chǎn)業(yè)角度來看，大量智能視覺感知與理解的應(yīng)用場(chǎng)景和公司產(chǎn)品促進(jìn)了行業(yè)的繁榮，基于大規(guī)模數(shù)據(jù)的視頻視覺感知與理解，以及無人平臺(tái)的視覺感知與理解也成為產(chǎn)業(yè)應(yīng)用的重要領(lǐng)域。大規(guī)模的深層學(xué)習(xí)和基于語義層面的可視化建模促進(jìn)了視覺識(shí)別能力的提高，云平臺(tái)等集成的產(chǎn)品形態(tài)和應(yīng)用模式，綜合的系統(tǒng)架構(gòu)促進(jìn)了應(yīng)用向更深更廣方向上的突破。無人平臺(tái)技術(shù)和視覺感知理解技術(shù)的進(jìn)一步融合，進(jìn)一步拓寬了應(yīng)用領(lǐng)域。然而，應(yīng)用場(chǎng)景和產(chǎn)品用戶的不同，硬件設(shè)備改造、軟件集成以及本地計(jì)算設(shè)施的部署要求就不同，呈現(xiàn)一定的個(gè)性化定制特征，算法、技術(shù)的實(shí)際功效均是建立在對(duì)客戶真實(shí)業(yè)務(wù)場(chǎng)景深層理解之上的針對(duì)性開發(fā)，開發(fā)成本高。缺乏標(biāo)注數(shù)據(jù)是幾乎所有應(yīng)用場(chǎng)景普遍存在的挑戰(zhàn)。雖然，將智能視覺感知與理解相關(guān)技術(shù)從實(shí)驗(yàn)室擴(kuò)展到工業(yè)化應(yīng)用的過程本身依然面臨很大的挑戰(zhàn)，但相信隨著技術(shù)的改進(jìn)，集成解決方案的發(fā)展，產(chǎn)業(yè)鏈的進(jìn)一步成熟，智能視覺感知與理解產(chǎn)業(yè)將催生出更多深入消費(fèi)者市場(chǎng)內(nèi)部的優(yōu)秀產(chǎn)品。