迷人的小眼睛

許暉

從無到有再到普及，不知不覺之間，ADAS 技術已經發(fā)展了一段不短的時間。從知道到認識再到習以為常，尋常人對于ADAS 功能的了解，也隨著越來越多車輛配置ADAS 技術，日益豐富的功能選項極大便利駕乘感受得到逐步接受?；蛟S不少人會認為ADAS 技術并不難，就連后裝市場企業(yè)都紛紛推出號稱具有ADAS 功能的產品，實際上真正厲害的技術產品，始終需要更深層次的積累與沉淀。譬如MINIEYE I-CS 座艙感知方案

日益重要的艙內感知功能

A dv anc ed Dr iv er A ssist anc eSystem（ADAS） 高級駕駛輔助系統(tǒng)，作用是在緊急情況下，駕駛員主觀反應之前作出主動判斷和預防措施，達到預防和輔助的作用。高級輔助駕駛系統(tǒng)（ADAS）屬于廣義概念。凡能提升駕駛安全性和舒適性的功能，皆可歸入其范疇，譬如大家所熟悉的ACC 自適應續(xù)航、AEB/CMbB自動緊急制動、TSR/TSI 交通標志識別、BSD/BLIS 盲點監(jiān)測、LCA/LCMA 變道輔助、LDW 車道偏離預警等等，均可視為ADAS 系統(tǒng)功能之一。甚至就連高精地圖都應歸類其中，畢竟導航功能讓不少人得以告別路盲癥候群，而高精地圖不但能提供更為精確的導航，還能為自動泊車等不少其他ADAS 功能提供定位佐證。

通常消費者所理解的ADAS，大多是基于視覺感知方案外加多傳感器融合的艙外感知功能。而對于DMS（駕駛員監(jiān)測）以及OMS（乘客監(jiān)測），甚至艙內物品及環(huán)境監(jiān)測的艙內感知功能都不甚了解。從2018 年開始，隨著汽車行業(yè)規(guī)范及法規(guī)的逐步完善，越來越多如Euro NCAP、EU Commission、US NHTSA、USNTSB 等測試組織與機構，紛紛提出針對艙內駕駛員、乘員感知功能的需求。部分更給出了明確的時間表，鼓勵、推薦甚至強制在隨后所生產的新車上，必須具備有能和艙內人機交互系統(tǒng)相結合的駕駛員監(jiān)控系統(tǒng)，且針對未來車輛更著重強調需能檢測滯留在車內兒童、寵物等活體，并提醒駕駛員的功能。有異于ADAS 系統(tǒng)之中的艙外感知功能，艙內感知功能更多依靠攝像頭傳感器達成。有數據顯示，到2023 年，預計平均每輛車將配載2 顆以上的攝像頭，而高端豪華型車輛預計將達到10 顆之多。這將讓艙內功能從安全導向的監(jiān)控功能，逐步過渡為理解人類意圖，以舒適娛樂為導向的監(jiān)控感知功能。

值得一提的是，由于ADAS 功能早年就被歸類劃分至美國高速公路安全管理局（NHTSA）和國際自動機工程師學會（SAE）所制定的“自動駕駛分級參考”之內，所以不少人將其稱為自動駕駛的簡化版。實際上這應該屬于一種誤讀，ADAS 功能真正意義上應該屬于車輛的自動化功能，而自動駕駛分級參考更應理解成為對于車輛自動化程度的劃分。ADAS 功能雖然減輕了駕駛員的駕駛壓力，不過終歸不能屬于自動駕駛功能，充其量屬于將來為自動駕駛提供感知的一環(huán)。

內行看門道

通過追蹤包括頭部轉向、面部表情、視線方向、手勢以及肢體關節(jié)點等人體視覺特征，進一步分析駕駛員及乘客的身份信息、動作意圖和行為數據，是ADAS艙內感知所實現的具體功能。這些貌似僅需數個攝像頭攝取圖像，比對目標數據庫就能完成的“簡單”功能，或許讓不少人人感覺門檻并不高。這不就是生物特征檢測嘛，消費電子領域老早就普及了，那些遍布各個角落，基于攝像頭的物聯(lián)網功能早爛大街了吧。

不要忘了任何消費電子領域的技術與產品，一旦需要實現成為車載功能，那么就要另當別論了。“室內”與“艙內”，一字之差背后所需考慮的問題，堪稱“外行看熱鬧，內行看門道”的經典解釋。車載領域的嚴苛豈非尋常消費電子領域所能比擬。如ECU 上的計算資源限制、車規(guī)級攝像頭模組的技術規(guī)格與未來發(fā)展規(guī)劃、不同車型內飾設計以及座艙集成方可接受的攝像頭位置布局，甚至還可能涉及到復雜的真實交通場景所帶來的影響。簡而言之，在極其考究能耗、空間、算力以及行駛安全性上，一套通盤考慮以上問題的ADAS 艙內感知功能解決方案，不但需要便于隱藏的嬌小硬件，還需要具有低功耗且高效率的，基于車規(guī)級平臺嵌入式計算機視覺與人工智能（AI）技術支持，更需要靈活封裝的軟件方案，以更好適應不同OEM 廠家定制化的需求。

MINIEYE 近期所發(fā)布的這套I-CS座艙感知方案，是其在深耕汽車行業(yè)多年，經年累月所沉淀的技術底蘊之下所推出的成熟方案。這其中包含了兩類MINIEYE自主研發(fā)的核心技術。第一項是針對神經網絡輕量化以及快速運算需求的壓縮技術。眾所周知，作為視覺識別系統(tǒng)永遠跳脫不開的卷積神經網絡（ConvolutionalNeural Networks， CNN）算法，其從攝像頭所獲得的圖像精確度，直接決定了識別成功率以及準確率。I-CS 的ThiNet 可以有效加速并壓縮用于艙內感知的卷積神經網絡。在保證極少的精確度衰減前提下，極盡所能地瘦身神經網絡，通過ThiNet 裁剪，除身份識別功能外，用于DMS 的CNN 算法模塊每幀僅占用234M Operations。而這套艙內感知的CNN 算法模塊是為了車規(guī)級嵌入式平臺量身打造，并根據自研CNN加速器特性進行深度定制，能有效發(fā)揮出CNN 加速器算力，達到理論峰值算力的95% 以上。另外一項則是CNN 高速推理框架技術：基于CPU/GPU 的MINIDNN 和基于FPGA 的HardNet。這項技術解決了當前CPU 面對大規(guī)模CNN 網絡處理乏力的難題，有趣的是其除了具有高效的加速能力，支持基于Caffe、Tensorflow 等主流CNN 網絡之外，更具有完全裁剪性，也就是說根據不同用戶的需求，可隨意裁剪出一款最適合的CNN 加速器并滿足資源消耗和性能的平衡。

外行看熱鬧

實際測試總是最好玩的。如果說看得懂上面一段內容的讀者屬于內行人士。那么為了外行群眾也直觀體會到這套I-CS座艙感知方案的熱鬧，我們選擇在充分了解系統(tǒng)工作原理后，親身上車成為DMS與OMS 系統(tǒng)監(jiān)測對象，好好“測（Xi）試（shua）”一番。

把測試系統(tǒng)安裝在某國內造車新勢力車型上測試實在用心良苦。與傳統(tǒng)造車勢力“字正腔圓”、“中規(guī)中矩”的架構體系相比，國內造車新勢力所提倡的全新造車理念，以及大膽的功能需求，才是各類車載系統(tǒng)所需直面的挑戰(zhàn)。I-CS 座艙感知方案硬件包含兩個IR 紅外攝像頭及對應處理模塊。其中DMS 功能攝像頭安放在方向盤連接軸蓋板，OMS 攝像頭則處于后視鏡后側下沿。估計是因為測試原因，兩個攝像頭并沒有被刻意隱藏起來，不過從其體積來看在實際交付時候，隱秘于車輛內飾完全不是問題。

快速、準確地識別出活體駕駛員的一舉一動是DMS 功能的主要訴求。一個成熟的測試者總會希望挑戰(zhàn)各種“cornercase”之中的“corner case”。所以我決定首先以照片和視頻方式挑戰(zhàn)系統(tǒng)的“非配合式活體身份識別”。在窮盡各種欺騙手段后發(fā)現盡數失敗，IR 攝像頭的IR光源直接照片以及視頻手段失效。隨后本人祭出了日常駕駛之中所涉及的各類動作，包括模擬疲勞駕駛的閉合眼瞼、打哈欠、頭部上仰與低垂;模擬駕駛分神的頭部左顧右盼、視線脫離正前方道路;模擬不良駕駛習慣的打電話、抽煙。無一例外全部快速識別并在監(jiān)控屏幕上對應標定。系統(tǒng)工作原理在于從駕駛員入艙的一刻，從攝像頭回饋圖像之中，快速準確定位其面部的68 個特征點，通過在持續(xù)比對真實人臉與平均人臉數據之中，學習并建立自適應3D 建模，以頭部姿態(tài)估計定位頭部朝向，同時通過定位瞳孔外緣的中心和角膜虛擬球體的中心，定位視線矢量原點，最終雙向結合判斷視線朝向。不難看出，目前業(yè)內對于如何通過角膜反射法，將精確視線與穩(wěn)定視線相結合，并解決亮瞳與暗瞳識別的技術難題，在I-CS 系統(tǒng)上表現完美，且人臉認證可支持RGB 圖像注冊以及IR 圖像識別。這有利于真正部署上車時候主機廠的多樣化選擇。

最為主要的DMS 系統(tǒng)表現出色，那OMS 系統(tǒng)能力已無需多疑。乘客監(jiān)測之中針對遺落物體，非觸碰式手勢交互、視線交互、頭部動作交互均一一過關，OMS最為主要的兒童監(jiān)測我是沒法冒充的，嘗試以身形矮小人員模仿亦告失敗。畢竟I-CS 系統(tǒng)除了人臉監(jiān)測以外，還增加了比對人體骨骼點達成人體比例分析，準確定位人體進行身高分析的多重結合判斷，是否兒童一目了然。唯一遺憾是現場沒抓到一只貓或狗。所以寵物監(jiān)測沒有結果。

結語：

每次技術測試都是有趣的，這次也不例外。MINIEYE I-CS 座艙感知方案的精確與智能，讓我對于這家叫自己“小眼睛”的MINIEYE 企業(yè)，艙內監(jiān)測功能實力有了全新的認知，非要找缺點也是有的，IR 攝像頭出來的“驚嚇”效果，絕對可劃分至“成人限制”級別?？紤]到事關駕乘小命的安全也就無所謂了，更何況真正裝車后想看估計還看不到呢。

專訪MINIEYE 智能座艙事業(yè)部總經理楊一泓

AF ：艙內感知功能與艙外感知功能對于ADAS 系統(tǒng)而言誰更重要

楊一泓：艙內感知功能尤其是DMS技術，未來會是L2 及以上自動駕駛關鍵系統(tǒng)的“最后一道安全閥門”。做好了DMS 相關技術可以保證在自動駕駛或半自動駕駛開啟的情況下，駕駛員能夠始終保持對路面情況有所警戒，能夠在危險時刻及時甚至提前接管車輛。因此對我們而言，擁有DMS 功能的艙內感知系統(tǒng)與自動駕駛系統(tǒng)一樣，具備非常高的安全屬性，同時也肩負著非常重要的安全責任。隨著自動駕駛的進階發(fā)展，未來艙內和艙外的融合會不斷加強，這也是MINIEYE 一直推崇所謂“全域感知”技術路線的原因。

AF ：MINIEYE I-CS 座艙感知方案與友商的解決方案相比的主要優(yōu)勢在那些方面？

楊一泓：MINIEYE I-CS 擁有三個優(yōu)勢，首先I-CS 深度學習模塊可提供高度精準的算法結果，通過多年的技術積累，我們專注交通場景、駕乘習慣等相關環(huán)境應用，掌握了扎實的模型設計方案，為后續(xù)方案適配打下了良好的基礎;其次我們累積了很多基于真實交通的案例分析經驗，包括功能層、應用層對于關鍵結果的封裝、相關功能結果的權重占比等，這一系列的整套設計能夠實現更好的體驗感，同時也符合真實交通環(huán)境與駕駛情況;再次截止目前， I-CS 方案實現超30 個乘用車車型定點，相關技術已成功覆蓋乘用車和商用車兩大領域， 其中DMS 產品至今裝車量已超過10 萬臺。與MINIEYE合作的國內外企業(yè)，涵蓋眾多知名車企、Tier1、物流車隊等前后裝合作方，我們能夠適應不同類型客戶的多樣化、個性化量產需求。所以對于更真實的客戶反饋，我們也非常有信心。

AF ：MINIEYE I-CS 座艙感知方案下一步將有何創(chuàng)新

楊一泓：未來的工作重心，首先我們會花更多精力用來打磨場景式的主動服務方案，進一步深度分析基于特殊場景下的客戶需求，并針對這些需求痛點，設計完善一整套的解決方案。包括我們在發(fā)布會上提出的“無縫入車、安全接管、疲勞監(jiān)測、兒童看護、多人娛樂”五大主動服務場景，未來不僅會繼續(xù)深挖這五個場景，還會根據用戶情況拓展更多的實用場景，滿足市場需求。其次，多模態(tài)、多傳感器融合是MINIEYE 堅持的方向，我們會把視覺感知技術與更多艙內指標相結合，比如人體健康、生理特征等，打造更加全能的感知方案，為智能汽車提供更豐富的軟件服務。

AF ：您眼中智能座艙系統(tǒng)的未來如何發(fā)展

楊一泓：未來智能座艙系統(tǒng)肯定以軟件主導，產品設計方式也以客戶需求靈活呈現，逐漸向互聯(lián)網思維轉變。行業(yè)角度來看，多模態(tài)融合會是明顯的點，因為任何一種模態(tài)都有自身的缺點，只有多模態(tài)共存才能夠解決更多用戶需求，真正提升座艙體驗。視覺感知將會是多模態(tài)最重要的一環(huán)。只有基于視覺觀察，未來的汽車才擁有主動式服務能力與用戶進行交互，提前預判用戶需求，做到“更懂用戶”。所以視覺前期學習用戶、了解用戶，并進行分析積累;后期所實現則是觀察用戶、感知用戶，提供主動式服務。只有被動式交互與主動式服務結合在一起，才是真正的智能座艙。

AF ：面對近乎于無限組合的客戶需求，MINIEYE 的產品是否做好應對

楊一泓：整套I-CS 方案擁有非常高定制化特性，可根據主機廠與一級供應商的不同需求，提供靈活封裝的軟硬件解決方案。攝像頭方案針對DMS、OMS不同模組與位置，我們都有豐富的項目經驗和相應的自采集標準，且有快速移植與迭代的能力。第二，對于芯片的可移植性上，比如支持CPU/GPU/DSP 方案、基于不同嵌入式平臺的加速庫、國內外最主流芯片的適配經驗等，也讓我們方案有快速的移植優(yōu)勢。第三，我們還做了很多嵌入式優(yōu)化、網絡優(yōu)化，讓方案的資源占用率更小，可移植性優(yōu)勢再一步提升?；谶@一系列成熟的方案，我們還會針對性地對實艙環(huán)境進行迭代，將更多的重點放在量產工作上。