基于深度學(xué)習(xí)及IMU的SLAM專利分析

摘要：基于深度學(xué)習(xí)及IMU的SLAM技術(shù)正廣泛應(yīng)用于AR、自動(dòng)駕駛、自動(dòng)巡檢等熱點(diǎn)領(lǐng)域，本文介紹了基于深度學(xué)習(xí)及IMU的SLAM技術(shù)的相關(guān)特點(diǎn)、技術(shù)分類、技術(shù)主題、專利轉(zhuǎn)讓，便于更多的機(jī)構(gòu)制定專利策略，開發(fā)基于深度學(xué)習(xí)及IMU的SLAM技術(shù)的產(chǎn)品。

關(guān)鍵詞：SLAM;IMU;深度學(xué)習(xí);專利分析

引言

同時(shí)定位與地圖構(gòu)建SLAM，全稱為simultaneouslocalization and mapping，其是指搭載特定傳感器，在運(yùn)動(dòng)過程中建立環(huán)境的模型，目的是同時(shí)解決定位和地圖構(gòu)建這兩個(gè)問題。如果傳感器為相機(jī)，就叫做視覺SLAM。視覺SLAM在運(yùn)動(dòng)過快時(shí)，由于兩幀重疊區(qū)域太少，相機(jī)會(huì)出現(xiàn)運(yùn)動(dòng)模糊[1]。

慣性導(dǎo)航IMU可以測(cè)量傳感器的角速度及加速度，可以在相機(jī)出現(xiàn)運(yùn)動(dòng)模糊數(shù)據(jù)無效時(shí)，保持一個(gè)較好的位姿估計(jì)，因而與視覺SLAM有良好的互補(bǔ)性[2]。

另一方面，在運(yùn)動(dòng)過程中，如果采用深度學(xué)習(xí)對(duì)物體分割、標(biāo)簽，會(huì)大幅度提升SLAM識(shí)別物體的準(zhǔn)確性。

本文研究方法以incopat專利平臺(tái)為分析數(shù)據(jù)來源，限定在基于深度學(xué)習(xí)及IMU的SLAM專利這一個(gè)技術(shù)分支進(jìn)行分析。通過檢索并做數(shù)據(jù)標(biāo)引和清洗，數(shù)據(jù)集共計(jì)有263個(gè)專利，其中最近5年的專利呈現(xiàn)高速增長(zhǎng)態(tài)勢(shì)，且集中度高，占比為92%。

1技術(shù)構(gòu)成

表1展示的是基于深度學(xué)習(xí)及IMU的SLAM專利技術(shù)在各技術(shù)方向的數(shù)量分布情況。通過該分析可以了解目前市場(chǎng)上的專利創(chuàng)新集中在圖像處理、測(cè)量、數(shù)據(jù)識(shí)別等幾個(gè)方向，前3者占比51%。

進(jìn)一步的，通過分析技術(shù)構(gòu)成功效可知，市場(chǎng)專利主要布局在G01C分類、G06T分類的精度提高、效率提高等方面。美國(guó)的專利主要集中在G06K分類上面，中國(guó)的專利主要集中在G01C分類上面。

而隨著基礎(chǔ)設(shè)施逐步夯實(shí)，從技術(shù)構(gòu)成的角度來看，未來焦點(diǎn)關(guān)注在建模、數(shù)據(jù)處理、無線電定向、協(xié)同控制等技術(shù)手段也是一個(gè)好的方向。

2技術(shù)主題分析

在本文數(shù)據(jù)集中，中國(guó)申請(qǐng)專利占比約70%，美國(guó)次之。美國(guó)一些重要的專利主要集中在VR虛擬現(xiàn)實(shí)相關(guān)技術(shù)主題，國(guó)內(nèi)相比而言專利覆蓋主題范圍較廣，但通過SLAM實(shí)現(xiàn)VR這一方面技術(shù)儲(chǔ)備不及美國(guó)。

值得注意的是，國(guó)內(nèi)大學(xué)在本領(lǐng)域有濃厚的興趣，專利申請(qǐng)占比接近三分之一。而研究高校的技術(shù)路線圖我們發(fā)現(xiàn)，高校聚焦點(diǎn)從2018年的本領(lǐng)域的一些定位技術(shù)點(diǎn)，擴(kuò)展到2019的地圖融合技術(shù)面，再發(fā)展到2020的具體技術(shù)應(yīng)用場(chǎng)景，這標(biāo)志著不就將迎來基于深度學(xué)習(xí)及IMU的SLAM技術(shù)的廣泛商用化[3]。比較典型的專利有：2018年，CN109211241A基于視覺SLAM的無人機(jī)自主定位方法、CN109166149A一種融合雙目相機(jī)與IMU的定位與三維線框結(jié)構(gòu)重建方法與系統(tǒng)、CN108921893A一種基于在線深度學(xué)習(xí)SLAM的圖像云計(jì)算方法及系統(tǒng)、CN108711166A一種基于四旋翼無人機(jī)的單目相機(jī)尺度估計(jì)方法等;2019年，CN110097620A基于圖像和三維激光的高精度地圖創(chuàng)建系統(tǒng)、CN109934868A一種基于三維點(diǎn)云與衛(wèi)星圖匹配的車輛定位方法、CN111045017A一種激光和視覺融合的巡檢機(jī)器人變電站地圖構(gòu)建方法等;2020年，CN111660313A基于ROS和人工智能算法的超市導(dǎo)購機(jī)器人、CN111652155A一種人體運(yùn)動(dòng)意圖的識(shí)別方法及系統(tǒng)、CN111583136A一種救援場(chǎng)景下自主移動(dòng)平臺(tái)同時(shí)定位與建圖方法、CN111288989A一種小型無人機(jī)視覺定位方法、CN111239790A一種基于5G網(wǎng)絡(luò)機(jī)器視覺的車輛導(dǎo)航系統(tǒng)。

在產(chǎn)業(yè)界，相比與高校而言，比較注重基于深度學(xué)習(xí)及IMU的SLAM應(yīng)用于導(dǎo)航技術(shù)以及自動(dòng)化方面的發(fā)展。例如：CN110297491A基于多個(gè)結(jié)構(gòu)光雙目IR相機(jī)的語義導(dǎo)航方法及其系統(tǒng)、CN110275540A用于掃地機(jī)器人的語義導(dǎo)航方法及其系統(tǒng)等。

從年份來看，2018年，申請(qǐng)人開始研究無人機(jī)、機(jī)器人、自動(dòng)駕駛等方面技術(shù)主題;2019年，申請(qǐng)人著重新增了語義識(shí)別、目標(biāo)檢測(cè)跟蹤、三維場(chǎng)景方面的技術(shù)主題;2020年，隨著應(yīng)用逐步擴(kuò)展，申請(qǐng)人著重新增了里程計(jì)、MR眼鏡等電子設(shè)備方面的技術(shù)主題。例如有CN112556719A一種基于CNN-EKF的視覺慣性里程計(jì)實(shí)現(xiàn)方法、CN112181152A基于MR眼鏡的廣告推送管理方法、設(shè)備及應(yīng)用等[4]。

3專利主要申請(qǐng)人分析

基于深度學(xué)習(xí)及IMU的SLAM技術(shù)主要申請(qǐng)人專利申請(qǐng)數(shù)表前5名有：北京航空航天大學(xué)、華南理工大學(xué)、浙江大學(xué)、南京航空航天大學(xué)、MAGIC LEAP INC，排名靠前的是國(guó)內(nèi)的高校。

值得關(guān)注的是，國(guó)內(nèi)的運(yùn)營(yíng)商也在這方面有一定的布局，例如電力系統(tǒng)運(yùn)營(yíng)商。布局的專利申請(qǐng)有一種基于CNN-EKF的視覺慣性里程計(jì)實(shí)現(xiàn)方法、一種神經(jīng)網(wǎng)絡(luò)的高魯邦性無人機(jī)電力設(shè)備自動(dòng)巡檢系統(tǒng)、一種基于PCA的加權(quán)融合移動(dòng)機(jī)器人定位方法一種智能尋找桿塔方法及系統(tǒng)、一種無人車隊(duì)控制系統(tǒng)及其控制方法、一種面向電力巡檢場(chǎng)景的定位方法及系統(tǒng)等。可見電力運(yùn)營(yíng)商主要關(guān)注的焦點(diǎn)在于電力桿塔智能巡檢等方面[5]。

在智能交通方面，金龍聯(lián)合汽車工業(yè)（蘇州）有限公司、上海國(guó)際汽車城（集團(tuán)）有限公司、上海汽車集團(tuán)股份有限公司、南昌智能新能源汽車研究院等均有本領(lǐng)域的專利申請(qǐng)布局。

國(guó)外這領(lǐng)域有專利布局的有MAGIC LEAP INC、Carla R Gillett、TUSIMPLE等公司。其中MAGIC LEAP是一家AR科技公司，Magic Leap股東包括谷歌、阿里、高通、華納兄弟、KKR，摩根斯坦利等。其技術(shù)核心為采用數(shù)字光場(chǎng)技術(shù)的頭戴式顯示器。

4專利轉(zhuǎn)讓分析

本領(lǐng)域?qū)＠暾?qǐng)共有38件專利發(fā)生了轉(zhuǎn)讓行為，占比為14.4%，這說明本領(lǐng)域?qū)＠灰妆容^活躍，共計(jì)有32個(gè)主體發(fā)生了專利收購行為，其中有7件為國(guó)內(nèi)專利主體受讓。收購專利活躍的公司前3名有FACEBOOK TECHNOLOGIES、TUSIMPLE、CITIBANK等公司。

其中FACEBOOK 公司收購的專利有Deep image localization、METHODS AND APPARATUS FOR PREDICTING MUSCULO- SKELETAL POSITION INFORMATION USING WEARABLE AUTONOMOUS SENSORS、REAL-TIME SPIKE DETECTION AND IDENTIFICATION、SYSTEM AND METHOD FOR MEASURING THE MOVEMENTS OF ARTICULATED RIGID BODIES等。這說明新一代互聯(lián)網(wǎng)運(yùn)營(yíng)商臉譜公司正在加大對(duì)基于深度學(xué)習(xí)及IMU的SLAM技術(shù)應(yīng)用可穿戴設(shè)備的布局。

本領(lǐng)域?qū)＠暾?qǐng)轉(zhuǎn)讓涉及的技術(shù)主題熱點(diǎn)之一聚焦在自動(dòng)駕駛。例如中國(guó)的專利申請(qǐng)有：一種自動(dòng)駕駛對(duì)象探測(cè)和定位系統(tǒng)及方法、干擾環(huán)境下運(yùn)動(dòng)目標(biāo)的定位方法、系統(tǒng)及電子裝置、移動(dòng)機(jī)器人組合式導(dǎo)航方法及裝置、一種基于二元控制系統(tǒng)的智能農(nóng)機(jī)、一種自動(dòng)駕駛系統(tǒng)及方法、一種基于智能網(wǎng)聯(lián)系統(tǒng)的自動(dòng)駕駛貨車運(yùn)營(yíng)控制系統(tǒng)等。國(guó)外的專利申請(qǐng)有：METHOD AND SYSTEM FOR IMPAIRED DRIVING DETECTION，MONITORING AND ACCIDENT PREVENTION WITH DRIVING HABITS等。

MAGIC LEAP公司有2件早期的專利轉(zhuǎn)讓給了CITIBANK（花旗銀行），分別是FACE MODEL CAPTURE BY A WEARABLE DEVICE、METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY等，持有1件專利為：METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY。

考慮到基于深度學(xué)習(xí)及IMU的SLAM技術(shù)集中在2019年、2020年。因此說明該技術(shù)應(yīng)用目前已經(jīng)進(jìn)入爆發(fā)期，相關(guān)市場(chǎng)主體正在快速確立產(chǎn)品原型，進(jìn)行專利布局。

5結(jié)論

本文詳細(xì)探討了基于深度學(xué)習(xí)及IMU的SLAM技術(shù)這一細(xì)分領(lǐng)域的專利布局、技術(shù)主題、專利轉(zhuǎn)讓情況。經(jīng)過分析發(fā)現(xiàn)，基于深度學(xué)習(xí)及IMU的SLAM技術(shù)正廣泛應(yīng)用于AR、自動(dòng)駕駛、自動(dòng)巡檢等熱點(diǎn)領(lǐng)域，隨著5G網(wǎng)絡(luò)快速商業(yè)化，基于深度學(xué)習(xí)及IMU的SLAM技術(shù)亦將快速商業(yè)化。

參考文獻(xiàn)

[1]馮愛迪.基于學(xué)習(xí)方法的高精度SLAM算法研究[D].哈爾濱工業(yè)大學(xué)，2018.

作者簡(jiǎn)介：陳軍（1975-），男，漢族，湖南隆回縣，大專，工程師，高級(jí)咨詢師，研究方向：5G、專利咨詢。