機(jī)器視覺在測量領(lǐng)域的應(yīng)用專利技術(shù)綜述

國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作天津中心，天津 300304

一、概述

機(jī)器視覺（Machine Vision，MV）也稱為計(jì)算機(jī)視覺，是一種以機(jī)器視覺產(chǎn)品代替人眼的視覺功能，利用計(jì)算機(jī)對機(jī)器視覺產(chǎn)品采集的圖像或者視頻進(jìn)行處理，從而實(shí)現(xiàn)對客觀世界的三維場景的感知、識別和理解的技術(shù)。

機(jī)器視覺系統(tǒng)以計(jì)算機(jī)為中心，一般由光源、圖像傳感器、圖像采集裝置、圖像處理系統(tǒng)組成。圖像傳感器是整個(gè)機(jī)器視覺系統(tǒng)的感覺部分，主要包括光學(xué)成像系統(tǒng)、光電轉(zhuǎn)換裝置和攝像機(jī)控制系統(tǒng)三個(gè)部分。圖像采集裝置由專用視頻解碼器、圖像緩沖器和接口控制電路構(gòu)成，主要是將圖像傳感器生成的視頻信號實(shí)時(shí)地轉(zhuǎn)換成便于計(jì)算機(jī)處理的數(shù)字圖像信號。圖像處理系統(tǒng)主要由專用圖像處理模塊和計(jì)算機(jī)構(gòu)成：專用圖像處理模塊是計(jì)算機(jī)的輔助處理器，主要是實(shí)時(shí)高速地完成各種底層計(jì)算機(jī)圖像處理功能，例如圖像的縮放、濾波、增強(qiáng)、邊緣提取等；計(jì)算機(jī)作為整個(gè)機(jī)器視覺系統(tǒng)的核心，不僅要控制整個(gè)系統(tǒng)的各個(gè)模塊的政策運(yùn)行，還承擔(dān)著機(jī)器視覺系統(tǒng)最后結(jié)果的運(yùn)算和輸出[1-3]。

機(jī)器視覺技術(shù)起源于20世紀(jì)50年代，發(fā)展至今主要經(jīng)歷了五個(gè)階段[4-5]：

20世紀(jì)50年代，統(tǒng)計(jì)模式識別的興起，標(biāo)志著計(jì)算機(jī)視覺技術(shù)研究的開始，研究工作主要集中在二維圖像的分析、識別和理解；

20世紀(jì)60年代，開始了以理解三維場景為目標(biāo)的三維機(jī)器視覺的研究；

20世紀(jì)70年代，出現(xiàn)了機(jī)器視覺應(yīng)用系統(tǒng)，并首次提出了較為完整的計(jì)算機(jī)視覺理論；

20世紀(jì)80年代，提出了主動(dòng)視覺理論框架、基于感知特征群的物體識別理論框架、視覺集成理論框架等方法；

20世紀(jì)90年代以后，主要向人工智能方向發(fā)展。

隨著技術(shù)的發(fā)展，機(jī)器視覺的各種研究理論與研究方法層出不窮，已廣泛應(yīng)用于工業(yè)自動(dòng)化生產(chǎn)線、各類檢驗(yàn)和監(jiān)視、視覺導(dǎo)航、圖像自動(dòng)解釋、人機(jī)交互與虛擬現(xiàn)實(shí)等各個(gè)領(lǐng)域，研究方向主要包括照明方式、圖像處理、圖像分割、攝像機(jī)標(biāo)定、單目視覺、雙目視覺以及多目視覺。

在專利申請方面，機(jī)器視覺主要還是國外大公司專利申請較多，近些年中國專利申請逐漸增多，主要集中在高校，而且主要的申請方向是機(jī)器視覺的應(yīng)用以及圖像處理方向。

在國際競爭中，歐美跨國企業(yè)通過設(shè)置知識產(chǎn)權(quán)壁壘，對我國企業(yè)進(jìn)行阻擊，薄弱的技術(shù)積累和知識產(chǎn)權(quán)的欠缺，使我國許多企業(yè)在融入經(jīng)濟(jì)全球化的過程中處于明顯劣勢。

本文針對測量領(lǐng)域機(jī)器視覺的專利申請情況，對其專利整體趨勢、技術(shù)要點(diǎn)進(jìn)行技術(shù)分析。通過深入分析測量領(lǐng)域中機(jī)器視覺行業(yè)專利申請年度分布、申請地區(qū)分布和申請技術(shù)主題分布，從時(shí)間、空間及技術(shù)三維的角度勾勒出該行業(yè)專利布局特點(diǎn)[6-8]，并在總結(jié)該行業(yè)專利策略基礎(chǔ)上，對我國機(jī)器視覺行業(yè)提出啟示及建議。

二、專利整體情況

1、專利申請量趨勢

在CNABS, CPRSABS, VEN數(shù)據(jù)庫中，分別以機(jī)器視覺、單目視覺、雙目視覺、多目視覺、machine vision、robot vision、monocular vision、binocular vision、multi-vision等中英文關(guān)鍵詞，結(jié)合分類號G01B11/+、G01B9/+、G01B21/+等進(jìn)行檢索，統(tǒng)計(jì)的專利申請數(shù)據(jù)截止2016年12月，在此期間，我國在測量領(lǐng)域關(guān)于機(jī)器視覺的專利申請749篇，除中國以外的其他國家申請403篇。自1982年至2016年的專利申請分布如圖1所示。

由圖1可以看出，機(jī)器視覺的發(fā)展在國內(nèi)和國外并不同步，國外從1982年開始就不斷在這個(gè)領(lǐng)域進(jìn)行專利申請，并且申請量的總體趨勢是逐年增加的，我國在此領(lǐng)域申請比較晚，直到2000年左右才開始逐年增加，并且增長趨勢與全球總體的增長趨勢一致。在2010年前后，機(jī)器視覺的專利申請量大幅增加，進(jìn)入高速發(fā)展期，將機(jī)器視覺用在各個(gè)方面的測量的專利都大幅增加。出現(xiàn)這種情況主要有三個(gè)原因：一是這個(gè)階段以移動(dòng)互聯(lián)網(wǎng)為主的互聯(lián)網(wǎng)經(jīng)濟(jì)在急速發(fā)展，對人工智能的需求，自動(dòng)控制的需求量急速增加，而機(jī)器視覺正是人工智能中最重要的測量端，所以這個(gè)階段增長迅速；二是攝像頭、相機(jī)在這個(gè)階段有較好的發(fā)展，關(guān)鍵技術(shù)有所突破；三是我國在這方面的投入加大，各個(gè)高校加快了機(jī)器視覺相關(guān)的研究。

雖然我國在該領(lǐng)域起步較晚，但是增長速度更快，從2010年以后，涉及到機(jī)器視覺的中國專利申請已經(jīng)占據(jù)了全球?qū)＠暾埖慕^大部分，這也反映出我國對此領(lǐng)域的研究越來越重視，專利布局也越來越完善。

2、不同國家專利申請量分析

對不同國家的專利申請量進(jìn)行統(tǒng)計(jì)如圖2所示。

由圖2可以看出，中國專利申請量最多，占總量的40%以上，說明我國在這一方面的研究較為廣泛，一方面由于機(jī)器視覺屬于比較新型的領(lǐng)域，我國雖然起步晚一些，但是在隨后幾年大力投入和發(fā)展，特別是各個(gè)高校的不斷投入，逐漸呈現(xiàn)出趕超之勢，另一方面也說明近年來我國對于專利保護(hù)意識逐步增強(qiáng)。除中國以外，美國、日本也有一定數(shù)量的專利申請，分別占到了總量的20%、10%，這兩個(gè)國家在計(jì)算機(jī)圖像處理和攝像頭領(lǐng)域處于全世界領(lǐng)先的地位，特別是一大批機(jī)器視覺相關(guān)的公司均在這兩個(gè)國家，因此這兩個(gè)國家在機(jī)器視覺領(lǐng)域?qū)＠暾埩看螅诵膶＠唷?/p>

3、主要申請人排序

在該領(lǐng)域中，全球申請量排名前十位的申請人排序見圖3，中國申請量排名前十位的申請人排序見圖4。

從圖3可以看出，在排名前十位的申請人中，包括4個(gè)美國公司，1個(gè)日本公司，以及中國的4所高校和1家公司。國外的申請主體相對集中，均為企業(yè)，這是因?yàn)閲獯蠊景l(fā)展歷史比較久，有實(shí)力投入更多的研發(fā)資金，而中國科研機(jī)構(gòu)則主要集中在高校。從申請人的排名來看，排名第一位的是日本的三豐公司，該公司成立于1934年，向全球范圍內(nèi)的廣大市場提供千分尺、卡尺等量具以及三坐標(biāo)測量機(jī)、形狀測量系統(tǒng)、視像測量系統(tǒng)及光學(xué)儀器，是測量領(lǐng)域的國際領(lǐng)先企業(yè)，長期專注于三坐標(biāo)測量和機(jī)器視覺的開發(fā)。而美國上榜的四個(gè)公司是康耐視、施耐寶、亨特、AT&T，其中康耐視公司是專門研發(fā)機(jī)器視覺產(chǎn)品的公司，成立于1981年，擁有多項(xiàng)核心專利。

從圖4可以看出，中國國內(nèi)排名前十位的基本都是高校，沒有個(gè)人申請，這也與機(jī)器視覺這一領(lǐng)域門檻較高有關(guān)，需要大量的資金投入和多個(gè)科研人員合作才能完成，而國內(nèi)高校有完善的研究機(jī)構(gòu)和人才培養(yǎng)體制，又能獲得較大的國家支持，因此，在這方面研究比較多也比較完善。

三、機(jī)器視覺在測量領(lǐng)域的專利技術(shù)分析

機(jī)器視覺在測量領(lǐng)域具有廣泛的應(yīng)用，通過對檢索到的專利申請初步分析，選擇機(jī)器視覺的以下技術(shù)主題進(jìn)行分析。

1、相機(jī)校準(zhǔn)

由于針孔成像的原理，所以會(huì)使得相機(jī)攝入的圖片出現(xiàn)扭曲和偏移，所以我們需要相機(jī)校準(zhǔn)來恢復(fù)圖片，相機(jī)校準(zhǔn)是機(jī)器視覺中必要的一步，對相機(jī)校準(zhǔn)的精度直接關(guān)系到整個(gè)機(jī)器視覺系統(tǒng)測量的精度。

1997年，專利US5978080A[9]公開了一種方向、像素寬度以及高度的校準(zhǔn)方法，該方法用于圖像參考面和測量對象移動(dòng)參考面的校準(zhǔn)，采用基準(zhǔn)點(diǎn)進(jìn)行校準(zhǔn)。

2004年，專利US6798925B1[10]公開了一種對圖像獲取系統(tǒng)進(jìn)行校準(zhǔn)的系統(tǒng)，該系統(tǒng)采用具有精確尺寸的基準(zhǔn)點(diǎn)和工具去測量尺寸來校準(zhǔn)圖像獲取系統(tǒng)。

2008年，專利CN101216296A[11]公開了一種利用球形靶進(jìn)行相機(jī)校準(zhǔn)的方法，如圖5所示。

2009年，專利CN102782721A[12]公開了一種用于相機(jī)在運(yùn)行中的校準(zhǔn)的誤差的測定方法，該方法通過三個(gè)相機(jī)對同一對象進(jìn)行測量，進(jìn)而通過測量結(jié)果判斷相機(jī)的校準(zhǔn)誤差，該方法解決了以往需要脫機(jī)對相機(jī)進(jìn)行校準(zhǔn)的問題，可以在線自動(dòng)測定自動(dòng)校準(zhǔn)。

2013年，專利CN104048674A[13]公開了一種利用不準(zhǔn)確的校準(zhǔn)靶進(jìn)行校準(zhǔn)的方法，通過移動(dòng)校準(zhǔn)靶的位置并采集不同位置的多個(gè)圖像，然后得到位移與長度的比例，利用這一比例校準(zhǔn)相機(jī)，解決了標(biāo)準(zhǔn)靶較為昂貴的問題。

從上述對相機(jī)校準(zhǔn)的專利中可以看出，隨著新技術(shù)的出現(xiàn)和不斷發(fā)展，對于相機(jī)校準(zhǔn)不僅僅局限于采用標(biāo)準(zhǔn)靶進(jìn)行校準(zhǔn)，還進(jìn)一步提出了對運(yùn)行中的相機(jī)進(jìn)行校準(zhǔn)，采用非標(biāo)準(zhǔn)靶進(jìn)行校準(zhǔn)等新的方式，使機(jī)器視覺的使用范圍更加廣，適應(yīng)不同苛刻環(huán)境的能力也大幅提高。

2、圖像處理

圖像處理時(shí)用計(jì)算機(jī)對圖像進(jìn)行分析，相機(jī)獲取的圖片或者視頻需要經(jīng)過圖像處理才能得到有用的測量信息，一般采用去噪聲、增強(qiáng)、復(fù)原、分割、提取特征等處理的方法和技術(shù)。圖像處理近幾年得到迅速的發(fā)展，主要有三個(gè)因素：計(jì)算機(jī)的發(fā)展、數(shù)學(xué)的發(fā)展、應(yīng)用需求的增長。

2001年，專利US6173070B1[14]公開了一種對獲得的圖片進(jìn)行特征點(diǎn)確定的方法，該方法通過同一對象的多個(gè)圖片和確定的特定的平面確定特征點(diǎn)，該方法可以快速獲取特征點(diǎn)，進(jìn)而對目標(biāo)對象進(jìn)行分析。

2004年，專利CN1527024A[15]公開了一種機(jī)器視覺檢測系統(tǒng)，其采用多種顏色的光源，每采集一幅圖片就更換一個(gè)光源的顏色，然后再對圖像處理，提高了圖像處理的精確度。

2005年，專利CN101002229A[16]公開了一種用于自動(dòng)視覺事件檢測的方法和裝置，該方法采用相機(jī)捕獲多個(gè)幀，多個(gè)幀中的每個(gè)幀包括其中事件發(fā)生的二維視場的圖像，事件包括預(yù)定對象的移動(dòng)；利用響應(yīng)于多個(gè)幀的視覺分析計(jì)算多個(gè)事件檢測權(quán)重，每個(gè)事件檢測權(quán)重分別對應(yīng)于多個(gè)幀中的每個(gè)幀，并包括視場中事件正在發(fā)生的證據(jù)；從多個(gè)幀中選擇多個(gè)事件幀，多個(gè)事件幀對應(yīng)于多個(gè)事件檢測權(quán)重的子集；響應(yīng)多個(gè)事件檢測權(quán)重的子集的事件分析，檢測事件是否已經(jīng)發(fā)生，該方法可以快速辨識出被測物體的變化，進(jìn)而輸出控制信號。

2011年，專利US2011/0317906A1[17]公開了一種用于探針標(biāo)志檢查的系數(shù)確定方法，該方法采用先前確定的圖片向量和現(xiàn)有采集的圖片進(jìn)行比較，進(jìn)而確定檢查系數(shù)。

2012年，專利CN103105193A[18]公開了一種在運(yùn)行模式中執(zhí)行連續(xù)的圖像獲取的方法，該方法在第一階段，掃描將具有連續(xù)圖像獲取流的部件程序的部分以尋找圖像獲取操作，并確定用于獲取圖像的最有效的順序，之后開始圖像獲取過程；然后在第二階段，在執(zhí)行圖像獲取過程中，再次掃描部件程序的該部分，然后執(zhí)行圖像分析操作。該方法實(shí)現(xiàn)連續(xù)圖像獲取部件程序的更高效、直觀和靈活的編程和編輯。專利CN103175469A[19]公開了一種增強(qiáng)型邊緣的聚焦方法，該方法在劃定區(qū)域中對特征點(diǎn)極值進(jìn)行分析，進(jìn)而實(shí)現(xiàn)邊緣增強(qiáng)，具體流程參見圖6。

2013年，專利CN104065891A[20]公開了一種機(jī)器視覺3D線掃描圖像的獲取及處理方法，該方法將若干組控制信號施加到像素元件的行，每一行的像素元件共享控制信號，針對每一組控制信號，根據(jù)控制信號聚合像素元件的列的基于第一像素信號的輸出信號，及對像素元件的列的經(jīng)聚合輸出信號中的每一個(gè)進(jìn)行數(shù)字化，解決了常規(guī)機(jī)器視覺中必須由相機(jī)捕獲由系統(tǒng)形成的物理坐標(biāo)中的每一個(gè)及每一行像素元件的實(shí)質(zhì)大小的二維強(qiáng)度圖像的問題，提高了圖像處理速度。

從上述圖像處理的專利可以看出，圖像處理是近幾年的熱點(diǎn)，這也是關(guān)乎視覺處理速度和準(zhǔn)確度最重要的因素，從特征點(diǎn)的確定到圖像變化的識別，最后到圖像處理速度的優(yōu)化都有進(jìn)一步的研究，未來圖像處理方向也會(huì)繼續(xù)成為機(jī)器視覺領(lǐng)域的關(guān)鍵點(diǎn)。

3、具體應(yīng)用

機(jī)器視覺的應(yīng)用特別廣泛，而且相關(guān)專利中大多數(shù)均是對機(jī)器視覺的具體應(yīng)用，特別是我國的專利，正是這些應(yīng)用將機(jī)器視覺的優(yōu)點(diǎn)充分發(fā)揮出來。

2002年，專利CN1376258A[21]公開了利用機(jī)器視覺系統(tǒng)測量車輛滾動(dòng)半徑的方法，通過測量汽車行進(jìn)前后的圖像，進(jìn)而求取車輪的滾動(dòng)半徑。

2003年，專利CN1464970A[22]公開了一種多相機(jī)視覺測量系統(tǒng)，利用視覺系統(tǒng)對被測物體進(jìn)行定位。專利CN1566900A[23]公開了一種空間圓幾何參數(shù)的視覺測量方法，采用視覺測量系統(tǒng)擬合空間圖像進(jìn)而實(shí)現(xiàn)對被測物體的測量。

2004年，專利CN1581457A[24]公開了采用視覺系統(tǒng)進(jìn)行自動(dòng)化檢測焊球高度的方法。首先根據(jù)被測對象的尺寸和測量高度的要求，由光學(xué)成像原理和幾何關(guān)系確定側(cè)面CCD攝像機(jī)安裝的極限角度，以此為基準(zhǔn)，對安裝角度進(jìn)行微調(diào)，原則是安裝角度盡可能的接近極限角度，又能得到每一排焊球的高度信息。確定安裝角度以后，進(jìn)行系統(tǒng)標(biāo)定。將側(cè)面CCD捕捉圖像信息進(jìn)行分析，由標(biāo)定參數(shù)和圖像與空間被測器件的幾何對應(yīng)關(guān)系即可得焊球的高度信息。

2005年，專利CN1734228A[25]公開了采用視覺系統(tǒng)進(jìn)行電路板的檢測，通過用于指示缺陷指示的置信度的置信度分?jǐn)?shù)值來確定被測電路板是否合格，提高的檢測效率和精度。專利CN1758020A[26]公開了采用條紋投射的視覺檢測系統(tǒng)，由正弦條紋投射裝置向被測物表面投射多幅正弦光柵，由圖像傳感器獲取一系列不同相位的圖像送至圖像采集部分，再經(jīng)過計(jì)算機(jī)系統(tǒng)進(jìn)行圖像處理，得到帶有物體三維信息的相位圖，可快速改變投射條紋的間距、相位和對比度，適合于不同曲率的被測面的在線測量，自適應(yīng)能力強(qiáng)；同時(shí)測量系統(tǒng)結(jié)構(gòu)簡單，測量精度高，抗干擾能力強(qiáng)。專利CN1804541A[27]公開了一種利用視覺系統(tǒng)測量三維位置姿態(tài)的方法，以雙圓合作目標(biāo)的公切點(diǎn)以及不同公切點(diǎn)連線的交點(diǎn)作為目標(biāo)特征點(diǎn)，根據(jù)所建立的攝像機(jī)透視投影模型和運(yùn)動(dòng)模型，計(jì)算攝像機(jī)的三維位置和姿態(tài)，并可以進(jìn)一步求出攝像機(jī)的線位移、角位移、線速度以及角速度等參數(shù)，具體參見圖7。專利CN101040184A[28]公開了一種利用視覺系統(tǒng)測量巖石顆粒成分的方法，用于自動(dòng)分析從礦石、巖石、礫石、天然、人造或回收的骨料等中選擇的多個(gè)樣品物體的尺寸和形狀。

2009年，專利CN101561262A[29]公開了一種利用視覺系統(tǒng)測量表面粗糙度的方法，根據(jù)視覺圖像利用算術(shù)平均偏差法和灰度共生矩陣法得到表面特征量，建立環(huán)境光、表面特征量與表面粗糙度關(guān)系模型，利用模型確定的函數(shù)計(jì)算表面粗糙度。

2010年，專利CN101881598A[30]公開了一種利用機(jī)器視覺進(jìn)行植物測量的裝置，利用圖像采集模塊采集玉米果穗旋轉(zhuǎn)一周的每一行籽粒的圖像，并將圖像實(shí)時(shí)傳送至控制處理模塊；旋轉(zhuǎn)稱重模塊在接收到信號后測量待測玉米果穗的重量并帶動(dòng)待測玉米果穗旋轉(zhuǎn)，并在開始旋轉(zhuǎn)時(shí)向控制處理模塊發(fā)送已旋轉(zhuǎn)信號；控制處理模塊向旋轉(zhuǎn)稱重模塊發(fā)送旋轉(zhuǎn)信號及稱重信號，在接收到已旋轉(zhuǎn)信號的同時(shí)，向圖像采集模塊發(fā)送圖像采集信號，并對圖像進(jìn)行處理，獲得待測玉米果穗性狀參數(shù)并實(shí)時(shí)顯示。

從上述具體應(yīng)用的專利可以看出，機(jī)器視覺被應(yīng)用的范圍越來越廣，不僅有對物體的尺寸的檢測，也有對物體位置的檢測，不僅對平面圖像進(jìn)行處理，還能構(gòu)建立體圖像。而且機(jī)器視覺還應(yīng)用在導(dǎo)航、材料分析以及農(nóng)業(yè)等方面，大大拓展了測量范圍，從根本上改變了傳統(tǒng)的測量手段，提高了測量精度。

四、總結(jié)

通過對機(jī)器視覺中的相機(jī)校準(zhǔn)、圖像處理和具體應(yīng)用的技術(shù)發(fā)展過程進(jìn)行梳理和比較，可以看出，在相機(jī)校準(zhǔn)和圖像處理方面，國外的公司發(fā)展較早，而且一直處于不斷研發(fā)過程中，特別是圖像處理方面，一直是研究熱點(diǎn)也是研究重點(diǎn)。一方面由于國外特別是美國和日本在圖像處理具有領(lǐng)先優(yōu)勢，另一方面也說明圖像處理未來將是機(jī)器視覺的重點(diǎn)發(fā)展方向。在機(jī)器視覺的具體應(yīng)用方面，我國明顯具有優(yōu)勢，這表明我國能充分利用國外的先進(jìn)測量技術(shù)，也說明我們對機(jī)器視覺的認(rèn)識和重視程度都有很大的提高。我國未來幾年應(yīng)該重點(diǎn)在圖像處理上有所突破，通過對專利的分析可知，近幾年圖像處理主要是在速度和準(zhǔn)確度兩個(gè)方向發(fā)展，我們應(yīng)該在提高圖像處理速度和準(zhǔn)確度兩個(gè)方向加大研究，爭取早日實(shí)現(xiàn)彎道超車，在這個(gè)領(lǐng)域掌握重要的核心技術(shù)。