圖像檢索專(zhuān)利技術(shù)的申請(qǐng)趨勢(shì)與發(fā)展路線分析

楊小容 曾憲琴

（1. 海軍工程大學(xué)圖書(shū)館，武漢 430033；2. 國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作廣東中心，廣州 518057）

科學(xué)數(shù)據(jù)是國(guó)家科技創(chuàng)新發(fā)展和經(jīng)濟(jì)社會(huì)進(jìn)步的重要基礎(chǔ)性戰(zhàn)略資源，是科研創(chuàng)新最基本、最活躍、影響面最寬的科技資源[1]。越來(lái)越多的基于大數(shù)據(jù)的專(zhuān)利檢索數(shù)據(jù)分析技術(shù)應(yīng)用在圖像檢索領(lǐng)域。在20世紀(jì)70年代，圖像檢索技術(shù)[2-3]通過(guò)人力對(duì)圖像的外部特征（如圖像的作者、年代）進(jìn)行標(biāo)注，然后通過(guò)對(duì)文本的比對(duì)查找圖像。然而，隨著圖像形式的不斷豐富，這種采用文字對(duì)圖像進(jìn)行標(biāo)注的方式已經(jīng)越來(lái)越不能適應(yīng)網(wǎng)絡(luò)等高新技術(shù)的發(fā)展需求，且耗費(fèi)大量的人力資源，嚴(yán)重影響了圖像查詢(xún)的準(zhǔn)確度。為了克服這些問(wèn)題，90年代開(kāi)始有學(xué)者提出了基于內(nèi)容的圖像檢索技術(shù)（Content-based Image Retrieval，CBIR）。CBIR技術(shù)是通過(guò)對(duì)圖像自身的內(nèi)容信息（如圖像的顏色、紋理、形狀、語(yǔ)義）進(jìn)行分析和檢索的技術(shù)，該技術(shù)比基于人工標(biāo)引的圖像檢索更加客觀，更能完整地表示出圖像信息?，F(xiàn)今，CBIR技術(shù)已經(jīng)成為圖像檢索領(lǐng)域的一個(gè)側(cè)重點(diǎn)，廣泛應(yīng)用于如遙感、醫(yī)學(xué)和社會(huì)安全等領(lǐng)域，其作為一門(mén)多學(xué)科綜合性技術(shù)，必將越發(fā)受到重視。

CBIR技術(shù)主要依托于基于內(nèi)容的圖像檢索系統(tǒng)，該系統(tǒng)主要?jiǎng)澐譃閮蓚€(gè)子系統(tǒng)：特征提取和查詢(xún)[4-5]。特征提取子系統(tǒng)首先對(duì)原始圖像數(shù)據(jù)進(jìn)行預(yù)處理，然后按照給定的提取方法提取圖像的特征，用這些特征建立特征數(shù)據(jù)庫(kù)。查詢(xún)子系統(tǒng)是根據(jù)用戶(hù)給定的范例圖像，在特征庫(kù)中查詢(xún)出和它具有相同或者相似特征值的圖像，返回給用戶(hù)，以滿(mǎn)足用戶(hù)的要求。

下文主要從專(zhuān)利技術(shù)分領(lǐng)域及關(guān)鍵詞的角度對(duì)圖像檢索專(zhuān)利技術(shù)數(shù)據(jù)進(jìn)行獲取，并進(jìn)行處理、剖析、歸納、總結(jié)。在此基礎(chǔ)上，從顏色特征、紋理特征、形狀特征和語(yǔ)義特征等角度對(duì)圖像檢索技術(shù)發(fā)展路線進(jìn)行詳細(xì)分析。

1 圖像檢索專(zhuān)利數(shù)據(jù)獲取與處理

1.1 圖像檢索專(zhuān)利技術(shù)分領(lǐng)域及關(guān)鍵詞

目前圖像檢索領(lǐng)域的重點(diǎn)專(zhuān)利技術(shù)可以分為以下5個(gè)子領(lǐng)域[6-8]：①基于人工標(biāo)引的圖像檢索；②基于顏色特征的圖像檢索；③基于紋理特征的圖像檢索；④基于形狀特征的圖像檢索；⑤基于語(yǔ)義特征的圖像檢索。為了更好地對(duì)基于內(nèi)容的圖像檢索技術(shù)專(zhuān)利進(jìn)行針對(duì)性分析，筆者結(jié)合相關(guān)文獻(xiàn)及工作實(shí)踐對(duì)5個(gè)子領(lǐng)域的主要技術(shù)和檢索關(guān)鍵詞進(jìn)行了歸納（見(jiàn)表1）。

表1 各子領(lǐng)域的主要技術(shù)和檢索關(guān)鍵詞

本文通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作廣東中心審查員常用的CNABS（中國(guó)專(zhuān)利文摘數(shù)據(jù)庫(kù)）和VEN，分別對(duì)國(guó)內(nèi)和國(guó)外基于圖像檢索的5個(gè)子領(lǐng)域的專(zhuān)利進(jìn)行檢索分析。其中CNABS收錄了1985年至今所有中國(guó)專(zhuān)利文摘數(shù)據(jù)；而VEN數(shù)據(jù)庫(kù)是由SIPOABS和DWPI組成的虛擬數(shù)據(jù)庫(kù)，收錄了1827年至今的97個(gè)國(guó)家或組織的專(zhuān)利信息。以上兩個(gè)專(zhuān)利數(shù)據(jù)庫(kù)是審查員工作中常用的兩大中外專(zhuān)利數(shù)據(jù)庫(kù)，數(shù)據(jù)量大、權(quán)威、可靠。其檢索主要是運(yùn)用“分類(lèi)號(hào)+關(guān)鍵詞”組合或者“關(guān)鍵詞+關(guān)鍵詞”組合，檢索到大批相關(guān)專(zhuān)利文獻(xiàn)，然后按年度、申請(qǐng)量、申請(qǐng)人、國(guó)別等維度進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，利用數(shù)據(jù)分析專(zhuān)用軟件Matlab進(jìn)行統(tǒng)計(jì)數(shù)據(jù)的可視化比對(duì)。

1.2 圖像檢索技術(shù)分解

技術(shù)分解可以進(jìn)一步細(xì)化分類(lèi)，有助于了解行業(yè)整體情況以及選取研究重點(diǎn)。圖像檢索技術(shù)主要分為基于標(biāo)引和基于內(nèi)容兩個(gè)大的分支，其中基于內(nèi)容又分為基于顏色特征、基于形狀特征、基于紋理特征和基于語(yǔ)義特征4個(gè)小分支。

下面將基于圖像檢索各子領(lǐng)域的申請(qǐng)量隨年度的變化趨勢(shì)，對(duì)各子領(lǐng)域的專(zhuān)利申請(qǐng)?zhí)攸c(diǎn)進(jìn)行分析，圖1顯示了圖像檢索各子領(lǐng)域的申請(qǐng)量隨年度的變化趨勢(shì)。

圖1 圖像檢索子領(lǐng)域?qū)＠暾?qǐng)趨勢(shì)

從申請(qǐng)總量曲線看，圖像檢索技術(shù)在1985—2000年處于起步階段；2001—2009年申請(qǐng)量穩(wěn)步上升； 2010—2019年迎來(lái)了繼續(xù)快速發(fā)展。進(jìn)一步細(xì)化分析5個(gè)子領(lǐng)域圖像檢索技術(shù)，可以清晰看到：基于人工標(biāo)引的圖像檢索技術(shù)起步時(shí)間最早，發(fā)展勢(shì)頭最明顯，我們經(jīng)常使用的搜索引擎如百度、搜狐、Google、雅虎等都采用文本描述對(duì)圖像進(jìn)行檢索，其技術(shù)難度較低，因此1985—2008年的申請(qǐng)量主要來(lái)自于基于人工標(biāo)引的圖像檢索技術(shù)，2008年以后基于顏色、紋理、形狀和語(yǔ)義的圖像檢索技術(shù)逐步發(fā)展起來(lái)，但申請(qǐng)總量仍小于基于人工標(biāo)引的圖像檢索技術(shù)。圖像的顏色特征是描述一幅圖像最簡(jiǎn)便而有效的特征，它具有旋轉(zhuǎn)不變性和尺度不變性，比其他特征更容易獲取，由圖1可見(jiàn)2008—2015年基于顏色特征的圖像檢索技術(shù)迎頭追趕，發(fā)展勢(shì)頭喜人；同時(shí)2008年之后，基于紋理特征和基于形狀特征的圖像檢索技術(shù)申請(qǐng)量也開(kāi)始緩慢增加。而基于語(yǔ)義特征的圖像檢索涉及的主要技術(shù)包括標(biāo)識(shí)、分類(lèi)、檢測(cè)和匹配，其通過(guò)提取圖像的低層視覺(jué)特征，利用人工智能機(jī)器學(xué)習(xí)模型，如支持向量模型進(jìn)行分類(lèi)訓(xùn)練，最終獲取圖像的類(lèi)別，并根據(jù)圖像的類(lèi)別來(lái)進(jìn)行圖像檢索，其技術(shù)難度較大，因此從2009年開(kāi)始才有緩慢發(fā)展。接下來(lái)主要對(duì)基于內(nèi)容的圖像檢索技術(shù)發(fā)展路線進(jìn)行分析。

2 圖像檢索專(zhuān)利技術(shù)申請(qǐng)趨勢(shì)分析

2.1 國(guó)內(nèi)專(zhuān)利申請(qǐng)分析

2.1.1 國(guó)內(nèi)申請(qǐng)量分析

基于對(duì)圖像檢索5個(gè)子領(lǐng)域的分析，首先將圖像檢索大領(lǐng)域的關(guān)鍵詞進(jìn)行檢索，然后利用各子領(lǐng)域的關(guān)鍵詞進(jìn)一步在結(jié)果中進(jìn)行檢索。

通過(guò)各技術(shù)子領(lǐng)域的申請(qǐng)量占比分析可知，基于人工標(biāo)引的圖像檢索的專(zhuān)利申請(qǐng)量最大（占比49%），其次是基于顏色特征的圖像檢索（占比26%）和基于形狀特征的圖像檢索（占比12%），基于紋理特征的圖像檢索（占比7%）和基于語(yǔ)義特征的圖像檢索（占比6%）專(zhuān)利申請(qǐng)量較小。這是因?yàn)榛谌斯?biāo)引的圖像檢索技術(shù)起源最早，技術(shù)難度低，發(fā)展最成熟。而在基于低層視覺(jué)特征的檢索中，顏色特征是描述一幅圖像最簡(jiǎn)便而有效的特征，且比其他特征更容易獲取，因此，基于顏色特征的圖像檢索專(zhuān)利申請(qǐng)較多。

2.1.2 國(guó)內(nèi)主要申請(qǐng)人分析

對(duì)檢索結(jié)果的申請(qǐng)人進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)，國(guó)內(nèi)圖像檢索領(lǐng)域的主要申請(qǐng)人為中日韓企業(yè)及中國(guó)高等院校。其中申請(qǐng)量排名前十的申請(qǐng)人依次是三星、百度、索尼、中國(guó)科學(xué)院、奧林巴斯、北京大學(xué)、西安電子科技大學(xué)、佳能、三菱、微軟。

進(jìn)一步對(duì)授權(quán)的專(zhuān)利進(jìn)行統(tǒng)計(jì)分析，得到授權(quán)專(zhuān)利的主要申請(qǐng)人，如圖2所示。

圖2 授權(quán)專(zhuān)利申請(qǐng)人的申請(qǐng)量和授權(quán)量統(tǒng)計(jì)

可以看出，申請(qǐng)量較大的申請(qǐng)人，其授權(quán)量也較大，如韓國(guó)的三星和日本的索尼，說(shuō)明這些企業(yè)的圖像處理技術(shù)和圖像檢索技術(shù)都非常強(qiáng)，圖像檢索技術(shù)主要集中在日韓的相機(jī)企業(yè)當(dāng)中，以后在專(zhuān)利審查過(guò)程中可以重點(diǎn)對(duì)這部分申請(qǐng)人進(jìn)行追蹤檢索。而國(guó)內(nèi)的百度和騰訊雖然申請(qǐng)量比較大，但授權(quán)量卻很低。高校中，西安電子科技大學(xué)的申請(qǐng)量雖然很大，但其授權(quán)量很小，上海交通大學(xué)、清華大學(xué)、華中科技大學(xué)的申請(qǐng)量雖然小，但授權(quán)量大，可見(jiàn)高校在圖像檢索領(lǐng)域的專(zhuān)利授權(quán)率比較高。這是因?yàn)閳D像檢索技術(shù)具有較強(qiáng)的科研學(xué)術(shù)性質(zhì)，并且高校申請(qǐng)人所申請(qǐng)的專(zhuān)利一般都涉及算法，其權(quán)利要求的撰寫(xiě)十分冗長(zhǎng)，導(dǎo)致保護(hù)范圍非常小，結(jié)合專(zhuān)利審查的標(biāo)準(zhǔn)，在這種情況下獲得授權(quán)的機(jī)會(huì)較大。

2.2 國(guó)外專(zhuān)利申請(qǐng)分析

2.2.1 國(guó)外申請(qǐng)量分析

利用圖像檢索相關(guān)關(guān)鍵詞對(duì)國(guó)外專(zhuān)利申請(qǐng)進(jìn)行檢索，并對(duì)檢索結(jié)果進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)國(guó)際上圖像檢索領(lǐng)域的申請(qǐng)最早在20世紀(jì)70年代，1975—1985年處于起步階段，1986—1997年處于穩(wěn)步發(fā)展階段，1998—2010年迎來(lái)圖像檢索技術(shù)的快速發(fā)展階段，2011年之后圖像檢索技術(shù)趨于成熟。

2.2.2 國(guó)際申請(qǐng)國(guó)別分布

國(guó)際上圖像檢索領(lǐng)域的申請(qǐng)主要集中在日本、美國(guó)、中國(guó)、歐洲、韓國(guó)和中國(guó)臺(tái)灣地區(qū)。其中國(guó)際上申請(qǐng)量最大的國(guó)家是日本，這與國(guó)內(nèi)申請(qǐng)是一致的，但是韓國(guó)在國(guó)際上的申請(qǐng)量較低，排在第五位，反而中國(guó)在國(guó)際上申請(qǐng)量很大。對(duì)此，筆者認(rèn)為可能是由于中國(guó)在國(guó)際申請(qǐng)過(guò)程中，申請(qǐng)文件被當(dāng)作同族文獻(xiàn)也被統(tǒng)計(jì)導(dǎo)致的。

3 圖像檢索關(guān)鍵技術(shù)的發(fā)展路線分析

3.1 基于顏色特征的圖像檢索技術(shù)發(fā)展路線分析

3.1.1 基于顏色特征的圖像檢索技術(shù)發(fā)展路線分析

目前顏色特征的描述方法主要有顏色直方圖法、顏色相關(guān)圖法、顏色矩法、顏色聚合矢量法等。從圖3可以看出，2000—2012年國(guó)內(nèi)基于顏色圖像檢索領(lǐng)域的專(zhuān)利申請(qǐng)大都集中在基于顏色直方圖提取的技術(shù)領(lǐng)域，顏色直方圖是比較直觀也易于提取的圖像特征，也是最早開(kāi)始發(fā)展的特征，在2012年以后，國(guó)內(nèi)才廣泛開(kāi)始基于顏色相關(guān)圖法、顏色矩法、顏色聚合矢量法等的研究。而國(guó)際上基于顏色特征的圖像檢索技術(shù)起源較早，發(fā)展較為成熟，2003年開(kāi)始就具備了基于顏色直方圖、相關(guān)圖、顏色矩、聚合矢量提取圖像顏色特征的技術(shù)，超前國(guó)內(nèi)足足十年時(shí)間。從整體上看，圖像顏色特征提取方法經(jīng)歷了由整體顏色特征到區(qū)域顏色特征到多區(qū)域顏色特征加權(quán)融合的發(fā)展，也由早期的單一顏色特征提取方法發(fā)展到后期多種顏色特征提取方法結(jié)合使用。

圖3 基于顏色特征的圖像檢索技術(shù)發(fā)展路線

3.1.2 基于紋理特征的圖像檢索技術(shù)發(fā)展路線分析

紋理是圖像的重要低層物理表征，廣泛存在于各種自然物體表面。目前，紋理的描述和分析方法很多，較為常用的紋理特征描述方法有基于統(tǒng)計(jì)的描述方法、基于信號(hào)處理的描述方法、基于幾何的描述方法以及基于模型的描述方法等。如圖4所示，基于紋理特征的圖像檢索領(lǐng)域的專(zhuān)利申請(qǐng)均始于國(guó)外，國(guó)內(nèi)的專(zhuān)利申請(qǐng)始于2012年并主要集中在基于統(tǒng)計(jì)的描述方法和基于模型描述方法兩方面。在實(shí)際的研究中，學(xué)者通常結(jié)合多種描述方法，使提取的紋理特征更有效。

圖4 基于紋理特征的圖像檢索技術(shù)發(fā)展路線

3.1.3 基于形狀特征的圖像檢索技術(shù)發(fā)展路線分析

不同于顏色和紋理等特征，形狀特征的提取必須建立在對(duì)圖像中物體或區(qū)域的邊緣提取和分割的基礎(chǔ)上。對(duì)形狀特征的描述，既可以描述其邊界特征，也可以描述其所包圍的區(qū)域。所以，目前常用的形狀特征描述方法主要分為以下兩種：基于邊界的形狀描述和基于區(qū)域的形狀描述。從圖5可以看出，基于形狀的圖像檢索技術(shù)在2009—2014年得到一個(gè)快速的發(fā)展期?；谶吔绲男螤钐卣髅枋鲋饕夹g(shù)包括邊界點(diǎn)的提取和表示方法，其主要度量方法包括邊界面積、邊界相對(duì)位置距離等，其發(fā)展路線由單因素邊界形狀度量發(fā)展到多因素形狀度量；基于區(qū)域的形狀特征提取，主要經(jīng)歷了由單區(qū)域形狀描述到多區(qū)域形狀融合的發(fā)展路線。

圖5 基于形狀特征的圖像檢索技術(shù)發(fā)展路線

3.1.4 基于語(yǔ)義特征的圖像檢索技術(shù)發(fā)展路線分析

由于基于語(yǔ)義特征的圖像檢索專(zhuān)利申請(qǐng)量較小，本文沒(méi)有對(duì)該技術(shù)的發(fā)展路線進(jìn)行分析，下面對(duì)基于語(yǔ)義特征的圖像檢索相關(guān)技術(shù)進(jìn)行一個(gè)說(shuō)明。

基于語(yǔ)義的圖像檢索一般指的是基于目標(biāo)和高級(jí)語(yǔ)義的圖像檢索方法。在原有檢索系統(tǒng)中加入高級(jí)語(yǔ)義到低層特征的轉(zhuǎn)化，可以在不改變現(xiàn)有的圖像特征庫(kù)和匹配方式的情況下，實(shí)現(xiàn)基于語(yǔ)義的圖像檢索。這種檢索方法的目標(biāo)是最大限度地減小圖像簡(jiǎn)單視覺(jué)特征與豐富的語(yǔ)義之間的語(yǔ)義鴻溝。一般而言，高層的圖像語(yǔ)義往往建立在較低層次的語(yǔ)義獲得的基礎(chǔ)上，并且層次越高，語(yǔ)義越復(fù)雜，涉及的領(lǐng)域知識(shí)越多。隨著語(yǔ)義技術(shù)的不斷發(fā)展與完善，相信基于語(yǔ)義特征的圖像檢索也會(huì)迎來(lái)一個(gè)大發(fā)展時(shí)期。

3.2 基于內(nèi)容的圖像檢索專(zhuān)利技術(shù)的發(fā)展趨勢(shì)

由以上分析可知，2010年以后，顏色特征提取技術(shù)以及圖像匹配技術(shù)仍然在申請(qǐng)量中占有較大比重。這表明申請(qǐng)人非常注重具有鮮明視覺(jué)信息的顏色特征表達(dá)以及能夠直接影響檢索效果的相似性度量技術(shù)方面的知識(shí)產(chǎn)權(quán)保護(hù)。一方面是因?yàn)轭伾卣飨鄬?duì)較易提取，選取合適的顏色特征表達(dá)方法，可以給技術(shù)方案帶來(lái)較好的技術(shù)效果；另一方面是因?yàn)槿魏我粋€(gè)基于內(nèi)容的圖像檢索系統(tǒng)都離不開(kāi)圖像匹配技術(shù)，具有了一系列特征表達(dá)方法后，更需要有一套合適的圖像匹配方法，其直接關(guān)系到圖像檢索效果的好壞。因此，顏色特征提取技術(shù)以及圖像匹配技術(shù)在未來(lái)一段時(shí)間內(nèi)，將仍然是申請(qǐng)人專(zhuān)利保護(hù)的重點(diǎn)。

同時(shí)，該領(lǐng)域內(nèi)已經(jīng)逐漸出現(xiàn)了一些新的研究熱點(diǎn)：如從顏色的物理、視覺(jué)、心理等方面來(lái)研究顏色特征，如何解決圖像的低層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝，如何設(shè)計(jì)用戶(hù)的反饋方式和充分利用反饋信息等?？梢灶A(yù)見(jiàn)，隨著這些熱點(diǎn)技術(shù)的研究逐漸深入，將會(huì)出現(xiàn)越來(lái)越多的相關(guān)專(zhuān)利申請(qǐng)。

4 結(jié)論

本文結(jié)合相關(guān)專(zhuān)利申請(qǐng)，對(duì)圖像檢索專(zhuān)利技術(shù)發(fā)展?fàn)顩r、關(guān)鍵技術(shù)的發(fā)展路線及發(fā)展趨勢(shì)進(jìn)行了詳細(xì)的分析。通過(guò)對(duì)以上分析可知，圖像檢索技術(shù)從20世紀(jì)70年代開(kāi)始，從基于人工標(biāo)引的圖像檢索技術(shù)發(fā)展到基于內(nèi)容的圖像檢索技術(shù)?；谌斯?biāo)引的圖像檢索技術(shù)采用文本描述對(duì)圖像進(jìn)行檢索，其技術(shù)難度較低便于應(yīng)用發(fā)展。隨著技術(shù)的發(fā)展，基于顏色、紋理、形狀和語(yǔ)義特征的圖像檢索技術(shù)也必將迎來(lái)大發(fā)展，而這些領(lǐng)域的專(zhuān)利申請(qǐng)將會(huì)占據(jù)圖像檢索專(zhuān)利的半壁江山。圖像檢索技術(shù)的推動(dòng)是由基于低層視覺(jué)特征的圖像檢索向基于高層語(yǔ)義特征的技術(shù)發(fā)展，目前，基于低層視覺(jué)特征的圖像檢索技術(shù)已相對(duì)比較成熟，基于高層語(yǔ)義的圖像檢索技術(shù)將會(huì)成為圖像檢索技術(shù)接下來(lái)發(fā)展的主要方向，將會(huì)出現(xiàn)越來(lái)越多的相關(guān)專(zhuān)利申請(qǐng)。