局部二值描述子的研究進展綜述

邊后琴，張皓霖，黃福珍

局部二值描述子的研究進展綜述

邊后琴1，張皓霖1，黃福珍2

(1. 上海電力大學電子與信息工程學院，上海 200090；2. 上海電力大學自動化工程學院，上海 200090)

局部二值描述子是局部不變特征中的重要研究對象，廣泛應用于計算機視覺與模式識別中。近年來，以BRIEF描述子為代表的局部二值描述子相繼出現(xiàn)，對十年來局部二值描述子的研究成果與發(fā)展方向進行綜述，旨在為初步研究者與工程應用人員提供參考。首先，對典型的現(xiàn)代局部二值描述子進行概述；其次，對優(yōu)化局部二值描述子方法進行分析；最后，對相關實驗評估準則進行討論，通過總結現(xiàn)階段存在的問題，給出未來研究的展望。從整體來看，近年來局部二值描述子經歷了顯著的發(fā)展與進步，許多對于局部二值描述子的研究均在普適性、魯棒性和高效性上取得了成果。針對應用場景的不同，部分優(yōu)化后的描述子也具備了應對實際問題的能力。這些研究進展為局部二值描述子向高層次發(fā)展、多領域拓寬打下了堅實的基礎并提供了更多的思路。局部二值描述子的成功發(fā)展標志著計算機視覺技術的進步，但其發(fā)展過程中依然存在一些共性問題與矛盾，有待進一步的深入研究與解決。

局部二值描述子；局部不變特征；局部二值描述子的優(yōu)化；局部二值描述子的評估；特征匹配；目標識別

計算機視覺中一項較為重要的任務是在不同的觀察場景下不變地反映圖像的信息，其在圖像匹配[1]、圖像配準與拼接[2]、目標識別[3]、SLAM[4]等視覺技術中是關鍵步驟。為了實現(xiàn)該任務，并以類似人眼對于圖像直觀地觀察以確定圖像特征信息的一致性，特征匹配成為了研究熱點。

圖像特征分為全局特征和局部特征，基于全局特征很難保持特征信息的不變性(如當目標圖像發(fā)生形變和遮擋等情形時)。相較之下，局部特征在識別匹配中具有應對各種變換更好的不變性。局部特征描述子一般分為局部向量描述子與局部二值描述子。局部向量描述子[5-9]具有魯棒性強和識別率高的特點，在視覺任務中廣受歡迎。而隨著嵌入式設備、智能移動設備的興起，針對低存儲、高效率的描述子設計成為當務之急，局部二值描述子的出現(xiàn)反映了該需求，其較局部向量描述子不僅保持了可以匹敵的精度，同時，使用二值(0或1)來構建描述字符串降低了特征維度，高效簡明的算法提高了計算速度，依托漢明距離度量能夠達到實時的特征匹配效率。

近年來，在主流的國際會議與權威期刊上，主要的局部二值描述子有：基于點對強度差的局部二值描述子[10-14]，基于補丁塊強度差的局部二值描述子[15-17]，基于梯度信息的局部二值描述子[18-20]和基于其他信息的局部二值描述子[21-25]等。各種局部二值描述子設計方法不同、適用場景各異。同時，優(yōu)化局部二值描述子性能的技術也在不斷發(fā)展，雖然該類研究充滿著機遇與前景，但現(xiàn)階段也存在著很多的矛盾與挑戰(zhàn)，本文就近年來局部二值描述子的最新的優(yōu)化方式進行綜述，提出存在的問題，給予分析與展望，以供相關研究者或工程人員參考。

1 優(yōu)化局部二值描述子的方式

1.1 提高算法效率

優(yōu)化局部二值描述子，在考慮實時應用時，算法效率尤為重要。為此，很多研究者針對各類局部二值描述子算法的計算復雜度展開了優(yōu)化。早在向量描述子的優(yōu)化中，文獻[26]就在SURF (speeded up robust features)中引入積分圖像算法來簡化構建描述子的計算復雜度；在局部二值描述子的設計中，同樣的方法也被應用到ALOHA (aggregated local haar)描述子中，值得一提的是，在ALOHA中還使用了盒裝濾波代替了高斯濾波簡化了預濾波的運算，并且沒有帶來很大的精度丟失。隨著更多對于數(shù)學應用與計算機語言算法的研究，高效的算法也將在簡化局部二值描述子的計算復雜度中發(fā)揮重要作用，從優(yōu)化算法效率層面上提高局部二值描述子實時性功效也是具有意義的研究方向。

1.2 補充特征信息

優(yōu)化局部二值描述子，尤其是提高描述子的識別精度，最為直接的方式是為描述子增添更多的特征信息，除了常見的強度信息、梯度信息、圖像矩等信息，最新趨勢為局部二值描述子引入顏色信息。如ZHU等[27]將RGB (red green blue) (三通道色彩空間)、NRGB (標化R，G通道Normalized)、對立色彩空間等各類色彩空間信息分別結合在OC-LBP (opposite color local binary patterns)局部二值模式中產生二值描述子，取得了光照魯棒更強的效果。同樣的思路被JAMSHID等[28]應用在FREAK (fast retina keypoint)描述子上，通過將點對分別在RGB三通道下的強度差二值化，取得了匹配精度上的提升，并且縮小了描述子的存儲需求，優(yōu)勢體現(xiàn)在具有光照變化的場景中。雖然為特征描述增添信息可以提高描述子的性能，但是如何高效地描述新信息依然有待發(fā)展，以顏色信息與幾何信息為例，目前對2種信息的聯(lián)合描述還停留在較低層次[29]，如何對局部區(qū)域的顏色信息和空間信息進行高效描述還需要進行研究。

1.3 改良采樣模板

為了提高局部特征描述子的普適性，設計或改良局部特征信息的采樣模板也是一個優(yōu)化局部二值描述子的方向，如XU等[30]提出了OSRI (ordinal and spatial information of regional invariants)描述子，與傳統(tǒng)的規(guī)則模板不同，其采樣基于一種通過區(qū)域分割的不規(guī)則的模板并以此提取不同區(qū)域的圖像矩、空間分布和幾何質心等信息。劉紅敏等[31]通過降低FREAK采樣模型中的采樣點密度和采樣區(qū)域的重疊度，較FREAK只使用了4層同心圓模板并且在每個同心圓的邊緣選取4個點作為輔助點。張欠欠等[32]將特征圓形鄰域劃分為多個環(huán)域，比較對應環(huán)域的灰度均值獲得二值位。袁慶升等[33]提出了RBS描述子，構建了更符合視網膜細胞“低-高-低”的密度分布的采樣模板。李瑩瑩[34]總結了構建二值描述子采樣模板的一些現(xiàn)狀與方法，本文在其基礎上進一步總結了較為典型的局部二值描述子的采樣模板，見表1。近年來的采樣模板設計偏向于參考人類視網膜的結構或生物學機理，而設計高效且合適的采樣模板依然對研究者的專業(yè)知識和素養(yǎng)提出了很高的要求。

1.4 適應應用場景

除了在局部二值描述子普適性方面的優(yōu)化，部分研究者也對于實際應用場景所遇到的問題有針對性對其進行改進或設計。

一個典型的研究問題是針對弱紋理目標的描述，TOMBARI等[35]提出的BOLD (bunch of lines descriptor)描述子是一個經典的案例，BOLD首先檢測邊緣特征，再用類似SIFT的方式對分割線進行描述。而CHAN等[36]提出的BORDER (bounding oriented-rectangle descriptors for enclosed regions)描述子同樣通過線分割檢測邊緣特征，采用一個旋轉的方形模板對特征區(qū)域進行描述。但上述描述子均不是二值描述子，因此在存儲和效率上均不適用，因此，在BORDER描述子的基礎上，CHAN等[37]提出了針對弱紋理目標的局部二值描述子BIND (binary integrated net descriptor)，首先使用BORDER類似的方法檢測邊緣，并以邊緣中點定義為特征點，將特征區(qū)域的內部同質信息和邊緣信息作為描述對象，采用3層×網去編碼每個網格，每個特征形成網狀的二值描述，通過相關邏輯運算來度量描述子之間的距離完成效果不錯的目標檢測或特征匹配，

另一個典型的研究問題是針對魚眼相機所拍攝的球體圖像的特征描述與匹配。針對球體圖像，像素點并不是如平面圖像均勻分布而且像素鄰域的結構也并不規(guī)則，所以，球體圖像特征點間的距離取決于測地線距離而不是歐氏距離，并且，將球體表明分割成可以高效索引的分離像素也并不容易。由于這些難點，面向平面圖像的局部二值描述子在球體圖像的表現(xiàn)并不好，雖然基于局部投影球狀鄰域能將采樣點投影到間接的平面上，但是在處理上卻極為費時。為此，QIANG等[38]借鑒了測地線網格的方式設計了采用六角球形網模板的球體ORB描述子——SPHORB(a fast and robust binary feature on the sphere)描述子。采用六角球形網模板的優(yōu)點在于每個網格具有相同的分割與角度，其次，相鄰網格的中心具有相似的幾何距離，因此，可以將每個立體鄰域之間看做平面鄰域來進行角點特征檢測與二值描述。雖然SPHORB在球體圖像的特征提取與描述上取得了不錯的進展，但是URBAN等[39]指出SPHORB的特征提取速度依然不適于實時應用，因此提出的MDBRIEF (mBRIEF (BOLD) and rBRIEF (ORB (oriented FAST and rotated BRIEF)))描述子依然采用高效的FAST算法來提取角點特征，在描述階段，為了保證描述子的魯棒性，對BRIEF (binary robust independent elementary features)取了離線結合在線訓練的方式，針對魚眼相機拍攝的球體圖像進行訓練學習以提取類類區(qū)分度高、類間相似度高的采樣點對與反應局部特征穩(wěn)健程度的描述子，這也表明有針對性的機器學習訓練是一種解決實際應用中所遇問題的有效方法，但GUAN和SMITH[40]指出SPHORB將球形網展開成平面網帶來了圖像形變并且依賴于附加的圖像處理，所提出的BRISKS (binary robust invariant scalable keypoints on the sphere)描述子有效地避免了這一問題，因為該方法基于球體固有的測地線距離與微分幾何概念來建立特征點的鄰域模板。除了在特征檢測與圖像處理上進行改進使BRISKS較SPHORB具有特征的尺度不變性，最重要的是在特征描述階段，BRISKS在正切空間的BRISK標準模板上重采樣局部特征鄰域，而不是像SPHORB直接在平面網上進行采樣，因此BRISKS可以更好地針對各種像素結構和亞像素化的特征位置。

表1 典型的局部二值描述子的采樣模板

1.5 進行訓練學習

隨著機器學習在計算機視覺的應用越發(fā)廣泛，通過訓練學習的方式提高局部二值描述子的性能也成為了一些研究者的嘗試方向，典型的案例就是ORB (rBRIEF)描述子中引入了貪婪搜索選取最優(yōu)二值位的離線訓練方式，F(xiàn)REAK同樣延續(xù)著ORB的思路，但篩選點對的方法過于依賴訓練數(shù)據(jù)，在普適性上也表現(xiàn)的不夠出色，為此TRZCINSKI等[41]提出了BinBoost描述子，在向量描述子的每一維運用AdaBoost強分類器學習一個哈希函數(shù)并以此提出了一種基于梯度的訓練學習算法來產生二值位，雖然BinBoost在視角與光照變化上具有很高的普適性與魯棒性，但是描述方式必須基于特征區(qū)域的梯度向量信息，且需要大量的訓練數(shù)據(jù)，因此與直接進行二值測試的描述子相比，效率極低，類似的方法還有BAROFFIO等[42]提出的BAMBOO (binary descriptor based on AsymMetric pairwise BOOsting)描述子。為了簡化BinBoost的訓練方式，F(xiàn)AN等[43]提出了RFD (receptive fields selection)描述子，其優(yōu)勢在于只需要使用boosting訓練算法中所用數(shù)據(jù)集的1%就可以產生很高的精度，與上述尋找區(qū)分度高的維數(shù)的思路不同，其旨在尋找區(qū)分度高的感受域，感受域的選擇基于一種閾值反饋訓練，分別采用方形匯集區(qū)與高斯匯集區(qū)構建2種描述子RFD描述字，且通過訓練將區(qū)分度得分值低的二值位剔除以達到緊湊性的描述子。

上述訓練方式要么在實時性上表現(xiàn)不夠出色，要么不具有場景普適性，為此，BALNTAS等[44-45]提出并完善了BOLD描述子，其是一種基于在線學習的描述子，與以往依賴數(shù)據(jù)集的訓練學習方式不同，BOLD的訓練方式依賴于樣本本身，首先通過全局離線訓練的模式選擇最優(yōu)的256位BRIEF描述子，然后將原特征區(qū)域旋轉20°得到新的描述子，與原描述子結合獲得反映局部特征穩(wěn)健程度的MASK掩碼。在特征匹配環(huán)節(jié)，BOLD沒有采用簡單的漢明距離度量，而是采用了含有局部特征穩(wěn)健程度表達(MASK掩碼)的距離度量方式以更好的保證局部特征的不變性。在線的學習訓練方式為描述子的設計與優(yōu)化提供了一種新的思路，同時也印證了人類視覺由粗到細的觀察方式。

隨著深度學習相關理論的發(fā)展，部分研究者將描述子的構建逐漸推向了深度學習的領域，如LIN等[46-47]提出的基于無監(jiān)督深度學習的DeepBit描述子，該方法采用經典的16層VGGNet網絡對緊湊的二值描述子通過訓練完成最小量化損失、平均編碼分布的生成目標(圖1)，通過輸入旋轉的局部特征來強化高魯棒性的特征表達，最終獲得學習的參數(shù)組合二值化的表達。為了優(yōu)化DeepBit在量化損失方面依然存在的缺陷，DUAN等[48-49]提出了DBD-MQ描述子，該方法在深度學習框架下應用K-AutoEncoders (KAEs)網絡來聯(lián)合學習參數(shù)和二值化函數(shù)。在深度學習網絡架構上，該方法與DeepBit不同，其首先采用一個預先通過向量描述子訓練好的CNN (convolution neural network)網絡來完成特征描述任務，再通過細粒度多量化來獲得更具區(qū)分性的二值描述子，架構如圖2所示。

圖1 DeepBit架構

圖2 DBD-MQ架構

2 局部二值描述子的對比

針對不同階段局部二值描述子的相關研究，有研究人員對常用的典型局部二值描述子進行了綜合評估與性能對比。MIKOLAJCZYK和SCHMID[50]對局部向量描述子展開了性能評估并提出了較為經典的依托召回率(recall)與精確率(precision)的評估準則，通過繪制“Recall/1-Precision”曲線便可以在同指標下對不同描述子的識別或匹配效果進行對比。另外，經實驗及繪制ROC (receiver operating characteristic curve)曲線也是一種綜合對比不同描述子性能的方法，對特征匹配而言，需要根據(jù)實驗結果計算TP (true positive)、FN (false negative)、FP (flase positive)與TN (true negative)指標，進而得到TPR (ture positive rate)與FPR (flase positive rate)的結果并繪制TPR/FPR曲線(即ROC曲線)，該評估方法存在的問題是當樣本數(shù)據(jù)不統(tǒng)一時，其對比將缺乏一定的代表性。HEINLY等[51]將局部二值描述子BRIEF，ORB和BRISK應用于在圖像匹配并展開了綜合評估，其在文獻[50]的基礎上提出了新的依托假定匹配率(putative match ratio)的評估準則，在結合特征檢測-特征描述進行組合評測時，運用熵的相關理論來計算特征點在空間分布的隨機性，實驗證明了特征檢測會對描述產生一定的影響，比如，提取太過聚集分布的特征點會導致描述子的區(qū)分度下降，且識別混亂。因為現(xiàn)有的實驗圖像集和評估準則并不能全面的反應描述子的綜合性能，BALNTAS等[52]提出了更嚴格的衡量局部描述子優(yōu)劣的評估準則——平均精度(mAP-mean average precision)，同時擴充了更大的實驗圖像集，為局部描述子的評估提供了更多的選擇和方向。

針對局部描述子的評估方式還有很多，但是上述提到的評估準則在實驗中應用最廣且較為主流，具有一定權威性和認可度，同時，局部二值描述子的優(yōu)劣從根本上講是依賴于該描述子不變性、低維性與實時性，相關研究者也需要根據(jù)實際情況對相關局部二值描述子進行有針對性地調研。本文對主流局部二值描述子進行了定性分類與對比(表2)，僅供相關研究或工程應用參考。

表2 主流局部二值描述子的對比 局部二值描述子設計思路不變性光照不變性旋轉不變性尺度不變性模糊不變性視角描述子維數(shù)(bit)實時性 BRIEF[10]手工設計較好較差較差一般較差128，256，512高 ORB[11]手工設計一般一般一般一般較差256高 BRISK[13]手工設計一般一般較好較好一般512高 FREAK[14]手工設計一般一般較好較好一般512高 LATCH[17]手工設計較好一般較好較好較好256低 BinBoost[17]監(jiān)督學習較好較好較好較好較好64低 BOLD[44-45]監(jiān)督學習較好較好較好較好較好512，1 024中 DeepBit[46-47]深度學習較好較好較好較好較好任意中 DBD-MQ[48-49]深度學習較好較好較好較好較好任意中

3 總結與展望

本文從局部二值描述子的應用前景和研究意義出發(fā)，對近年來優(yōu)化局部二值描述子性能的方向進行歸納，同時介紹了常見的局部二值描述子的實驗評估準則與特性對比。雖然對于局部二值描述子的研究在近年來發(fā)展迅速并走向成熟，同時其應用場景隨著研究深入也逐漸拓寬，但是，在快速發(fā)展的進程中依然存在了一些共性的問題與亟待解決的矛盾，本文將作以下總結并提出研究展望與解決方向。

(1) 部分局部二值描述子的設計簡化計算而忽略精度，由于設計追求精度而引入過多信息。因此，如何在保留精度的同時保持實時速度依然是研究或應用局部二值描述子的矛盾和難點。針對這些問題，相關研究者可以在研究設計中考慮更多的細節(jié)，選擇更貼近人類視覺并高效的信息采樣模板、引入區(qū)分度更高但操作簡易的特征信息、采取簡化但不丟失精度的數(shù)學方法等均為研究的方向。

(2) 圖像灰度化、圖像濾波等在局部二值描述子構建中的預處理操作時，特征信息也發(fā)生了不同程度的丟失，是嚴重影響描述子精度的一大問題。為此，研究者需關注圖像處理相關技術的發(fā)展，采用更為成熟的圖像處理技術將在未來局部二值描述子的構建中發(fā)揮一定的作用。

(3) 在局部二值描述子的設計過程中，人們往往只考慮局部二值描述子本身的特性，忽略了計算機視覺任務的整體性，例如，如何使局部二值描述子更好地結合相關特征檢測或特征匹配方法，如何減少特征描述在實際應用中不受其他相關視覺技術或步驟等因素的影響。針對此類問題，應注重實際應用中算法的連貫性與整體性，充分考慮局部二值描述算法與其他算法的相互關聯(lián)。

(4) 在優(yōu)化局部二值描述子的過程中，離線訓練已被廣泛接受，使得設計出的局部二值描述子非常依賴于訓練數(shù)據(jù)集，不具有普適性，如何構建更具有普適性的訓練數(shù)據(jù)集或設計更具有普適性的訓練方法依然有待研究。在線訓練方法雖然適應場景寬泛，但可能帶來在線計算與存儲的更大壓力。近年來的深度學習算法極大地提升了描述子的魯棒性與不變性，但是其對高性能硬件的要求阻礙了其實際應用的范圍。因此，設計更為高效的局部二值描述子訓練優(yōu)化方式也十分必要。針對此類問題，相關研究者可以參考機器學習乃至深度學習的相關技術方法并結合理論研究與算法優(yōu)化進行綜合考量將可能獲得更多思路與方向。

(5) 針對局部二值描述子的實驗評估準則各不相同，如何更為客觀地評估局部二值描述子的性能且更為綜合地反映局部二值描述子的特性依然有待考慮。針對該問題，可以通過研究相關衡量指標背后的數(shù)學原理或針對不同評估準則對局部二值描述子進行大量仿真實驗，并結合局部二值描述子在應用中的實際效果進行橫向對比，可更清晰地尋找各類評估準則的缺陷并嘗試引入其他衡量指標以提高評估的客觀性與綜合性。

1.4 統(tǒng)計學方法 采用SPSS 19.0統(tǒng)計學軟件對數(shù)據(jù)進行處理。計量資料以均數(shù)±標準差表示，組間比較采用t檢驗；計數(shù)資料以例(百分率)表示，組間比較采用χ2檢驗。以P<0.05為差異有統(tǒng)計學意義。

(6) 如何擴展局部二值描述子的應用領域也值得關注，隨著移動智能設備的發(fā)展，局部二值描述子將擁有更廣闊的應用前景。雖然目前針對弱紋理、球體圖像等困難場景的研究已取得一定進展，但在實際應用過程中遇到的問題越來越多，圖像大畸變、大遮擋或目標快速移動等困難場景也將為局部二值描述子的發(fā)展帶來機遇與挑戰(zhàn)。針對此類問題，可以從實際應用出發(fā)，有針對性地展開研究工作，尋找解決途徑。

參考文獻

[1] 高永強, 喬宇, 黃韡林. 局部二值描述子在圖像匹配中的應用[J]. 網絡新媒體技術, 2014, 3(2): 38-46.

[2] 姜鵬飛. 基于ORB特征的視頻圖像拼接技術研究[D]. 成都: 電子科技大學, 2016.

[3] 尚俊. 圖像二進制描述子及其目標識別算法研究[D]. 武漢: 華中科技大學, 2016.

[4] MUR-ARTAL R, MONTIEL J M M, TARDOS J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[7] YAN K, SUKTHANKAR R. PCA-SIFT: a more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2004: 506-513.

[8] JALILVAND A, BOROUJENI H S, CHARKARI N M. CH-SIFT: a local kernel color histogram SIFT based descriptor[C]//2011 International Conference on Multimedia Technology. New York: IEEE Press, 2011: 6269-6272.

[9] SUN Y, ZHAO L, HUANG S, et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 91: 1-16.

[10] CALONDER, M, LEPETIT V, STRECHA C, et al. BRIEF: binary robust independent elementary features[C]//European Conference on Computer Vision (ECCV). Heidelberg: Springer. 2010: 778-792.

[11] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, ICCV 2011. New York: IEEE Press, 2011: 6-13.

[12] TRZCINSKI T, CHRISTOUDIAS M, FUA P, et al. Boosting binary keypoint descriptors[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 2874-2881.

[13] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: binary robust invariant scalable keypoints[C]// 2011 International Conference on Computer Vision. New York: IEEE Press, 2011: 2548-2555.

[14] ALAHI A, ORTIZ R, VANDERGHEYNST P. FREAK: fast retina keypoints[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 510-517.

[15] SAHA S, DEMOULIN V. ALOHA: an efficient binary descriptor based on haar features[C]//2012 19th IEEE International Conference on Image Processing. New York: IEEE Press, 2012: 2345-2348.

[16] ZHANG S, TIAN Q, HUANG Q, et al. USB: ultrashort binary descriptor for fast visual matching and retrieval[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3671-3683.

[17] LEVI G, HASSNER T. LATCH: learned arrangements of three patch codes[C]//2016 IEEE Winter Conference on Applications of Computer Vision (WACV). New York: IEEE Press, 2016: 1-9.

[18] IWAMOTO K, MASE R, NOMURA T. BRIGHT: a scalable and compact binary descriptor for low-latency and high accuracy object identification[C]//2013 IEEE International Conference on Image Processing. New York: IEEE Press, 2013: 2915-2919.

[19] YANG X, WANG X, CHENG K T T. OGB: a distinctive and efficient feature for mobile augmented reality[C]//International Conference on Multimedia Modeling. Heidelberg: Springer, 2016: 478-492.

[21] YANG X, CHENG K T. LDB: an ultra-fast feature for scalable augmented reality on mobile devices[C]// Proceedings of the 2012 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). New York: IEEE Press, 2012: 49-57.

[22] WANG Z H, FAN B, WU F C. FRIF: fast robust invariant feature[EB/OL]. [2019-05-10]. https://www. researchgate.net/publication/269250430_FRIF_Fast_Robust_Invariant_Feature.

[23] BELLARBI A, OTMANE S, ZENATI N, et al. MOBIL: a moments based local binary descriptor[C]//2014 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). New York: IEEE Press, 2014: 251-252.

[24] CHOI Y, PARK C, LEE J, et al. Robust binary feature using the intensity order[C]//Asian Conference on Computer Vision (ACCV). Heidelberg: Springer, 2014: 569-584.

[25] PARK C, KIM J, KWEON I S. Fast and robust binary descriptor using intensity rank binning[J]. Electronics Letters, 2017, 53(2): 79-81.

[26] VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2001: 511-518.

[27] ZHU C, BICHOT C E, CHEN L. Image region description using orthogonal combination of local binary patterns enhanced with color information[J]. Pattern Recognition, 2013, 46(7): 1949-1963.

[28] JAMSHID K, ANEES V M, KUMAR G S. Enhanced fast retina keypoint descriptor[C]//TENCON 2017 IEEE Region 10 Conference. New York: IEEE Press, 2017: 1493-1498.

[29] 許允喜, 陳方. 局部圖像描述符最新研究進展[J]. 中國圖象圖形學報, 2015, 20(9): 1133-1150.

[30] XU X, TIAN L, FENG J, et al. OSRI: a rotationally invariant binary descriptor[J]. IEEE Transactions on Image Processing, 2014, 23(7): 2983-2995.

[31] 劉紅敏, 李璐, 王志衡. 基于采樣點組二值化策略的魯棒二值描述子研究[J]. 計算機科學, 2017(12): 298-303, 315.

[32] 張欠欠, 王靜, 劉紅敏. 基于環(huán)采樣的特征組合二值描述子研究[EB/OL]. [2019-04-17]. https://doi.org/10.19678/j.issn.1000-3428.0053030.

[33] 袁慶升, 靳國慶, 張冬明, 等. 仿視網膜采樣的二進制描述子[J]. 通信學報, 2019, 40(1): 15-23.

[34] 李瑩瑩. 圖像局部特征描述子的構建研究[D]. 合肥: 合肥工業(yè)大學, 2015.

[35] TOMBARI F, FRANCHI A, DI L. BOLD features to detect texture-less objects[C]//2013 IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 1265-1272.

[36] CHAN J, LEE A, KEMAO Q. BORDER: an oriented rectangles approach to texture-less object recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 2855-2863.

[37] CHAN J, LEE J A, KEMAO Q. BIND: binary integrated net descriptors for texture-less object recognition[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 322.

[38] QIANG Z, WEI F, LIANG W, et al. SPHORB: a fast and robust binary feature on the sphere[J]. International Journal of Computer Vision, 2015, 113(2): 143-159.

[39] URBAN S, MARTIN W M, HINZ S. mdBrief - a fast online adaptable, distorted binary descriptor for real-time applications using calibrated wide-angle or fisheye cameras[J]. Computer Vision and Image Understanding, 2016, 162: 71-86.

[40] GUAN H, SMITH W A P. BRISKS: binary features for spherical images on a geodesic grid[C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 519.

[41] TRZCINSKI T, CHRISTOUDIAS M, FUA P, et al. Boosting binary keypoint descriptors[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 2874-2881.

[42] BAROFFIO L, CESANA M, REDONDI A, et al. Bamboo: a fast descriptor based on asymmetric pairwise boosting[C]//2014 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2014: 5686-5690.

[43] FAN B, KONG Q, TRZCINSKI T, et al. Receptive fields selection for binary feature description[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2583-2595.

[44] BALNTAS V, TANG L, MIKOLAJCZYK K. BOLD-Binary online learned descriptor for efficient image matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2015: 2367-2375.

[45] BALNTAS V, TANG L, MIKOLAJCZYK K. Binary online learned descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(3): 555-567.

[46] LIN K, LU J, CHEN C, et al. Learning compact binary descriptors with unsupervised deep neural networks[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 1183-1192.

[47] LIN K, LU J, CHEN C, et al. Unsupervised deep learning of compact binary descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(6): 1501-1514.

[48] DUAN Y, LU J, WANG Z, et al. Learning deep binary descriptor with multi-quantization[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4857-4866.

[49] DUAN Y, LU J, WANG Z, et al. Learning deep binary descriptor with multi-quantization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(8): 1924-1938.

[50] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[51] HEINLY J, DUNN E, FRAHM J M. Comparative evaluation of binary features[C]//European Conference on Computer Vision (ECCV). Heidelberg: Springer, 2012: 759-773.

[52] BALNTAS V, LENC K, VEDALDI A, et al. HPatches: a benchmark and evaluation of handcrafted and learned local descriptors[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 3852-3861.

Review on related studies of local binary descriptors

BIAN Hou-qin1, ZHANG Hao-lin1, HUANG Fu-zhen2

(1. School of Electronics and Information Engineering, Shanghai University of Electric Power, Shanghai 200090, China; 2. School of Automation Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

Abstract: Local binary descriptor is an important research object in local invariant features, which is widely used in computer vision and pattern recognition. Recently, the local binary descriptors represented by BRIEF have been proposed one by one. In this paper, the research results and development of local binary descriptors in the past decade are reviewed and discussed in order to provide implications for related preliminary researchers and application engineers. Firstly, the typical modern local binary descriptors were summarized. Secondly, the methods of improving these descriptors were analyzed. Finally, the relevant experimental evaluation criteria were discussed, and the future research prospects were expounded in view of the existing problems at the present stage. As a whole, local binary descriptors have experienced remarkable development and progress in recent years, and many studies on local binary descriptors have achieved success in increasing descriptors’ universality, robustness and efficiency. Aiming at different application scenarios, some improved descriptors also have ability to deal with practical problems. Such advancement has laid a solid foundation and provided more implications for the further development of local binary descriptors characteristic of higher-level and multi-field expansion. Although the advancement of local binary descriptors marks the progress of computer vision technology, there are still some common problems and contradictions, which needs to be further studied d and solved by related researchers.

Keywords: local binary descriptors; local invariant features; optimization of local binary descriptors; evaluation of local binary descriptors; features matching; target recognition

中圖分類號：TP 391

DOI：10.11996/JG.j.2095-302X.2020020254

文獻標識碼：A

文章編號：2095-302X(2020)02-0254-08

DOIN P M, SU S Z, et al. CBDF: compressed binary discriminative feature[J]. Neurocomputing, 2016, 184: 43-54.

收稿日期：2019-07-10；

定稿日期：2019-10-16

基金項目：國家自然科學基金項目(61107081)；上海市地方能力建設項目(15110500900)

第一作者：邊后琴(1976-)，女，湖北仙桃人，副教授，博士。主要研究方向為智能控制、模式識別與計算機視覺等。E-mail：houqinbian@163.com