基于內(nèi)容的醫(yī)學(xué)圖像檢索方法綜述

崔少國，熊舒羽，劉 暢，陳默語

(重慶理工大學(xué) 計算機科學(xué)與工程學(xué)院， 重慶 400054)

基于內(nèi)容的視覺信息檢索(CBVIR)或基于內(nèi)容的圖像檢索(CBIR)一直是計算機視覺領(lǐng)域較熱門的研究方向之一。在醫(yī)療領(lǐng)域，用于診斷和治療的多模態(tài)數(shù)字圖像在不斷增加，其中包括核磁共振成像(MRI)、計算機斷層掃描(CT)、光子發(fā)射斷層成像(PET)、超聲波等。這些醫(yī)學(xué)圖像在幫助醫(yī)生診斷和病情分析中扮演著至關(guān)重要的角色。醫(yī)學(xué)圖像不同于自然圖像，一是因為醫(yī)學(xué)圖像的分辨率高；二是因為大多數(shù)是灰度圖像，其重要信息都集中在小區(qū)域，并且在醫(yī)學(xué)圖像領(lǐng)域，視覺相似的圖像之間語義內(nèi)容相差很大，所以對于醫(yī)學(xué)圖像的處理方法不同于自然圖像。西門子2014年發(fā)布報告稱，醫(yī)療成像系統(tǒng)市場將從2014年的32.3億增長到2020年的49億[1]。因此，如何高效地管理和存儲這些海量的醫(yī)學(xué)圖像(醫(yī)學(xué)圖像檢索系統(tǒng))成為當(dāng)前的研究熱點之一。

近20 年來,人們主要研究基于內(nèi)容的醫(yī)學(xué)圖像檢索方法(content-based medical image retrieval,CBMIR),這種方法不需要文本方式的標(biāo)注。一般CBMIR系統(tǒng)利用算法(SIFT、LBP、HOG等)提取圖像的特征(顏色、形狀、紋理等)，并從大型特征庫中檢索圖像[5]。CBMIR系統(tǒng)通常有2個階段，第一個是離線階段，另一個是在線階段。在離線階段，從大量圖像集中提取特征并建立本地特征數(shù)據(jù)庫。離線階段通常比較耗時，取決于特征提取的方法和圖像的數(shù)量。在在線階段，用相同的特征提取方法提取查詢圖像的特征，并計算查詢圖像的特征和數(shù)據(jù)庫圖像的特征之間的相似性度量，然后將具有高度相似性的圖像作為檢索結(jié)果呈現(xiàn)給用戶。在這2個階段中，預(yù)處理和特征提取的過程和方法相同，因此圖像檢索方法的研究點主要集中在特征提取和特征匹配2個階段，然而CBMIR方法在圖像的高級語義與低層特征之間一直存在著語義鴻溝的問題。

隨著大數(shù)據(jù)時代的到來，深度學(xué)習(xí)在計算機視覺中取得了一系列成功的應(yīng)用[2]，已有一些學(xué)者將機器學(xué)習(xí)算法應(yīng)用到醫(yī)學(xué)圖像檢索中[3-5]。本文主要結(jié)合深度學(xué)習(xí)從特征表達和特征匹配兩方面，概述了深度學(xué)習(xí)方法在醫(yī)學(xué)圖像檢索領(lǐng)域方面的應(yīng)用，講述了深度學(xué)習(xí)在醫(yī)學(xué)圖像檢索領(lǐng)域中的發(fā)展歷史，并預(yù)測了深度學(xué)習(xí)在醫(yī)學(xué)圖像檢索中的發(fā)展前景和挑戰(zhàn)。

1 特征提取方法

在醫(yī)學(xué)圖像檢索過程中，最重要的一步是視覺特征提取，即使用特征向量來表示每個數(shù)字圖像。良好的特征提取方法是在醫(yī)學(xué)圖像檢索中取得良好性能的先決條件。具體而言，特征表示被分為2類，即傳統(tǒng)特征和高級語義特征(通過學(xué)習(xí)所獲得的)。傳統(tǒng)特征可直接從圖像內(nèi)容獲得，包括圖像的顏色、紋理、形狀等特征，而高級語義特征主要通過機器學(xué)習(xí)方法所獲得。近年來，出現(xiàn)了許多基于計算機視覺和機器學(xué)習(xí)的特征表示方法。本節(jié)回顧了醫(yī)學(xué)圖像中特征提取方法的最新進展。

1.1 傳統(tǒng)特征

傳統(tǒng)特征在參考文獻[8]中被歸類為原始特征，如顏色或形狀、邏輯特征和抽象特征。目前所有的手工特征都屬于原始特征。通常，傳統(tǒng)特征是專家根據(jù)圖像特征所設(shè)計的算法，然后利用算法從每個圖像中獲取模擬特定信息的特征[6]，例如，顏色、紋理、形狀特征。在大量使用深度學(xué)習(xí)之前，傳統(tǒng)特征提取方法在特征提取領(lǐng)域中發(fā)展了數(shù)10年。目前，大多數(shù)的醫(yī)學(xué)檢索系統(tǒng)仍然使用傳統(tǒng)特征方法，本小節(jié)主要回顧在醫(yī)學(xué)圖像檢索中，使用的比較典型的傳統(tǒng)特征提取方法。

用于圖像檢索的最廣泛的傳統(tǒng)特征是基于尺度不變特征變換特征(scale-invariant feature transform,SIFT)[7]。SIFT通過在高斯差分(difference-of-Gaussian,DoG)空間中找到局部極值來檢測比例不變的關(guān)鍵點。它用128維梯度方向圖來描述每個關(guān)鍵點。隨后，所有的SIFT描述符都使用詞袋(bag-of-words,BoW)進行建模/量化。每個圖像的特征向量通過計算圖像中生成的視覺詞的頻率來計算。SIFT是一種在醫(yī)學(xué)圖像檢索中取得成功的局部特征。除了SIFT描述符之外，許多局部描述符可以使用BoW來生成用于醫(yī)學(xué)圖像的局部特征，諸如SURF(speeded up robust features)[9]、LBP(local binary patterns)[10]等。與局部特征相比，全局特征也廣泛應(yīng)用于醫(yī)學(xué)圖像檢索，全局特征可以直接表示整個圖像的全局信息。例如，GIST[11]是一個全局特征，是基于場景的低維表示，不需要任何形式的分割，通過感知維度(自然度、開放度、粗糙度、膨脹度、險峻度)來表示圖像中場景的主要空間結(jié)構(gòu)[12]。GIST已經(jīng)應(yīng)用于許多醫(yī)學(xué)圖像檢索問題中[13-15]。其他全局特征如HOG(高斯直方圖)[16]、顏色直方圖[17]也常用于醫(yī)學(xué)圖像檢索[18-19]。

除去這些常見的特征提取方法之外，一些學(xué)者專門針對特定醫(yī)學(xué)圖像數(shù)據(jù)設(shè)計了特征表示方法。在組織病理學(xué)圖像分析中，形狀和紋理信息在細胞/細胞核的表達中起著重要的作用。Basavanhally等[20]設(shè)計了3個基于圖的特征來描述淋巴細胞。 Filipczuk等[21]采用25種特征來模擬細胞學(xué)圖像的特征，包括核的大小，以及圖像中核的分布。一般來說，這些特定的特征算法比一般的特征更具有區(qū)別性。在細胞和細胞核的檢測、檢索和分析方面取得了很好的效果[22]。這類特定特征還廣泛用于3D醫(yī)學(xué)圖像數(shù)據(jù)中，諸如3D腦腫瘤、神經(jīng)元形態(tài)學(xué)。Cai等[23]為3D神經(jīng)圖像檢索開發(fā)了基于PCM的體積紋理特征；Wan等[24]采用定量測量和幾何矩作為三維神經(jīng)元形態(tài)數(shù)據(jù)的特征，并在檢索任務(wù)中都取得了不錯的成果。

為了得到更好的檢索性能，許多學(xué)者將多種傳統(tǒng)特征通過一定的算法進行特征融合，例如，宋等[25]采用HOG和LBP特征來檢索和識別肺部病變。與單一特征系統(tǒng)相比，結(jié)合多個特征可以獲得更好的性能[26]，在ImageCLEF醫(yī)學(xué)檢索任務(wù)中的許多小組都采用了這種方法。然而，融合特征方法對于大規(guī)模圖像檢索來說，計算量太大，并且對檢索效率也會產(chǎn)生不利影響。盡管已經(jīng)討論了各種特征，但對于醫(yī)學(xué)圖像檢索問題，沒有適用于各種醫(yī)學(xué)圖像的通用特征。因為醫(yī)學(xué)圖像是由不同的成像技術(shù)生成的，組織/器官通常具有特定的顏色、紋理和形狀。即使是相同的組織/器官，特征也可能在多個維度和形式上有所不同[27]。因此，在給定類型的圖像數(shù)據(jù)中使用合適的特征是醫(yī)療檢索過程中的一個具有挑戰(zhàn)性的問題。

盡管傳統(tǒng)特征在醫(yī)學(xué)圖像檢索中取得了許多良好的效果，但在醫(yī)學(xué)數(shù)據(jù)規(guī)模比較大時仍然存在缺陷。首先，當(dāng)數(shù)據(jù)集很大時，傳統(tǒng)特征通常不能很好地解決問題，因為可能存在異常值和未被標(biāo)準(zhǔn)化的情況;其次，使用傳統(tǒng)方法進行特征提取非常耗時且計算上耗費大，特別是當(dāng)處理大量的圖像時;最后，許多傳統(tǒng)特征提取方法只針對特定的醫(yī)學(xué)圖像數(shù)據(jù)，不能擴展到其他領(lǐng)域。因此，大規(guī)模醫(yī)學(xué)圖像檢索需要更多自動化、高效和可擴展的特征表示方法。

1.2 語義學(xué)習(xí)特征

近年來，深度學(xué)習(xí)已經(jīng)成為計算機視覺領(lǐng)域的熱點話題，在特征表示、圖像分類、檢索、檢測等相關(guān)領(lǐng)域取得了很好的成果。與傳統(tǒng)方法相比，深度學(xué)習(xí)只需要一套訓(xùn)練數(shù)據(jù)，以自學(xué)方式發(fā)現(xiàn)特征，耗費時間低且高效[28-29]。各種深度神經(jīng)網(wǎng)絡(luò)的設(shè)計是非線性的，也就是說，通過神經(jīng)網(wǎng)絡(luò)的多層網(wǎng)絡(luò)結(jié)構(gòu)(例如數(shù)十到數(shù)百)和大量的參數(shù)(例如數(shù)千至數(shù)百萬)來學(xué)習(xí)圖像特征。一般來說，深度學(xué)習(xí)的發(fā)展主要受益于可以優(yōu)化參數(shù)的大型訓(xùn)練數(shù)據(jù)集。因此，由于目前大規(guī)模的醫(yī)學(xué)圖像數(shù)據(jù)庫的出現(xiàn)，深度學(xué)習(xí)也可以用來解決醫(yī)學(xué)圖像的分析任務(wù)。具體而言，在醫(yī)學(xué)圖像的特征表示方法中，主要分為有監(jiān)督和無監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)。

LeCun等在文獻[30]中提出了一個有監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)框架，即卷積神經(jīng)網(wǎng)絡(luò)(CNN)。固定大小的輸入圖像與使用共享權(quán)重的多個卷積核相關(guān)聯(lián)。然后，池化層對輸入特征進行下采樣，并保留每個子區(qū)域中的特征信息。之后，將提取的特征加權(quán)并組合到全連接的層中，接著將這些特征送到分類器用于預(yù)測。最后，將輸出類與圖像標(biāo)簽進行比較，在每次迭代中更新CNN參數(shù)(例如權(quán)重、偏差)。近年來，大規(guī)模視覺識別挑戰(zhàn)(ILSVRC)已經(jīng)出現(xiàn)了非常深的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[31]，并且性能優(yōu)異，一方面使用了比以前更深的卷積層，另一方面創(chuàng)造了更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，例如AlexNet、 GoogLeNet、 VGGNet和ResNet等。

有監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)需要大量的標(biāo)簽圖像來訓(xùn)練每一層的參數(shù)。但是，在醫(yī)療領(lǐng)域，標(biāo)簽圖像的數(shù)量是有限的。僅用小型標(biāo)簽數(shù)據(jù)從頭開始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)容易導(dǎo)致過擬合[32]。因此，研究人員為適應(yīng)深度神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像分析，提出了幾種方法。例如，Bar等[33]使用預(yù)先訓(xùn)練的CNN模型學(xué)習(xí)了胸部病理學(xué)檢測的特征，并且參數(shù)是從諸如ImageNet的非醫(yī)學(xué)數(shù)據(jù)集遷移過來的。在2016年ImageCLEFmed上，NovaSearch[34]僅使用醫(yī)療圖像數(shù)據(jù)從頭開始訓(xùn)練CNN模型，采用了多種技術(shù)(如Dropout、數(shù)據(jù)擴充)來處理小數(shù)據(jù)集。Shin等[35]提出了CNN學(xué)習(xí)醫(yī)學(xué)圖像特征的3種主要技術(shù)：第一，采用遷移學(xué)習(xí)思想，用醫(yī)學(xué)圖像在自然圖像上預(yù)先訓(xùn)練的CNN模型進行微調(diào);第二，僅使用醫(yī)學(xué)圖像從頭開始訓(xùn)練CNN模型，采取多種措施避免過度擬合;第三，使用預(yù)先訓(xùn)練好的CNN模型提取特征，將這些特征用作補充信息與傳統(tǒng)特征相融合。

盡管有監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)在特征表示中性能優(yōu)異，但是需要大量的人力手動給訓(xùn)練數(shù)據(jù)作標(biāo)簽。然而，與自然圖像的標(biāo)注不同，許多醫(yī)學(xué)圖像的標(biāo)注只能由醫(yī)生或領(lǐng)域?qū)＜覙?biāo)注。很多情況下，這些標(biāo)注存在不確定因素和主觀因素。為了克服有監(jiān)督特征學(xué)習(xí)的局限性，于是出現(xiàn)了無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)。Bengio等在文獻[36]中給出了典型的無監(jiān)督神經(jīng)網(wǎng)絡(luò)，即自動編碼器[37]。盡管單層自動編碼器對于學(xué)習(xí)特征來說太淺，但是當(dāng)幾個自動編碼器堆疊在一起形成深度自動編碼器(SAE)時，其表達能力顯著提高。例如，文獻 [38-39]開發(fā)了一種無監(jiān)督的特征選擇方法，使用卷積堆疊自動編碼器來識別圖像塊中的語義特征。該方法在腦部MR圖像上得到證實，說明無監(jiān)督特征學(xué)習(xí)對于腦部MR配準(zhǔn)是有效的。除了自動編碼器之外，受限玻爾茲曼機(restricted boltzmann machines，RBM)也可以構(gòu)造無監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)，例如，文獻[41]通過減少大腦圖像的維度，利用一個深度信念網(wǎng)絡(luò)，發(fā)現(xiàn)圖像組中相似的模式，從而進行多方面的學(xué)習(xí)。曹等[42]開發(fā)了一種基于深度玻爾茲曼機的醫(yī)學(xué)圖像檢索的多模態(tài)方法。實驗結(jié)果表明，基于深度玻耳茲曼機的多模態(tài)學(xué)習(xí)模型是下一代醫(yī)學(xué)圖像索引和檢索系統(tǒng)的一種有效的解決方案。

對于大規(guī)模的醫(yī)學(xué)圖像分析，語義學(xué)習(xí)特征具有明顯的趨勢，因為有越來越多的圖像可以用來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。然而，深度學(xué)習(xí)在醫(yī)學(xué)圖像檢索中的使用并不常見。一個原因是，以前大多數(shù)的醫(yī)學(xué)圖像檢索任務(wù)只需要處理小規(guī)模的數(shù)據(jù)集，這種條件不滿足深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。另一個原因是，對于一些特定的醫(yī)學(xué)圖像，傳統(tǒng)特征在數(shù)據(jù)集不太大的情況下可以獲得很好的性能(例如，組織病理學(xué)圖像的全局特征[20])。由于多種形式的醫(yī)學(xué)成像技術(shù)，以及快速變換的圖像采集設(shè)備，傳統(tǒng)特征在許多醫(yī)學(xué)圖像檢索場景中仍然有用。此外，與傳統(tǒng)特征提取方法相比，基于深度學(xué)習(xí)的方法能夠?qū)W習(xí)不同類型的特征。因此學(xué)習(xí)的特征在醫(yī)學(xué)圖像的特征表示中也起著關(guān)鍵性作用，特別是當(dāng)數(shù)據(jù)集很大時。在ImageCLEF挑戰(zhàn)賽中[43]，許多小組不僅使用了傳統(tǒng)的特征提取方法，還使用了基于深度學(xué)習(xí)的特征提取方法。然后，融合這些特征以獲得更精確的檢索和分類結(jié)果。

2 特征索引和匹配

每個圖像通過特征提取之后，由特征向量表示。醫(yī)學(xué)圖像檢索問題就可以視為這些特征向量中的最近鄰搜索，即計算和排列出查詢圖像與數(shù)據(jù)庫中的所有圖像之間的距離。但是，在處理大規(guī)模圖像數(shù)據(jù)庫時，依次計算數(shù)百萬個高維特征向量的距離，不但計算量很大，還非常耗時。在本章節(jié)中，我們將概括大規(guī)模醫(yī)學(xué)檢索中的特征索引方法。

2.1 詞匯樹

詞匯樹最初由Nistér和Stewénius[44]提出。詞匯樹已經(jīng)廣泛應(yīng)用于大規(guī)模醫(yī)學(xué)圖像檢索。它們不僅提高了計算效率，而且與傳統(tǒng)的檢索方法相比更精確。例如，Jiang等[45-46]在基于詞匯樹的框架下，提出了一種自適應(yīng)加權(quán)策略來處理乳房X線照片的圖像檢索。由于乳房X線照片中的高頻特征低于低頻特征，將乳房X線照片特定的節(jié)點頻率納入IDF方案，以降低高頻特征。自適應(yīng)加權(quán)技術(shù)對于檢索這些特定的圖像(如：乳房投影腫塊)非常有效。Wang等[47]為手指靜脈圖像的認(rèn)證和識別設(shè)計了一個區(qū)分性和生成性的詞匯樹。該方法既考慮到局部圖像塊的判別性，又考慮到其生成的空間布局。訓(xùn)練過程與構(gòu)建常規(guī)詞匯樹相同，而預(yù)測過程使用點集匹配方法來支持非參數(shù)圖像塊布局匹配。這種聯(lián)合辨識和生成模型可以在手指靜脈圖像中取得良好的效果，因為所采用的詞匯樹模型可以保證整個系統(tǒng)的效率。更重要的是，點集匹配策略考慮了局部圖像塊的幾何布局，比之前僅考慮局部關(guān)鍵點描述的詞匯樹方法更準(zhǔn)確。

通過改變特征匹配策略，基于詞匯樹的方法在大型數(shù)據(jù)庫中實現(xiàn)了高效的檢索。由于這些方法直接采用局部特征描述符，因此可以應(yīng)用于大多數(shù)醫(yī)學(xué)圖像，包括可以檢測和描述局部關(guān)鍵點的二維和三維圖像。但是，基于樹的詞匯方法也有一些限制。例如，僅僅使用局部特征不足以表示和區(qū)分一些特定的醫(yī)療圖像；對于一些肺部圖像，在檢索期間應(yīng)該考慮全局形狀。另外，建立分層詞匯樹的訓(xùn)練階段通常是耗時的，特別是在處理非常大的圖像數(shù)據(jù)庫時。在實際應(yīng)用中，為了取得良好的效果，基于詞匯樹的方法在很大程度上依賴于參數(shù)調(diào)整，即調(diào)整每個聚類中心k的數(shù)量、分層樹L的總層次等。因此，需要為大規(guī)模醫(yī)學(xué)圖像檢索開發(fā)更高效、更準(zhǔn)確的方法。

2.2 深度哈希

近年來，展開了大量的哈希算法在機器學(xué)習(xí)和計算機視覺領(lǐng)域的研究[48]。哈希算法不是從原始數(shù)據(jù)集中直接搜索最近的距離，而是先通過定義好的哈希函數(shù)將原始數(shù)據(jù)壓縮成短的二進制編碼。然后，通過計算二進制編碼的漢明距離,來表示數(shù)據(jù)之間的相似程度，因此這種方法的檢索效率更好。

2.2.1 哈?？蚣?/p>

假設(shè)數(shù)據(jù)庫中有n張醫(yī)學(xué)圖像，在特征表示后，這些圖像用d維特征向量表示，X={x1,x2,…,xn}?Rd×n。對于圖像xi?Rd×1，其特征空間可以用一組哈希函數(shù)H={h1,h2,…,hK}表示，并且每個哈希函數(shù)將xi編碼成一個二進制碼hK(xi)。因此，xi的K位編碼可以表示為：

yi=H(xi)={h1(xi),h2(xi),…,hK(xi)}

(1)

實際應(yīng)用中，為了便于計算，上述哈希函數(shù)通常投影為矩陣w?Rd×K和截距向量b?RK×1：

yi=sgn(f(WTxi+b))

(2)

其中f(·)是預(yù)先指定的函數(shù)，可以是線性或非線性的。然后，數(shù)據(jù)庫中的所有圖像都由二進制編碼表示。查詢圖像xq也可以通過公式(2)映射成二進制編碼。隨后，查詢圖像與數(shù)據(jù)庫中每個圖像之間的相似性搜索轉(zhuǎn)換為相應(yīng)二進制代碼的漢明距離排序，其速度非常快。哈希算法的關(guān)鍵是如何獲得好的哈希函數(shù)，它不僅能夠?qū)⒃嫉奶卣骺臻g映射到二進制漢明空間內(nèi)，而且能夠保持原始數(shù)據(jù)之間的相似性和多樣性。

2.2.2 哈希算法分類

計算哈希函數(shù)的方法大致可以分為2類，即數(shù)據(jù)獨立的和數(shù)據(jù)依賴的。數(shù)據(jù)獨立的方法是指能夠?qū)⒔o定的任意數(shù)據(jù)集壓縮成二進制代碼的廣義哈希函數(shù)。局部敏感哈希(LSH)是最流行的數(shù)據(jù)獨立的方法[49-51]?；贚SH的方法通過最大化相似項的概率來計算哈希函數(shù)，這可以將原來接近的數(shù)據(jù)點映射為高概率的相同位。然而，這種方法通常需要很長的二進制代碼和許多哈希函數(shù)來確保所需的檢索精度，大大增加了存儲成本和查詢時間。更重要的是，由于這些哈希函數(shù)是獨立于訓(xùn)練數(shù)據(jù)集而設(shè)計的，因此很難確保任何給定數(shù)據(jù)集的檢索性能。

另一類是依賴數(shù)據(jù)的方法，其從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)哈希函數(shù)。一般來說，與數(shù)據(jù)無關(guān)的方法相比，數(shù)據(jù)相關(guān)的方法可以用較短的二進制碼實現(xiàn)更好的檢索精度。目前，許多基于學(xué)習(xí)的哈希方法已應(yīng)用于大規(guī)模醫(yī)學(xué)圖像檢索，包括迭代量化(ITQ)、基于核的監(jiān)督哈希(KSH)、Anchor Graph Hashing(AGH)、不對稱內(nèi)積二值編碼(AIBC)等。因此，依賴于數(shù)據(jù)的哈希方法的分類可以從多個維度來定義。例如，根據(jù)訓(xùn)練數(shù)據(jù)集是否有標(biāo)簽，哈希方法可以分為有監(jiān)督方法、無監(jiān)督方法和半監(jiān)督方法。監(jiān)督方法采用先進的機器學(xué)習(xí)技術(shù)，如核學(xué)習(xí)、度量學(xué)習(xí)和深度學(xué)習(xí)，從標(biāo)記的訓(xùn)練數(shù)據(jù)中計算哈希函數(shù)。許多監(jiān)督哈希方法已經(jīng)取得了良好的性能，因為它們可以縮短二進制代碼和圖像標(biāo)簽之間的語義鴻溝[52-54]。無監(jiān)督方法探索訓(xùn)練數(shù)據(jù)集的性質(zhì)，如根據(jù)分布和流形結(jié)構(gòu)來設(shè)計有效的哈希函數(shù)。具有代表性的方法包括譜哈希法、圖哈希法、偏向哈希法等。此外，半監(jiān)督方法設(shè)計哈希函數(shù)同時使用標(biāo)簽和非標(biāo)簽數(shù)據(jù)。這些類型的方法可以通過利用有限的圖像標(biāo)簽的語義相似性來提高二進制編碼性能，同時保證過擬合的穩(wěn)健性。數(shù)據(jù)依賴方法也可以根據(jù)哈希函數(shù)的形式分為線性和非線性。線性哈希函數(shù)用簡單的投影來分離和映射原始特征空間。它們計算效率高，易于優(yōu)化。然而，當(dāng)圖像數(shù)據(jù)之間的差異細微且線性不可分時，線性哈希函數(shù)不適應(yīng)這種情況。因此，非線性哈希就用來解決這種情況。這種方法通過學(xué)習(xí)基于核矩陣或流形結(jié)構(gòu)的哈希函數(shù)，可以將內(nèi)在結(jié)構(gòu)嵌入到高維空間中，并將特征向量非線性映射為二進制編碼[55-57]。

2.3 二級檢索

通過相似度匹配后，可以有效地度量計算出排名靠前的醫(yī)學(xué)圖像。然而，這些檢索結(jié)果可能并不是人們想要的，由于使用不同的特征，檢索精度的變化較大。因此，對粗略結(jié)果的重新排序有望進一步提高檢索性能，從而進行更精確的檢索。二級檢索方法可以對初始檢索的圖像進行重新排序，將最相關(guān)的圖像移動到最前面或優(yōu)化檢索結(jié)果。

近年來，在不同的圖像檢索應(yīng)用中提出了多種方法用于二級檢索。在醫(yī)學(xué)圖像領(lǐng)域，二級檢索方法大致可以分為基于文本視覺、基于多特征和基于用戶反饋3個類別。下面我們簡要概述這3類方法：

1) 基于文本視覺：這種方法首先通過文本索引檢索相關(guān)醫(yī)學(xué)圖像，然后通過考慮視覺相似性對初始結(jié)果進行重新排序[58-60]。

2) 基于多特征：這種方法首先計算多種特征的檢索結(jié)果，然后通過對上述檢索到圖像進行融合并重新排序得到最終結(jié)果。文獻[61]在從多種特征中獲得一些排名靠前的相關(guān)圖像之后，采用基于圖的查詢?nèi)诤戏椒?，得到重新排列出的多個檢索結(jié)果。一般而言，這種重新排序方法可以顯著提高檢索性能，因為它們使用多個特征(如局部和整體特征)考慮圖像的相似性和區(qū)分性。

3) 基于用戶反饋：在接收到初始結(jié)果后，這種方法根據(jù)用戶的相關(guān)反饋對檢索到的圖像進行重新排序。相關(guān)性反饋可以指定哪個圖像是相關(guān)/不相關(guān)的。文獻[62]將視覺和文本特征組合起來用于初始索引。然后，檢索系統(tǒng)采用用戶提供的反饋來執(zhí)行重新排序。這個重新排序的過程將系統(tǒng)精度從0.8提高到了0.89。

在大多數(shù)情況下，重排序方法只需要考慮排名靠前的初始檢索結(jié)果，例如，大多數(shù)真正相關(guān)的圖像包含在前K個結(jié)果中，而K遠小于整體圖像的數(shù)量數(shù)據(jù)庫。因此，對初始檢索結(jié)果重新排序是非常有效的，因為它只需要處理一部分圖像。更重要的是，通過考慮和比較使用多種信息源的相似性，可以改進檢索的精度。

3 結(jié)束語

在回顧了大規(guī)模醫(yī)學(xué)圖像檢索的上述方法之后，我們將在本節(jié)中展望未來發(fā)展趨勢。盡管采用了各種先進的大規(guī)模計算技術(shù)進行檢索，但仍然需要許多技術(shù)來提高檢索性能。首先，在特征方面，需要一種算法適合多模態(tài)、不同器官的語義特征表達，雖然有一部分學(xué)者試著用深度學(xué)習(xí)來解決這類問題，但是深度學(xué)習(xí)需要大量的訓(xùn)練數(shù)據(jù)和標(biāo)簽數(shù)據(jù)，所以這是一個很大的挑戰(zhàn)；而另一部分學(xué)者融合多種特征作為檢索依據(jù)，但是目前卻沒有一種特征融合方法適合所有的醫(yī)學(xué)圖像。其次，在特征匹配方面，特征匹配是影響圖像檢索效率的關(guān)鍵步驟，高效的特征匹配方法可以有效解決醫(yī)學(xué)圖像檢索的實時性問題。最后，實時更新，由于醫(yī)學(xué)圖像在不斷地產(chǎn)生，目前的檢索方案中并沒有提及實時更新圖像數(shù)據(jù)庫。所以一個好的醫(yī)學(xué)圖像檢索系統(tǒng)，在提高圖像檢索精度的同時，也能提高圖像檢索的效率，并且能夠隨時更新數(shù)據(jù)庫，把最新的、最好的檢索結(jié)果呈現(xiàn)給醫(yī)務(wù)工作者。因此，基于深度學(xué)習(xí)和大數(shù)據(jù)并行計算技術(shù)的醫(yī)學(xué)圖像特征高效表示和圖像檢索效率將成為醫(yī)學(xué)圖像檢索領(lǐng)域未來研究的主要趨勢。