基于內(nèi)容語義的醫(yī)學(xué)圖像檢索綜述

鄭愛彬

摘 要

隨著現(xiàn)代醫(yī)學(xué)影像技術(shù)的迅猛發(fā)展，醫(yī)學(xué)圖像數(shù)量呈現(xiàn)了爆炸性增長，高效的醫(yī)學(xué)圖像檢索研究顯得尤為迫切。本文就醫(yī)學(xué)圖像檢索研究的歷史進(jìn)行了回顧，從最早的基于文本的圖像檢索，基于內(nèi)容的圖像檢索，到基于內(nèi)容語義的圖像檢索。在回顧歷史的同時(shí)，就圖像檢索涉及的主要問題進(jìn)行了比較分析，最后給出了醫(yī)學(xué)圖像檢索研究的未來展望。

關(guān)鍵詞

圖像語義檢索;本體;語義推理

中圖分類號(hào)： TP391.3 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.04.37

隨著CT、MRI、PET、SPECT、超聲等成像技術(shù)的迅猛發(fā)展，醫(yī)學(xué)圖像作為一種信息豐富、表現(xiàn)直觀的視覺信息資源在現(xiàn)代醫(yī)療診斷中發(fā)揮著越來越重要的作用。醫(yī)學(xué)圖像歸檔與傳輸系統(tǒng)PACS作為現(xiàn)代數(shù)字診斷的重要基礎(chǔ)已被眾多醫(yī)療機(jī)構(gòu)重視和使用。面對(duì)海量的醫(yī)學(xué)圖像資源，如何對(duì)它們有效的組織與管理，并快速準(zhǔn)確地找到用戶需要的圖像數(shù)據(jù)已成為一個(gè)迫切需要解決的重要課題。

1 圖像檢索的歷史發(fā)展

圖像檢索最早以人工文本標(biāo)注為基礎(chǔ)。此時(shí)的圖像檢索本質(zhì)上是標(biāo)注文本的關(guān)鍵詞匹配，依據(jù)文本匹配程度將相關(guān)圖像呈現(xiàn)給用戶。該方法簡單易實(shí)現(xiàn)，但缺點(diǎn)也顯而易見：首先，人工標(biāo)注圖像，標(biāo)注內(nèi)容完全取決于標(biāo)注者對(duì)圖像的理解，主觀性強(qiáng)。其次，隨著持續(xù)增加的圖像數(shù)量，人工標(biāo)注圖像需要耗費(fèi)大量的人力勞動(dòng)。面對(duì)海量的圖像數(shù)據(jù)，這已越來越成為一個(gè)無法完成的任務(wù)。

20世紀(jì)90年代，研究者們開始尋求從圖像自身尋找線索來檢索圖像，提出基于內(nèi)容的圖像檢索（Content Based Image Retrieval，CBIR）。不同于人工文本標(biāo)注，基于內(nèi)容的圖像檢索直接從圖像提取顏色、紋理、形狀等特征信息，在特征空間中匹配檢索需求，具有客觀，自動(dòng)化程度高等優(yōu)點(diǎn)。系統(tǒng)檢索時(shí)需要用戶提供匹配檢索需求的圖像樣例，系統(tǒng)從圖像樣例中提取檢索特征，在特征空間中進(jìn)行近似匹配，按相關(guān)度由大到小排列，呈現(xiàn)給用戶。經(jīng)過近二十年該領(lǐng)域的研究，人們發(fā)現(xiàn)如果圖像檢索僅僅依賴底層特征，獲得的檢索結(jié)果無法匹配抽象的高層語義，在很多情況下無法滿足用戶的需要，這極大地限制了檢索系統(tǒng)的應(yīng)用。

為此，研究人員開始考慮基于高級(jí)語義的圖像檢索（Semantic Based Image Retrieval，SBIR） 問題?；谡Z義的圖像檢索是基于內(nèi)容圖像檢索的進(jìn)一步發(fā)展，也是未來圖像檢索的發(fā)展方向。在醫(yī)學(xué)影像檢索應(yīng)用中，其要求結(jié)合從醫(yī)學(xué)視覺信息中提取的特征語義和領(lǐng)域知識(shí)，跨越圖像底層特征與高級(jí)語義之間存在的“語義鴻溝”，將醫(yī)學(xué)圖像檢索由特征空間拓展到更廣闊的高級(jí)語義表達(dá)空間?；谡Z義的醫(yī)學(xué)圖像檢索將有效提高醫(yī)務(wù)工作者的工作效率，對(duì)現(xiàn)代醫(yī)學(xué)輔助診斷與研究都具有重要的應(yīng)用價(jià)值。

2 基于內(nèi)容語義醫(yī)學(xué)圖像檢索的國內(nèi)外研究現(xiàn)狀

圖像檢索的研究最早可以追溯到20世紀(jì)70年代，當(dāng)時(shí)學(xué)者們嘗試?yán)贸墒斓奈谋緳z索和分類技術(shù)進(jìn)行圖像檢索。這種方法需要事先對(duì)圖像內(nèi)容或主題進(jìn)行人工標(biāo)注，隨著圖像規(guī)模的迅猛增長，其缺陷日益明顯。20世紀(jì)80年代，人們開始考慮從圖像視覺信息中直接提取特征線索，在特征空間中考慮圖像檢索，其檢索過程擺脫了人工參與，檢索結(jié)果更為客觀。然而，在實(shí)際應(yīng)用中，人們更傾向于用關(guān)鍵詞或文本描述解釋圖像，而這些語義文本描述很難直接從圖像底層特征中找到對(duì)應(yīng)關(guān)系，這極大地限制了圖像檢索的性能。眾多實(shí)踐表明，基于特征的圖像檢索在很多情況下不能滿足用戶的真實(shí)檢索需求。

為此，基于語義的圖像檢索開始逐步為人們重視。21世紀(jì)初，出現(xiàn)了一些聯(lián)系高級(jí)語義與圖像特征的算法，其本質(zhì)可看作是語義文本與圖像底層特征之間映射關(guān)系的確立。高級(jí)語義文本最終可由本體形式化描述，進(jìn)而語義文本與底層特征的映射可歸結(jié)為語義本體與特征數(shù)據(jù)之間的關(guān)聯(lián)。語義本體主要由概念與屬性構(gòu)成，建立本體與特征數(shù)據(jù)的映射本質(zhì)上是建立概念及屬性詞匯與圖像特征的關(guān)聯(lián)?；谡Z義本體檢索圖像，可將圖像檢索建立在語義推理之上，使得面向高級(jí)語義的圖像檢索成為可能，極大地拓展了圖像檢索的應(yīng)用。但語義詞匯與底層特征映射關(guān)系人為設(shè)定，增加了主觀性和工作量。

概念屬性詞匯與圖像特征的關(guān)聯(lián)可人工設(shè)定，但仍存在工作量大、主觀性強(qiáng)等問題?；跈C(jī)器學(xué)習(xí)技術(shù)，自動(dòng)獲得語義詞匯與圖像特征的映射是圖像檢索的重要研究方向。學(xué)習(xí)之前，需要人工標(biāo)注部分圖像。結(jié)合被標(biāo)注圖像和未標(biāo)注圖像在特征空間及語義空間中訓(xùn)練圖像特征和語義詞匯的關(guān)系函數(shù)。將學(xué)習(xí)得到的關(guān)系函數(shù)應(yīng)用于圖像數(shù)據(jù)集，進(jìn)而獲取語義本體與圖像的關(guān)聯(lián)。圖像的標(biāo)注詞匯可以是一個(gè)或多個(gè)，基于多個(gè)圖像語義詞匯的多標(biāo)簽語義學(xué)習(xí)目前受到較多的關(guān)注。多標(biāo)簽語義學(xué)習(xí)在矢量空間中考慮監(jiān)督或半監(jiān)督學(xué)習(xí)問題，最終獲得單詞集合與特征數(shù)據(jù)的聯(lián)系，在粗粒度的圖像檢索應(yīng)用中可獲得較好的效果。用機(jī)器學(xué)習(xí)技術(shù)標(biāo)注圖像語義，進(jìn)而以語義詞匯為橋梁，建立圖像特征與語義本體的映射，進(jìn)而跨越圖像底層特征與高級(jí)語義之間的“語義鴻溝”，極大地提高了圖像檢索的能力。

圖像檢索的結(jié)果也是優(yōu)化檢索性能的重要資源。有學(xué)者關(guān)注檢索結(jié)果的反饋，提出了利用相關(guān)反饋的改進(jìn)圖像檢索性能的方法。相關(guān)反饋技術(shù)本質(zhì)是模型參數(shù)的迭代優(yōu)化，其過程是系統(tǒng)根據(jù)檢索需求，給出檢索結(jié)果。用戶根據(jù)檢索結(jié)果，設(shè)定結(jié)果與需求的相關(guān)度。系統(tǒng)根據(jù)相關(guān)度，結(jié)合機(jī)器學(xué)習(xí)技術(shù)，修正檢索結(jié)果，直至用戶滿意。

3 基于內(nèi)容語義的醫(yī)學(xué)圖像檢索的未來展望

目前，醫(yī)學(xué)圖像檢索的研究大多在較粗粒度上建立圖像與語義詞匯的聯(lián)系。此時(shí)，語義詞匯被認(rèn)為是孤立的，不利于高級(jí)圖像語義的檢索及推理。以語義本體為基礎(chǔ)，建立高級(jí)語義與圖像特征數(shù)據(jù)的聯(lián)系鏈?zhǔn)俏磥砘谡Z義圖像檢索的主要發(fā)展方向?；谡Z義本體的醫(yī)學(xué)圖像檢索核心議題包括圖像語義詞匯的自動(dòng)標(biāo)注和語義本體構(gòu)建等，前者側(cè)重于圖像特征數(shù)據(jù)與標(biāo)注詞匯映射關(guān)系的獲取，后者則側(cè)重于語義詞匯概念屬性內(nèi)在結(jié)構(gòu)的建設(shè)。未來這些內(nèi)容還有待進(jìn)一步的發(fā)展。

由于醫(yī)學(xué)圖像具有專業(yè)性強(qiáng)、領(lǐng)域內(nèi)容復(fù)雜等特點(diǎn)，結(jié)合領(lǐng)域知識(shí)，建立醫(yī)學(xué)圖像檢索語義本體是醫(yī)學(xué)圖像的現(xiàn)實(shí)要求。而在現(xiàn)有的研究中，領(lǐng)域知識(shí)的應(yīng)用還不夠深入，相信隨著知識(shí)學(xué)習(xí)特別是知識(shí)圖譜的應(yīng)用，未來這一方面還會(huì)有新的突破。

為了更好地描述檢索需求，需要設(shè)計(jì)良好的基于語義的查詢語言接口。目前，對(duì)于基于語義醫(yī)學(xué)圖像檢索查詢語言接口的研究鮮有提及，未來還有較大的探究空間。

總之，醫(yī)學(xué)圖像檢索的研究正從基于內(nèi)容特征的檢索逐步過渡到基于語義的檢索?；谡Z義醫(yī)學(xué)圖像檢索的研究還處于初步階段，還沒有成熟的商業(yè)系統(tǒng)真正應(yīng)用于醫(yī)學(xué)檔案管理和計(jì)算機(jī)輔助診斷臨床實(shí)踐。而醫(yī)學(xué)領(lǐng)域中這方面的應(yīng)用需求是非常迫切的?；趦?nèi)容語義醫(yī)學(xué)圖像檢索具有深厚的學(xué)術(shù)內(nèi)涵與迫切的應(yīng)用需求，相信隨著未來研究的不斷深入，基于語義的醫(yī)學(xué)圖像檢索將具有更為廣闊的發(fā)展前景，甚至可能導(dǎo)致醫(yī)學(xué)輔助診斷領(lǐng)域的革命。相信隨著相關(guān)工作的不斷推進(jìn)，將會(huì)出現(xiàn)更為完善高效的醫(yī)學(xué)圖像檢索系統(tǒng)，為廣大醫(yī)療診斷人員和病人帶來便利。

參考文獻(xiàn)

[1]C Faloutsos， R Barber， M Flickner， et al. Efficient and effective querying by image content. Intell. Inf. Syst，1994，3（3-4）：231-262.

[2]A Gupta， R Jain， Visual information retrieval， Commun. ACM，1997，40（5）：7079.

[3]A Pentland， R W Picard， S Scaroff， Photobook：content-based manipulation for image databases[J].Int. J.Comput. Vision，1996，18（3）：233-254.

[4]J Eakins，M Graham， Content-based image retrieval[R].Technical Report， University of Northumbria at Newcastle，1999.

[5]Liu Ying，A survey of content-based image retrieval with high-level semantics，pattern recognition，2007，40（1）：262-282.

[6]D Androutsos， K N Plataniotis， A N Venetsanopoulos， Distance measures for color image retrieval[C].Proceedings of the International Conference on Image Processing，1998，2：770-774.

[7]Bannour， Hichem， Hudelot，et al， Towards Ontologies for Image Interpretation and Annotation[C].Proceedings of International Workshop on Content-Based Multimedia Indexing， 2011：211-216.

[8]P L Stanchev， D Green Jr.， B Dimitrov， High level color similarity retrieval， Int. J. Inf. Theories Appl，2003，10（3）：363-369.