基于多尺度密集網(wǎng)絡(luò)的肺結(jié)節(jié)圖像檢索算法

秦品樂 李啟 曾建潮 張娜 宋宇龍

摘 要：現(xiàn)有基于內(nèi)容的醫(yī)學(xué)圖像檢索（CBMIR）算法存在特征提取的不足，導(dǎo)致圖像的語義信息表達(dá)不完善、圖像檢索性能較差，為此提出一種多尺度密集網(wǎng)絡(luò)算法以提高檢索精度。首先，將512×512的肺結(jié)節(jié)圖像降維到64×64，同時加入密集模塊（dense block）以解決提取的低層特征和高層語義特征之間的差距;其次，由于網(wǎng)絡(luò)的不同層提取的肺結(jié)節(jié)圖像信息不同，為了提高檢索精度和效率，采用多尺度方法結(jié)合圖像的全局特征和結(jié)節(jié)局部特征生成檢索哈希碼。實驗結(jié)果分析表明，與自適應(yīng)比特位的檢索（ABR）算法相比，提出的算法在64位哈希碼編碼長度下的肺結(jié)節(jié)圖像檢索查準(zhǔn)率可以達(dá)到91.17%，提高了3.5個百分點;檢索一張肺切片需要平均時間為48μs。所提算法的檢索結(jié)果在表達(dá)圖像豐富的語義特征和檢索效率方面，優(yōu)于其他對比的網(wǎng)絡(luò)結(jié)構(gòu)，適用于為醫(yī)生臨床輔助診斷提供依據(jù)、幫助患者有效治療。

關(guān)鍵詞：肺結(jié)節(jié);醫(yī)學(xué)圖像檢索;多尺度;密集塊;哈希函數(shù)

中圖分類號： TP391.3

文獻(xiàn)標(biāo)志碼：A

Abstract： Aiming at the insufficiency of feature extraction in the existing Content-Based Medical Image Retrieval （CBMIR） algorithms， which resulted in imperfect semantic information representation and poor image retrieval performance， an algorithm based on multi-scale dense network was proposed. Firstly， the size of pulmonary nodule image was reduced from 512×512 to 64×64， and the dense block was added to solve the gap between the extracted low-level features and high-level semantic features. Secondly， as the information of pulmonary nodule images extracted by different layers in the network was varied， in order to improve the retrieval accuracy and efficiency， the multi-scale method was used to combine the global features of the image and the local features of the nodules， so as to generate the retrieval hash code. Finally， the experimental results show that compared with the Adaptive Bit Retrieval （ABR） algorithm， the average retrieval accuracy for pulmonary nodule images based on the proposed algorithm under 64-bit hash code length can reach 91.17%， which is increased by 3.5 percentage points; and the average time required to retrieve a lung slice is 48μs. The retrieval results of the proposed algorithm are superior to other comparative network structures in expressing rich semantic features and retrieval efficiency of images. it is suitable for providing a basis for doctors clinical auxiliary diagnosis and helping patients to treat effectively.The proposed algorithm can contribute to doctor diagnosis and patient treament.

Key words： pulmonary nodule; medical image retrieval; multi-scale; dense block; hash function

0 引言

隨著大數(shù)據(jù)時代的不斷發(fā)展和圖像數(shù)據(jù)的快速增長，全國醫(yī)院每年產(chǎn)生約2PB以上的影像數(shù)據(jù)，怎樣把大量的圖像數(shù)據(jù)利用起來達(dá)到診斷報告信息共享，幫助醫(yī)生輔助診斷是本課題的研究目的?；趦?nèi)容的醫(yī)學(xué)圖像檢索（Content-Based Medical Image Retrieval， CBMIR）是通過提取圖像的語義特征，然后從數(shù)據(jù)庫中檢索類似圖像的技術(shù)，所以正確全面地表達(dá)圖像的語義信息成了圖像檢索的關(guān)鍵。提高CBMIR的檢索性能主要有兩方面：1）醫(yī)學(xué)圖像的特征提取。充分的特征表征可以提高檢索系統(tǒng)的準(zhǔn)確性。在傳統(tǒng)的基于內(nèi)容的圖像檢索系統(tǒng)中，一般采用手動提取特征，因此這些特征帶有主觀性和不完整性，導(dǎo)致檢索準(zhǔn)確率很低。本文使用多尺度信息從醫(yī)學(xué)圖像中自動提取客觀和綜合的特征。2）醫(yī)學(xué)圖像的檢索效率。圖像信息的描述會產(chǎn)生高維特征向量，直接用圖像的高維特征向量進(jìn)行相似性檢索，圖像檢索性能不高。文獻(xiàn)[1]中設(shè)計了基于深度神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network， DCNN）的學(xué)習(xí)框架用于醫(yī)學(xué)圖像的特征提取，雖然能提高圖像特征表示，但也存在一些問題，如深度神經(jīng)網(wǎng)絡(luò)的設(shè)計復(fù)雜、訓(xùn)練時間較長，影響了它的可擴(kuò)展性和實用性。

設(shè)計先進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是提高圖像特征提取最具挑戰(zhàn)性的有效途徑之一。AlexNet（Alex Network）[2]和VGG（Visual Geometry Group）[3]是深度卷積神經(jīng)網(wǎng)絡(luò)中兩個最重要的網(wǎng)絡(luò)結(jié)構(gòu)，它們證明了用微小的卷積核構(gòu)建更深層次的網(wǎng)絡(luò)是提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的有效途徑。之后又提出了殘差網(wǎng)絡(luò)（Residual Network， ResNet）結(jié)構(gòu)[4]，該網(wǎng)絡(luò)降低了優(yōu)化難度，并進(jìn)一步將神經(jīng)網(wǎng)絡(luò)的深度推向數(shù)百層。此后，出現(xiàn)了不同種類的殘差網(wǎng)絡(luò)，致力于建立一個更有效的微塊內(nèi)部結(jié)構(gòu)或探索如何使用殘差連接[5]。最近，Huang等[6]提出了一種密集卷積網(wǎng)絡(luò)（Dense convolutional Network， DenseNet），使用密集模塊（dense block）將輸入特征圖和輸出特征圖并聯(lián)連接，這也是與殘差網(wǎng)絡(luò)的主要區(qū)別。DenseNet有幾個引人注目的優(yōu)勢：它減輕了梯度消失問題，加強(qiáng)了特征傳播，鼓勵了特征重用。然而，密集連接的路徑寬度隨著深度的增加而線性增加，如果在實現(xiàn)過程中沒有被優(yōu)化，那么和殘差網(wǎng)絡(luò)相比，會引起參數(shù)量的二次增長并消耗大量的圖形處理器（Graphics Processing Unit， GPU）資源，從而限制了深層密集網(wǎng)絡(luò)準(zhǔn)確率的進(jìn)一步提高。除了設(shè)計新的網(wǎng)絡(luò)結(jié)構(gòu)外，研究人員還嘗試重新探索現(xiàn)有的最先進(jìn)的架構(gòu)。在文獻(xiàn)[7-8]中作者都提出了殘差路徑是減輕網(wǎng)絡(luò)優(yōu)化難度的重要因素。對于DenseNet，除了引入更好的特征重用和減輕訓(xùn)練過程中梯度消散的問題之外，還可以更深入地了解密集的網(wǎng)絡(luò)。

基于內(nèi)容的醫(yī)學(xué)圖像檢索主要有特征提取和哈希函數(shù)兩部分，其中特征提取是檢索準(zhǔn)確度的基石，本文綜合上述問題和肺結(jié)節(jié)圖像特點，提出一種多尺度密集網(wǎng)絡(luò)（Multi-scale Dense Network， MDN）算法，重點解決特征提取不足和圖像檢索精度低的問題。主要分為兩個階段：第一階段是利用多層網(wǎng)絡(luò)的輸出結(jié)合提取肺結(jié)節(jié)圖像的豐富語義特征，同時加入密集塊使提取的特征盡可能地表達(dá)圖像信息;第二階段主要意義是將圖像的全局特征和結(jié)節(jié)的局部特征[9]聯(lián)合生成檢索哈希碼，以提高圖像的檢索精度和效率。多尺度密集網(wǎng)絡(luò)算法不僅表達(dá)了肺結(jié)節(jié)圖像的信息而且提高了檢索精度。實驗結(jié)果分析表明，本文提出的聯(lián)合哈希方法與傳統(tǒng)的圖像哈希方法相比，檢索性能評價均取得了更優(yōu)的結(jié)果。

1 相關(guān)研究

1.1 數(shù)據(jù)集

具有代表性數(shù)據(jù)特征的大規(guī)模注釋數(shù)據(jù)集對學(xué)習(xí)更準(zhǔn)確和可推廣的模型至關(guān)重要[10]，如數(shù)據(jù)集ImageNet[11]是非常全面的數(shù)據(jù)庫，包含超過120萬種分類的1000多個類別的自然圖像，但目前還沒有與ImageNet相當(dāng)?shù)拇笠?guī)模注釋的肺結(jié)節(jié)圖像數(shù)據(jù)集，因為醫(yī)學(xué)圖像數(shù)據(jù)的采集非常困難，并且有標(biāo)簽的數(shù)據(jù)更少。本文采用的是kaggle算法設(shè)計大賽公布的標(biāo)準(zhǔn)數(shù)據(jù)集Luna2016，包括888個病例1186個結(jié)節(jié)。由于源數(shù)據(jù)每個病例含有多張切片，并不能找到具體肺結(jié)節(jié)存在位置的切片，所以需要前期對圖像進(jìn)行預(yù)處理：首先將mhd格式的源數(shù)據(jù)通過二值化與形態(tài)學(xué)濾波的膨脹和閉運(yùn)算等操作生成只有肺部的圖像，如圖1所示。輸入圖像作為最后訓(xùn)練網(wǎng)絡(luò)的輸入圖像。將CT的分割閾值設(shè)置為-1200～600HU，同時通過縮放和插值方法減少不同設(shè)備對CT掃描的像素差異。此外，為了防止負(fù)樣例太多影響實驗最后的結(jié)果，本文應(yīng)用數(shù)據(jù)增強(qiáng)的方法對正樣例進(jìn)行擴(kuò)充，比例約1∶1，其中正樣本7116個，負(fù)樣本為6888個，以保證樣本均衡。圖2為隨機(jī)選取的肺結(jié)節(jié)樣本例圖，展現(xiàn)了不同形狀和大小的肺結(jié)節(jié)。

1.2 醫(yī)學(xué)圖像檢索流程

CBMIR流程如圖3所示。首先通過網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練提取數(shù)據(jù)集中肺結(jié)節(jié)圖像特征，生成圖像的特征向量。由于高維特征向量對圖像的檢索效率低、內(nèi)存消耗高，所以需經(jīng)過哈希方法將圖像的高維特征保持相似性地映射為緊湊的二進(jìn)制哈希碼，生成哈希碼庫。當(dāng)輸入待檢索圖像時，同樣讓它經(jīng)過該網(wǎng)絡(luò)生成一個緊湊的二進(jìn)制碼。本文算法采用漢明距離進(jìn)行相似性檢索，漢明距離越小表示兩張圖像的相似度越高，然后按照從小到大的順序進(jìn)行相似性排序，得到檢索結(jié)果。

1.3 特征提取

特征提取的核心在于能否最大限度地提取區(qū)分醫(yī)學(xué)圖像的特征，如果提取的特征無法對不同的醫(yī)學(xué)圖像進(jìn)行區(qū)分，那么該特征提取步驟將毫無意義。早期的方向梯度直方圖（Histogram of Gradients， HoG）[12]中特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子，它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。在文獻(xiàn)[13]中尺度不變特征轉(zhuǎn)換（Scale Invariant Feature Transform， SIFT）算法是基于圖像上的一些局部外觀的興趣點，

而與圖像的大小和旋轉(zhuǎn)無關(guān)，并排除了因為圖像遮擋和背景混亂而產(chǎn)生的無匹配關(guān)系的關(guān)鍵點。這些方法對于圖像的信息表達(dá)都有一定的局限性，隨著深度學(xué)習(xí)的發(fā)展，提出了利用多層感知機(jī)（Multi-Layer Perceptron， MLP）獲取圖像特征的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）。CNN具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點：良好的容錯能力、并行處理能力和自學(xué)習(xí)能力，具有較高的分辨率。它通過結(jié)構(gòu)重組和減少權(quán)值將特征抽取功能融合進(jìn)多層感知器，有顯著泛化能力;同時它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)降低了網(wǎng)絡(luò)模型的復(fù)雜度。

1.4 哈希方法

近年來圍繞哈希學(xué)習(xí)提出了很多的方法，雖然提高了檢索效率，但是二值量化的損失也使圖像的特征信息丟失，降低了準(zhǔn)確率。哈希旨在產(chǎn)生非常適合大規(guī)模圖像檢索任務(wù)的高度緊湊的二進(jìn)制碼[14]。大多數(shù)現(xiàn)有的哈希方法首先將圖像轉(zhuǎn)化為特征向量，然后進(jìn)行單獨的二進(jìn)制化步驟以生成哈希碼。這個兩階段過程可能會產(chǎn)生次優(yōu)的編碼。文獻(xiàn)[15]中提出了深度殘差哈希（Deep Residual Hash， DRH）用于同時學(xué)習(xí)兩個階段，并將散列相關(guān)的損失和正則化來控制量化誤差，提高散列編碼的質(zhì)量。最近，文獻(xiàn)[16]中提出了一種新的散列索引方法，稱為基于深度哈希的融合索引（Deep Hashed Fusion Index， DHFI），目的是生成更緊湊的哈希碼，具有更強(qiáng)的表達(dá)能力和區(qū)分能力。在文獻(xiàn)中，訓(xùn)練兩個不同架構(gòu)的深度哈希子網(wǎng)，并將兩個子網(wǎng)生成的哈希碼融合在一起，以表達(dá)圖像信息。

2 本文算法

針對以上問題，結(jié)合數(shù)據(jù)集特征，提出多尺度密集網(wǎng)絡(luò)（MDN）如圖4所示，網(wǎng)絡(luò)結(jié)構(gòu)主要分為特征提取和生成哈希碼兩個部分，為了提高特征表示，確保網(wǎng)絡(luò)層間的最大信息流，在特征提取部分加入密集塊（Dense Block）連接所有具有匹配的特征圖大小的層，每個卷積層從前面所有層獲得特定的圖像特征輸入，并將其自己的特征圖傳遞到所有后續(xù)層。

2.1 肺結(jié)節(jié)特征提取

文獻(xiàn)[17]中肺結(jié)節(jié)特征提取是整個網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)肺結(jié)節(jié)圖像特征的主要部分，圖4所示的網(wǎng)絡(luò)結(jié)構(gòu)特征提取部分包括4個卷積塊，其中每個卷積塊包含1個Dense Block，每個密集塊包含3層BN_Relu_Conv。網(wǎng)絡(luò)結(jié)構(gòu)提取更豐富圖像信息的重點是密集模塊，它的基本模塊內(nèi)容如圖5所示，該模塊的主要特性是挖掘更多圖像的內(nèi)在隱含特征，增強(qiáng)圖像特征的表達(dá);同時在一定程度上減輕在訓(xùn)練過程中梯度消散的問題。網(wǎng)絡(luò)結(jié)構(gòu)在反向傳播過程中，每一層都會接受其后面所有層的梯度信號，所以不會隨著網(wǎng)絡(luò)深度的增加，使靠近輸入層的梯度變得越來越小。圖5密集模塊與殘差網(wǎng)絡(luò)相比，有更好的參數(shù)效率，在文獻(xiàn)[18]研究表明，由于ResNet的每一層都有自己的權(quán)重導(dǎo)致參數(shù)量太大，影響模型的學(xué)習(xí)。密集模塊的優(yōu)點是它改善了整個網(wǎng)絡(luò)的信息流，使其易于訓(xùn)練，每一層都可以直接從損失函數(shù)和原始輸入信號中獲取梯度，這有助于訓(xùn)練更深層次的網(wǎng)絡(luò)架構(gòu);此外，本文算法還觀察到密集模塊連接具有正則化效應(yīng)，這減少了具有較小訓(xùn)練集的過擬合。

2.2 肺結(jié)節(jié)標(biāo)簽

在生成哈希碼的過程中，為提高準(zhǔn)確率和防止隨著網(wǎng)絡(luò)深度增加丟失肺結(jié)節(jié)信息，本文通過兩次步長為2的3×3卷積核大小將第一個卷積模塊的特征圖和第三個卷積模塊特征圖調(diào)整為大小相同的特征圖，然后將兩個特征圖逐點相加;同理，第二個卷積模塊的特征圖和第四個卷積模塊的特征圖逐點相加。另外，在上采樣之前采用1×1的卷積核把多尺度網(wǎng)絡(luò)輸出的特征圖和密集模塊輸出的特征圖統(tǒng)一成相同的大小，然后將特征圖逐點相加，以達(dá)到肺結(jié)節(jié)圖像特征信息的最大傳遞。在網(wǎng)絡(luò)的最后階段使用same卷積，卷積后不改變圖片大小，作用是為上采樣（upSampling）變大的圖像提供豐富肺結(jié)節(jié)信息[19]，使得在最大池化（Max-Pooling）過程丟失的信息可以通過upSampling學(xué)習(xí)得到，最終還原到與圖像輸入相同的大小。其中網(wǎng)絡(luò)框架的普通層有4層Max-Pooling，每個密集塊有1層Max-Pooling，每個Max-Pooling的卷積核大小為2×2。此外，為了防止上采樣過程出現(xiàn)棋盤效應(yīng)，對圖像進(jìn)行線性插值的方法。最終得到肺結(jié)節(jié)標(biāo)簽圖。

2.3 BN算法

2.4 損失函數(shù)

本文中的損失函數(shù)有兩個。通過肺結(jié)節(jié)圖像數(shù)據(jù)集的特征，MDN的輸出可看成是一個在像素域上的二分類問題，所以本文中MDN模型的輸出損失是二值交叉熵（binary cross-entropy）;此外，由于肺結(jié)節(jié)圖像檢索時作用在像素域上，本文提出對圖像上每一個像素的預(yù)測值和實際值求損失誤差和，定義為Pixel-Area MSE Loss。則整體損失函數(shù)定義為：

2.4.1 交叉熵?fù)p失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練時，如果使用二次代價函數(shù)作為損失函數(shù)，預(yù)測值與實際值的誤差越大，參數(shù)的調(diào)整幅度越小，訓(xùn)練得更慢。為了解決這個問題，使網(wǎng)絡(luò)訓(xùn)練收斂的速度快，本文MDN模型使用二值交叉熵作為損失函數(shù)。交叉熵用來評估網(wǎng)絡(luò)訓(xùn)練過程中得到的概率分布和真實分布的差異情況，減少交叉熵?fù)p失就是提高網(wǎng)絡(luò)模型的預(yù)測準(zhǔn)確率;此外，為了減少過擬合，提高訓(xùn)練準(zhǔn)確率和避免局部最優(yōu)，損失函數(shù)加入L2正則項。公式如下：

2.4.2 像素域均方誤差

均方誤差（Mean Squared Error， MSE）作為常用的損失函數(shù)來評估模型的性能，它是指估計值和真實值之差平方的期望值，MSE的值越小，表示模型描述實驗數(shù)據(jù)的精確度越高。肺結(jié)節(jié)圖像檢索時的損失函數(shù)采用均方誤差，實驗中提出像素域的均方誤差和，通過端到端（end-to-end）的訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)對每一個像素求MSE，當(dāng)像素域總損失最小時，肺結(jié)節(jié)圖像檢索精度最高。公式如下：

2.5 哈希函數(shù)

哈希函數(shù)學(xué)習(xí)主要有三步：第一步是通過網(wǎng)絡(luò)的訓(xùn)練模型同時學(xué)習(xí)圖像特征和哈希函數(shù);第二步是從標(biāo)簽信息中生成最優(yōu)目標(biāo)哈希碼;第三步是通過哈希函數(shù)將圖像像素映射到緊湊的二進(jìn)制碼，并執(zhí)行圖像檢索。若生成哈希碼的長度為k，則哈希函數(shù)公式為：

2.6 Adam算法

Adam算法優(yōu)化器是基于低階矩的自適應(yīng)估計，用于更新網(wǎng)絡(luò)參數(shù)，優(yōu)點是計算效率高、存儲器要求低，可以根據(jù)損失函數(shù)對每個參數(shù)梯度的一階矩估計和二階矩估計進(jìn)行動態(tài)調(diào)整參數(shù)的學(xué)習(xí)率，從而達(dá)到最優(yōu)解。Adam 是基于梯度下降的方法，但每次迭代時參數(shù)的學(xué)習(xí)步長都有確定的范圍，不會因為梯度大導(dǎo)致學(xué)習(xí)步長也很大，參數(shù)的值比較穩(wěn)定。公式如下：

其中： f（θt）是目標(biāo)函數(shù);mt和t是第一時刻的偏差和偏差校正估計值;vt和t是第二時刻的偏差和偏差校正估計值;β1和β2是相應(yīng)的衰減率，且加入相同的權(quán)值衰減項，參數(shù)ε防止公式分母為0，參數(shù)的默認(rèn)值是β1=0.9，β2=0.999， ε=10-8;哈希函數(shù)公式如式（14）。

3 實驗結(jié)果分析

實驗的程序運(yùn)行環(huán)境使用Pycharm工具和Tensorflow深度學(xué)習(xí)框架開發(fā)和訓(xùn)練。Inter Xeon CPU E5-2683 v3 @2.00GHz雙核處理器機(jī)器上搭載Ubuntu 14.04操作系統(tǒng)作為硬件實驗環(huán)境，內(nèi)存大小為256GB，GPU處理器是NVIDIA K40。

3.1 中間層檢索

實驗使用kaggle比賽肺結(jié)節(jié)圖像數(shù)據(jù)的888例，其中包括287例負(fù)樣本，實驗中根據(jù)標(biāo)簽在肺結(jié)節(jié)中心位置切片，每個病例切片3張。對每張切片進(jìn)行如圖1所示的預(yù)處理得到肺部圖像。通過MDN結(jié)構(gòu)的特征提取和upSampling最終得到肺結(jié)節(jié)圖像特征。實驗使用漢明距離對比所有網(wǎng)絡(luò)層檢索圖像top5結(jié)果，如圖6所示。使用漢明距離最小的第四層和提取特征層的最后一層網(wǎng)絡(luò)輸出檢索結(jié)果，如圖7所示。其中圖7（a）為待檢索肺結(jié)節(jié)圖像。

在上述實驗結(jié)果中對比發(fā)現(xiàn)，圖7第4層的top5檢索結(jié)果提取整個圖像輪廓信息較多，如圖8（a）前兩張原圖和圖8（b）前兩張放大圖的網(wǎng)絡(luò)檢索結(jié)果對比。隨著網(wǎng)絡(luò)層次的加深，提取更多的是肺結(jié)節(jié)圖像的全局語義特征，正如圖7第17層檢索top5結(jié)果所示。網(wǎng)絡(luò)提取特征最后一層檢索放大效果對比如圖8（a）后兩張原圖和圖8（b）后兩張放大圖，對肺結(jié)節(jié)的大小形狀信息表達(dá)更豐富。網(wǎng)絡(luò)結(jié)構(gòu)的每一層檢索結(jié)果與檢索原圖像都是局部相似，這種局部特征相似檢索結(jié)果仍然不能表達(dá)圖像的完整語義信息。

3.2 多尺度檢索

圖8實驗結(jié)果表明，不同的網(wǎng)絡(luò)層提取圖像的特征意義不同，為了實現(xiàn)更加準(zhǔn)確、且能減少圖像語義差異的肺結(jié)節(jié)檢索，提出多尺度檢索算法，以提取肺結(jié)節(jié)特征顯著層作為目標(biāo)提取，加入圖像輪廓特征和肺結(jié)節(jié)圖像全局語義特征為正則項作為優(yōu)化，檢索結(jié)果如圖9所示。圖9（a）作為待檢索肺結(jié)節(jié)圖像，在圖9中top5檢索結(jié)果顯示多尺度檢索的提出有效解決了檢索圖像特征的語義差異問題，檢索結(jié)果與檢索圖像特征語義信息和肺結(jié)節(jié)特征都相似。

3.3 檢索性能評價

損失函數(shù)可以反映模型的好壞，損失越小，表示模型越好，對比多尺度損失和單一尺度損失如圖10所示。從圖中可以看出：使用單一尺度的網(wǎng)絡(luò)模型訓(xùn)練，收斂速度慢，而且穩(wěn)定性差，波動范圍較大;采用多尺度的訓(xùn)練方式，提取的特征不僅包含了肺結(jié)節(jié)的底層信息，還融入了圖像的高級語義特征。在保持學(xué)習(xí)率不變的情況下，多尺度損失不僅比單一尺度小，而且收斂速度快，波動范圍穩(wěn)定。

圖10中的單一尺度仍然包含密集模塊的網(wǎng)絡(luò)，為了說明MDN網(wǎng)絡(luò)結(jié)構(gòu)中多尺度和密集模塊對肺結(jié)節(jié)圖像檢索提高精確度的意義，實驗結(jié)果對比如表1所示，其中無MDN代表沒有多尺度和密集塊的網(wǎng)絡(luò)結(jié)構(gòu)。從表1可以看出，無MDN在哈希碼編碼長度為64位下查準(zhǔn)率最高為77.8%，比有MDN的哈希碼編碼長度為32位的查準(zhǔn)率低0.5個百分點，而有MDN的網(wǎng)絡(luò)結(jié)構(gòu)在哈希碼編碼長度為64位下查準(zhǔn)率最高達(dá)到91.7%，所以多尺度密集網(wǎng)絡(luò)對肺結(jié)節(jié)圖像的檢索有重要意義。

此外，實驗對14004張肺切片圖像數(shù)據(jù)庫檢索花費總時間約0.67s，故檢索一張肺切片的平均時間約48μs，而不采用降維直接使用圖像的高維向量進(jìn)行檢索，花費時間約1.7h，可見本文算法檢索肺切片的效率要比直接采用高維向量提高約104倍。

4 結(jié)語

醫(yī)學(xué)圖像的檢索對醫(yī)生的輔助診斷治療有著重要的意義，本文針對傳統(tǒng)算法對肺癌早期肺結(jié)節(jié)的檢索中存在的問題，提出多尺度密集網(wǎng)絡(luò)（MDN）結(jié)構(gòu)，該網(wǎng)絡(luò)改善了特征提取不能表達(dá)圖像語義的問題。利用網(wǎng)絡(luò)不同層表達(dá)圖像不同信息的特點，采用全局特征和肺結(jié)節(jié)局部細(xì)節(jié)特征的最小漢明距離聯(lián)合生成的哈希碼進(jìn)行肺結(jié)節(jié)圖像檢索，檢索結(jié)果使圖像語義和肺結(jié)節(jié)特征都有了更豐富的表達(dá)，提高了檢索精度。同時在檢索效率方面，檢索一張肺切片的效率比高維向量直接檢索也有明顯提高。提高醫(yī)學(xué)圖像檢索性能的另一個關(guān)鍵技術(shù)是哈希函數(shù)的選擇，如何選擇一種具有高效學(xué)習(xí)能力的哈希函數(shù)是接下來探索研究的方向。

參考文獻(xiàn)：

[1] QAYYUM A， ANWAR S M， MAJID M， et al. Medical image retrieval using deep convolutional neural networks： a review [EB/OL]. （2017-09-04） [2018-04-12]. https：//arxiv.org/ftp/arxiv/papers/1709/1709.02250.pdf.

[2] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS12Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe， Nevada： Curran Associates Inc.， 2012： 1097-1105.

[3] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. （2014-09-04） [2018-04-12]. https：//arxiv.org/pdf/1409.1556.pdf.

[4] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 770-778.https：//arxiv.org/abs/1512.03385

[5] KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 1646-1654.

[6] HUANG G， LIU Z， KILIAN Q W， et al. Densely connected convolutional networks [EB/OL]. （2018-01-28） [2018-04-12]. https：//arxiv.org/pdf/1608.06993.pdf.

[7] HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks [C]// ECCV 2016：Proceedings of the 14th European Conference on Computer Vision， LNCS 9908. Cham： Springer， 2016： 630-645.

[8] CHEN Y， JIN X， KANG B， et al. Sharing residual units through collective tensor factorization in deep neural networks [EB/OL]. （2017-03-15） [2018-04-02]. http：//cn.arxiv.org/abs/1703.02180.pdf.

[9] 李凈，郭洪禹.圖像檢索中結(jié)合文本信息的多示例原型選擇及主動學(xué)習(xí)策略[J]，計算機(jī)應(yīng)用，2012，32（10）：2899-2903. （LI J， GUO H Y. Multi-instance prototype selection and active learning combined with textual information in image retrieval[J]. Journal of Computer Applications， 2012， 32（10）： 2899-2903.）

[10] KRIZHEVSKY A. Learning multiple layers of features from tiny images [EB/OL]. [2018-04-08]. http：//www.cs.toronto.edu/～kriz/learning-features-2009-TR.pdf

[11] DENG J， DONG W， SOCHER R， et al， ImageNet： a large-scale hierarchical image database [C]// Proceeding of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 248-255.

[12] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection [C]// CVPR05Proceeding of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2005： 886-893.

[13] LOWE D G，. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[14] LU X， SONG L， XIE R， et al， Deep hash learning for efficient image retrieval [C]// Proceedings of the 2017 IEEE International Conference on Multimedia and Expo Workshops. Washington， DC： IEEE Computer Society， 2017： 579-584.

[15] CONJETI S， ROY A G， KATOUZIAN A， et al， Deep residual hashing[EB/OL]. （2016-12-16） [2018-05-04]. http：//cn.arxiv.org/abs/1612.05400.pdf.

[16] DUAN L， ZHAO C， MIAO J， et al. Deep hashing based fusing index method for large-scale image retrieval [J]. Applied Computational Intelligence and Soft Computing， 2017， 2017： Article ID 9635348.

[17] RAZAVIAN A S， AZIZPOUR H， SULLIVAN J，et al， CNN features off-the-shelf： an astounding baseline for recognition[C]// Proceeding of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington， DC： IEEE Computer Society， 2014： 512-519.

[18] HUANG G， SUN Y， LIU Z， et al. Deep networks with stochastic depth [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9908. Cham： Springer， 2016： 646-661.

[19] GIRSHICK R， DONAHUE J， DARRELL T， et al. Region-based convolutional networks for accurate object detection and semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（1）：142-158.

[20] IOFFE S， SZEGEDY C， Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on Machine Learning. [S.l.]： PMLR， 2015： 448-156.http：//proceedings.mlr.press/v37/ioffe15.htmlhttps：//arxiv.org/abs/1502.03167

[21] 楊曉蘭，強(qiáng)彥，趙娟娟，等.基于醫(yī)學(xué)征象和卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)CT圖像哈希檢索[J].智能系統(tǒng)學(xué)報，2017，12（6）：857-864. （YANG X L， QIANG Y， ZHAO J J， et al. Hashing retrieval for CT images of pulmonary nodules based on medical signs and convolutional neural networks[J]. CAAI Transactions on Intelligent Systems， 2017， 12（6）： 857-864.）