全卷積深度遷移網(wǎng)絡(luò)的聯(lián)合分割

李 巖，劉 俊

1.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點(diǎn)實驗室（武漢科技大學(xué)），武漢430065

2.武漢科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，武漢430065

血凝塊的形成是對損傷的基本反應(yīng)，它會使血液由溶膠狀態(tài)變?yōu)槟z狀態(tài)，但是血凝塊也是許多血管疾病的根本原因，包括心肌梗塞、中風(fēng)、肺栓塞和深靜脈血栓等。但是以往的治療方法大都具有顯著的缺點(diǎn)[1]。例如，藥物是非局部給藥的，可引起過多的出血。導(dǎo)管或血栓溶解劑可以直接破壞凝塊來溶解血栓，但是可能會對脈管系統(tǒng)造成意外的損傷和感染。

超聲以前已經(jīng)被證明可以誘導(dǎo)溶栓，其本身可以與藥物或超聲造影劑一起誘導(dǎo)溶栓[2-3]，現(xiàn)在高強(qiáng)度超聲已被證明是體外和體內(nèi)有效的血栓溶解方法[4]，并具有非侵入性和快速治療等顯著的益處。在這些研究中，溶栓作用歸因于空化效應(yīng)?？栈?yīng)能夠在超過超聲壓力閾值的300 s 內(nèi)完全破壞凝塊。當(dāng)發(fā)生溶栓時，會在凝塊表面產(chǎn)生細(xì)小的碎片顆粒。在治療期間，剩余的凝塊將自然地朝向焦點(diǎn)移動，使得整個凝塊可以在不移動換能器的情況下被侵蝕[5]。

超聲治療需要同步獲取血管和血栓位置，以此來決定超聲的聚焦點(diǎn)和聚焦程度，如何從獲取的超聲圖像中分割出血管和血栓的位置成為了一個急需解決的問題。圖像分割在醫(yī)學(xué)超聲圖像的定量、定性分析中均扮演著重要的角色，它直接影響到后續(xù)的分析、處理工作。正確的分割是從超聲圖像中為臨床應(yīng)用準(zhǔn)確提取診斷信息的保證，也是臨床中進(jìn)行定量分析和計算機(jī)輔助操作中重要的一環(huán)。超聲成像相較于其他成像方法具有無損性、實時性及廉價性的優(yōu)點(diǎn)，而且在超聲治療中使用超聲成像的方法，可以保證設(shè)施的一致性。

1 相關(guān)工作

1.1 傳統(tǒng)分割方法

傳統(tǒng)圖像分割算法指的是通過主動尋找圖像中不同的灰度、顏色、紋理和形狀特征，把圖像劃分成若干互不交迭的區(qū)域，并使這些特征在同一區(qū)域內(nèi)呈現(xiàn)出相似性，而在不同區(qū)域間呈現(xiàn)出明顯的差異性。

常見的傳統(tǒng)分割方法有諸如基于閾值的分割方法、基于邊緣的分割方法和基于區(qū)域的分割方法等，傳統(tǒng)的分割方法大都方法簡單，運(yùn)行速度快，并且能很好地適應(yīng)某些數(shù)據(jù)，但是當(dāng)邊界灰度及紋理特征不明顯時，傳統(tǒng)方法就很難奏效。

例如，選基于灰度信息與ROI區(qū)域的初始輪廓獲取方法[6]。其根據(jù)超聲圖像的灰度特征對其進(jìn)行自適應(yīng)閾值分割以及面積濾波，然后獲得分割輪廓點(diǎn)集進(jìn)而得到snake初始輪廓點(diǎn)集，并完成最終的分割。

還有基于稀疏表示框架和動態(tài)方向主動輪廓模型的超聲血管分割[7]，該方法先通過稀疏表示框架中的提取初始輪廓，并使用主動輪廓模型將初始輪廓朝著感興趣的邊界傳播。最后，基于圖像邊界的鈣化區(qū)域，對提取的輪廓進(jìn)行細(xì)化。

但是這些傳統(tǒng)方法，調(diào)整參數(shù)及其繁瑣，而且得到的結(jié)果很難令人滿意，雖然能在訓(xùn)練數(shù)據(jù)上取得較好的結(jié)果，但是分割真實圖像時，往往很難得到一個較好的結(jié)果。

1.2 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)的興起為自動分割提供了一個新的方向。針對超聲血管圖像，有人工神經(jīng)網(wǎng)絡(luò)方法[8]，該方法通過稀疏自動編碼器和softmax 分類器分割血管層，再用另一個人工神經(jīng)網(wǎng)絡(luò)優(yōu)化第一個網(wǎng)絡(luò)的結(jié)果。最后，使用主動輪廓模型應(yīng)用于平滑邊界。該方法通過使用傳統(tǒng)的CNN改進(jìn)模型，對圖片進(jìn)行像素級分類，但是該方法在小數(shù)據(jù)集上無法收斂。

還有結(jié)合堆疊沙漏網(wǎng)絡(luò)和有條件生成對抗網(wǎng)絡(luò)用于分割圖像內(nèi)膜和中外膜邊界的方法[9]，該方法能通過對抗網(wǎng)絡(luò)，能有效地解決過擬合的問題，并利用闊值處理檢測最終邊界，很好地處理內(nèi)外膜差異性問題，但是其在邊界分割法在面對異常區(qū)域時難以適用，使用該方法在識別被阻塞的血管時，難以得到較好的結(jié)果。

除了傳統(tǒng)的CNN 模型，使用全卷積神經(jīng)網(wǎng)絡(luò)完成的圖像分割的FCN[10]能更精準(zhǔn)地完成圖片的像素級分割。更進(jìn)一步的，在全卷積神經(jīng)網(wǎng)絡(luò)上加上對稱的擴(kuò)展路徑使其以實現(xiàn)精確定位的U 形深度卷積網(wǎng)絡(luò)Unet[11]，在處理小數(shù)據(jù)集的醫(yī)學(xué)圖像上，能獲得比以往更好的分割結(jié)果。還有使用分解濾波器極大降低計算量的ENet，ENet獨(dú)特的不對稱網(wǎng)絡(luò)及空洞卷積，能很好地提高分割精度。

但由于生物結(jié)構(gòu)本身的多樣性，以及醫(yī)療影像技術(shù)本身缺陷導(dǎo)致的低對比度和噪聲等問題，這些方法在處理小數(shù)據(jù)集的超聲圖像時依然會存在問題，很難較好的識別邊界信息，而且阻塞血管中的阻塞部分會給分割帶來極大的難度，此研究就是通過基于全卷積神經(jīng)網(wǎng)絡(luò)的深度聚合和優(yōu)化完成阻塞血管超聲圖像的分割。

FCN[12-14]已經(jīng)證明了經(jīng)過端到端、像素到像素訓(xùn)練的卷積網(wǎng)絡(luò)超過以往的語義分割技術(shù)。FCN 沒有任何全連接層，輸出是與輸入圖像大小相同的類概率向量的圖像。然而，在這些網(wǎng)絡(luò)中，網(wǎng)絡(luò)的準(zhǔn)確性和上下文利用之間存在折衷。網(wǎng)絡(luò)越深，使用更多的卷積層來促進(jìn)上下文的使用；另一方面，這些卷積層丟失了網(wǎng)絡(luò)的部分細(xì)節(jié)。

為了克服這些缺點(diǎn)，在此之后有很多人在此基礎(chǔ)上進(jìn)行改進(jìn)[15-17]。這些方法基本都是通過改進(jìn)網(wǎng)絡(luò)中的聚合方式來獲取更好的分割效果，但是大都是淺層聚合，難以提取更深層的特征與信息。本文通過進(jìn)行深層次的卷積與聚合提取更多的特征，完成超聲圖像的分割。

對于一個神經(jīng)網(wǎng)絡(luò)，如果把權(quán)重或者參數(shù)都初始化為0，由于反向推導(dǎo)中的對稱的隱含單元不改變，那么梯度下降將不會起作用。因此需要對參數(shù)矩陣進(jìn)行始化。其中隨機(jī)初始化的好處在于實現(xiàn)簡單，但是需要不斷試錯，以此找到合適的數(shù)值，工作量較大，本文嘗試使用遷移學(xué)習(xí)的方法，使用將標(biāo)記數(shù)據(jù)作為掩碼與原圖結(jié)合，產(chǎn)生新的數(shù)據(jù)，用于初始化網(wǎng)絡(luò)的參數(shù)矩陣，達(dá)到穩(wěn)定實驗結(jié)果的目的。

2 本文工作

2.1 全卷積聚合神經(jīng)網(wǎng)絡(luò)

2.1.1 深度與聚合

基于深度聚合的全卷積神經(jīng)網(wǎng)絡(luò)框架如圖2所示，網(wǎng)絡(luò)中的改進(jìn)主要包含三個部分：連接局部細(xì)節(jié)和全局信息的跳躍連接、加深網(wǎng)絡(luò)提取更多特征和全新的卷積聚合模式。

圖像信息主要有兩種：全局信息和細(xì)節(jié)信息。全卷積神經(jīng)網(wǎng)絡(luò)采用的是一個包含下采樣和上采樣的網(wǎng)絡(luò)結(jié)構(gòu)。下采樣用來逐漸提取全局信息，而上采樣的過程則是還原細(xì)節(jié)信息，并且逐步還原圖像精度。

通過使用跳躍連接，連接下采樣各層信息和上采樣的輸入信息，結(jié)合局部細(xì)節(jié)和全局信息，將收縮路徑上提取出來的高像素特征連接到包含全局信息的新的特征圖上，使得網(wǎng)絡(luò)能更加高效地運(yùn)行。

現(xiàn)在的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的主要模塊是卷積、池化、激活，這是一個標(biāo)準(zhǔn)的非線性變換模塊。網(wǎng)絡(luò)的本質(zhì)就是通過這個模型來求解一個多維的問題，而更深的模型，意味著更好的非線性表達(dá)能力，可以學(xué)習(xí)更加復(fù)雜的變換，從而可以擬合更加復(fù)雜的特征輸入。為此加深網(wǎng)絡(luò)的廣度或深度能有效地提升函數(shù)的深度，而大多數(shù)函數(shù)如果用一個深層結(jié)構(gòu)剛剛好解決問題，那么就不可能用一個更淺的同樣緊湊的結(jié)構(gòu)來解決。

網(wǎng)絡(luò)模型的深度對網(wǎng)絡(luò)的效果提升與數(shù)據(jù)集有直接關(guān)系，對于不同的數(shù)據(jù)集，網(wǎng)絡(luò)深度帶來的影響各不相同，圖像復(fù)雜的像素輸入和像素輸出需要的表達(dá)難度遠(yuǎn)超以往，因此需要更深層的網(wǎng)絡(luò)來擬合輸入輸出。經(jīng)過多次實驗，測試出對于超聲血管圖像，單個塊的卷積層應(yīng)在8層左右，下采樣中的總深度不應(yīng)超過40。

但是同時深層網(wǎng)絡(luò)帶來的梯度不穩(wěn)定，網(wǎng)絡(luò)退化的問題始終都是存在的，可以緩解，沒法消除。除此之外，模型加深還可能出現(xiàn)的一些問題是導(dǎo)致某些淺層的學(xué)習(xí)能力下降，限制了深層網(wǎng)絡(luò)的學(xué)習(xí)，這就有可能出現(xiàn)網(wǎng)絡(luò)加深，性能反而開始下降。因此，傳統(tǒng)網(wǎng)絡(luò)大都在30層以下。為了解決這個問題，殘差卷積網(wǎng)絡(luò)創(chuàng)新性的提出了殘差結(jié)構(gòu)用于連接上下文，能較為有效地處理網(wǎng)絡(luò)深度問題，使得深層網(wǎng)絡(luò)可以得到更好的結(jié)果與密集神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的淺層連接不同，為了在更深的網(wǎng)絡(luò)中提取到足夠的信息，深度聚合網(wǎng)絡(luò)中的聚合方式能更深層次的提取語義和全局的特征。

通過使用全新的聚合方法，不僅能防止梯度爆炸的問題，還可以更好地將信息向下傳遞。通過在下采樣過程中，對卷積層使用的深度聚合，通過加深收縮路徑獲取更多的特征，并通過深度聚合將提取的特征連接起來，同時在深度和廣度上提取有效信息。

單個聚合塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中每一個卷積塊都是一個多通道的特征圖矩陣，通道大小為輸入卷積塊的兩倍，特征圖大小與輸入卷積塊大小相同。卷積都由與上一層通道數(shù)量相同的3×3卷積核進(jìn)行卷積，通過卷積產(chǎn)生數(shù)量相同的特征矩陣。concatenate 通過將特征矩陣中的通道進(jìn)行拼接，產(chǎn)生新的特征矩陣，并通過卷積將通道數(shù)恢復(fù)成原數(shù)量。

通過在拼接后對特征矩陣進(jìn)行卷積，可以有效解決特征比重問題，越往后的卷積塊擁有越多的信息，而且擁有之前部分卷積的所有信息，如果不進(jìn)行卷積，會導(dǎo)致前面的卷積塊占比過高，影響結(jié)果，而且Output 所占的比重過大可能會導(dǎo)致下采樣與上采樣圖像拼接時的信息稀釋。

圖1 深度聚合模型

如圖1所示，深度聚合結(jié)構(gòu)通過組裝樹結(jié)構(gòu)來連接不同的卷積層，這些連接交叉并合并各個階段的信息，以聚合不同級別的表示。通過將中間的聚合部分路由回網(wǎng)絡(luò)來加深聚合，并通過合并相同深度的連續(xù)聚合來提高效率。

n層卷積塊的輸出OUTn( )

x可以表示為：

其中x是輸入的多維圖片，convc 是指拼接后接卷積操作，并保持大小與原卷積塊大小相同，conv指通道卷積。

2.1.2 全卷積網(wǎng)絡(luò)的連接

如圖2給出了基于全卷積聚合網(wǎng)絡(luò)的結(jié)構(gòu)圖，下文給出詳細(xì)描述：

（1）每一個下采樣部分都由上文中的聚合卷積塊組成，每個塊都由8個3×3卷積接一個最大池化，并通過深度聚合的方式連接起來。上采樣用于還原圖片，每一個上采樣層使用由2個3×3卷積層組成的卷積塊。

（2）每次最大池化后圖片大小變?yōu)樯弦粚訄D像的四分之一，并通過卷積將通道數(shù)翻倍，同樣的每次反卷積后圖片的大小翻倍，并通過卷積將通道減半，提取圖片分割目標(biāo)。

（3）在下采樣提取完特征后，獲得了32×32 的特征圖，再通過反卷積來還原圖片細(xì)節(jié)，并將反卷積后的圖像與下采樣中對應(yīng)路徑的輸出連接，重新獲取下采樣中丟失的部分信息。這些跳過層通過通道連接實現(xiàn)，它們允許對網(wǎng)絡(luò)進(jìn)行深度監(jiān)督。因此，跳過層能很好地改善網(wǎng)絡(luò)性能。

（4）在下采樣的最后兩層加入了dropout層，用于隨機(jī)將部分隱含層節(jié)點(diǎn)的權(quán)重歸零，由于每次迭代受歸零影響的節(jié)點(diǎn)不同，因此各節(jié)點(diǎn)的“重要性”會被平衡，使得網(wǎng)絡(luò)可以隨機(jī)失活。

圖2 深度聚合網(wǎng)絡(luò)的連接模型

2.2 數(shù)據(jù)增強(qiáng)

醫(yī)學(xué)圖像大多并沒有大量的訓(xùn)練數(shù)據(jù)，而由于深度神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)的學(xué)習(xí)能力，如果沒有大量的訓(xùn)練數(shù)據(jù)，會造成過擬合，訓(xùn)練出的模型難以應(yīng)用。因此對于一些沒有足夠樣本數(shù)量的問題，可以通過已有的樣本，對其進(jìn)行變化，人工增加訓(xùn)練樣本。為了應(yīng)對醫(yī)學(xué)圖像數(shù)據(jù)集過小的問題，使用了合適的數(shù)據(jù)增強(qiáng)方式，并在實驗中尋找合適的規(guī)律和方法。

2.2.1 圖像形變

傳統(tǒng)的數(shù)據(jù)增強(qiáng)方式主要有對圖像進(jìn)行旋轉(zhuǎn)、移位等仿射變換，對象映射的鏡像變換，保持原圖特征的彈性變換等等。在經(jīng)過對比實驗后，本文則使用了一種基于移動最小二乘的圖像剛性變換方法。

該方法通過在圖像中制定控制點(diǎn)，并通過拖拽控制點(diǎn)來驅(qū)動圖像變形。假設(shè)p為原圖像中控制點(diǎn)的位置，q為拖拽后控制點(diǎn)的位置，利用移動最小二乘法來為原圖像上的每個像素點(diǎn)v構(gòu)建相應(yīng)的仿射變換，并通過該變換來計算得到圖像變形后的位置。

由于控制點(diǎn)個數(shù)與計算量成正比，因此不應(yīng)太多，拖拽幅度也應(yīng)該控制，太大了會導(dǎo)致圖像特征難以獲取，太小了會使網(wǎng)絡(luò)很容易的陷入過擬合。

2.2.2 基于虛擬數(shù)據(jù)的級聯(lián)深度遷移

神經(jīng)網(wǎng)絡(luò)類似于人類大腦的處理機(jī)制，它是一個迭代且連續(xù)的抽象過程。網(wǎng)絡(luò)的前面層可被視為特征提取器，提取的特征是通用的?；谶@個特點(diǎn)，本文通過將增強(qiáng)后的圖片與對應(yīng)掩碼結(jié)合來構(gòu)造幾個全新的連續(xù)源域，通過這些連續(xù)的源域順序?qū)W習(xí)圖像特征，最終應(yīng)用于對象圖像。

掩碼比例越高越容易學(xué)習(xí)，很容易確定圖片的某些明顯特征，并在網(wǎng)絡(luò)中為構(gòu)建適應(yīng)模型，反之，當(dāng)掩碼比例降低時，更難找到分割對象，但是對細(xì)節(jié)的分析更接近真實，通過遷移學(xué)習(xí)的方式，傳遞訓(xùn)練好的模型，將高掩碼源域的模型作為初始值傳給低掩碼源域，然后低掩碼源域完善部分高掩碼源域?qū)W習(xí)不到的細(xì)節(jié)，并繼續(xù)向下傳遞。原圖接收到掩碼源域傳遞的模型后，對模型進(jìn)行調(diào)整，完善所有細(xì)節(jié)。

如圖3 所示，本文分別用0.2、0.15、0.1、0.05 的掩碼與原圖疊加，然后首先用0.2 掩碼對應(yīng)的訓(xùn)練圖對初始模型進(jìn)行訓(xùn)練，可以只用1 次全局訓(xùn)練即可，訓(xùn)練過深會影響后續(xù)的訓(xùn)練。模型訓(xùn)練完畢后，使用該模型訓(xùn)練低掩碼的數(shù)據(jù)，依此訓(xùn)練得到最終的模型，將最終的模型作為實驗的初始模型，對原始數(shù)據(jù)進(jìn)行訓(xùn)練，得到訓(xùn)練結(jié)果。

本文的模型如圖3 所示，分別使用與0.2、0.15、0.1、0.05與掩碼相乘，加在原圖上，產(chǎn)生4組對應(yīng)的圖像，然后產(chǎn)生一個隨機(jī)的初始模型，使用從高到底的使用掩碼圖像對模型進(jìn)行訓(xùn)練，最終得到模型4，并將模型4作為初始后的模型訓(xùn)練原始圖片。

圖3 遷移學(xué)習(xí)模型

2.3 聯(lián)合網(wǎng)絡(luò)

在分割血管阻塞部位的過程中，發(fā)現(xiàn)深度學(xué)習(xí)的方法很難收斂，由于圖片質(zhì)量和數(shù)量，并由于形態(tài)學(xué)特征不具有一致性，很難直接精準(zhǔn)的識別血管的阻塞區(qū)域。

如果使用網(wǎng)絡(luò)直接對血管阻塞部分進(jìn)行分割，會有極大的誤差。血管本身具有較為明顯的形態(tài)學(xué)特征，只對血管分割，已經(jīng)能得到較好的分割結(jié)果，如果將分割好的血管圖片作為輸入，同時考慮血管位置，能更好地找到阻塞區(qū)域，限制阻塞區(qū)域的位置。

為了解決這個問題，構(gòu)建了兩個全卷積聚合神經(jīng)網(wǎng)絡(luò)的模型，并將其聯(lián)合起來。如圖2所示，一個模型在另一個之上，訓(xùn)練端到端分割2D 軸向切片。上方的一個AMFCN將血管的軸向切片作為輸入，通過計算每個像素在血管內(nèi)的概率，輸出血管的分割圖。下方的AMFCN則同時將切片和血管分割圖作為輸入通過連接聚合，能有效的收斂阻塞區(qū)域，最后輸出血管阻塞部分分割圖。

3 實驗

3.1 實驗數(shù)據(jù)

這里采用其他實驗室數(shù)據(jù)集，其中有30 個訓(xùn)練圖像，在實驗中，首先隨機(jī)提取25 個圖像，然后基于剛性形變的數(shù)據(jù)增強(qiáng)將其擴(kuò)展為750張，將這些圖像作為訓(xùn)練集添加到網(wǎng)絡(luò)中，將剩下的5張作為測試集使用，為了保證實驗的準(zhǔn)確性，重復(fù)3次實驗取平均值。網(wǎng)絡(luò)中的每個卷積后接一個Relu 的激活函數(shù)，使用samepadding使得卷積前后的圖像大小不會改變，使用帶有動量項的優(yōu)化器Adam（Adaptive Moment Estimation），并將其初始的學(xué)習(xí)率設(shè)為1E-5，使用二值交叉熵計算損失函數(shù)，并通過保存Loss最小的模型用于計算測試集的Label。

3.2 實驗結(jié)果及分析

3.2.1 實驗環(huán)境

本文實驗系統(tǒng)環(huán)境：硬件環(huán)境為1 臺PC 機(jī)，GPU 3.2 GHz；RAM 8 GB。軟件環(huán)境為操作系統(tǒng)64 位Windows10；編程語言Python；編程工具Spyder3.6，Keras，Tensorflow3.6-GPU。

3.2.2 數(shù)據(jù)增強(qiáng)及擴(kuò)展

在設(shè)置數(shù)據(jù)增強(qiáng)的基礎(chǔ)參數(shù)的過程中，直接實驗的情況下，部分?jǐn)?shù)據(jù)效果過差，為了選取合適的參數(shù)，從數(shù)據(jù)集中選取了較為明顯的血管圖用于測試，在選取增強(qiáng)方法時，分兩組做了測試實驗；一組為普通的基礎(chǔ)變換（旋轉(zhuǎn)、縮放、翻折等）和基礎(chǔ)形變（扭曲，伸縮，錯位等），該方法在訓(xùn)練集上有較好的效果，但是在測試集上不收斂；第二組使用剛性形變，效果有較為明顯的提升，可以通過深度學(xué)習(xí)方法得到訓(xùn)練結(jié)果，測試集與訓(xùn)練集的Loss較為一致。

對于設(shè)置剛性形變的幅度，先分別設(shè)置9、16、25、36個控制點(diǎn)均勻分布在圖像上，隨機(jī)設(shè)置拖拽方向和幅度，范圍在（-30，30）間，經(jīng)過實驗，驗證當(dāng)隨機(jī)點(diǎn)大于25以后，提升幅度極小，但生成圖像的時間大幅上漲，因此本文增強(qiáng)方式將控制點(diǎn)確認(rèn)為25。

再確認(rèn)控制點(diǎn)后，修改拖拽幅度，分別采用（-30，30）和（-20，20），（-10，10）的隨機(jī)數(shù)對控制點(diǎn)的橫縱坐標(biāo)進(jìn)行拉扯。實驗說明20像素的拉扯將改變圖像的形態(tài)學(xué)特征，更加接近真實形變，如圖4所示。

ROC 小于10 的情況下圖像基本沒有變化，難以發(fā)現(xiàn)特征差異，大于20 以后，圖像將失去過多特征，圖片會過去凌亂，因此將數(shù)據(jù)增強(qiáng)方式定位控制25 個控制點(diǎn)以幅度為20 像素的拉扯進(jìn)行隨機(jī)變換，每個訓(xùn)練圖像生成30張增強(qiáng)后的圖像。

3.2.3 網(wǎng)絡(luò)結(jié)構(gòu)的選取及構(gòu)建

在確認(rèn)數(shù)據(jù)增強(qiáng)參數(shù)后，對在全卷積網(wǎng)絡(luò)中分別加入聚合連接，深度加深后的網(wǎng)絡(luò)進(jìn)行比較，證明本文方法在處理小數(shù)據(jù)集上的圖像分割有較大優(yōu)勢。

經(jīng)過實驗，得到如圖5 所示的結(jié)果，其中原圖及標(biāo)注如圖5。

圖4 不同數(shù)據(jù)增強(qiáng)方式的實驗結(jié)果

圖5 不同網(wǎng)絡(luò)的分割結(jié)果

3.2.4 實驗結(jié)果分析

實驗的Loss 和Accuracy 隨Epoch 的變化，如圖6 所示，為同時使用了8層卷積塊的FCN與AMFCN的實驗結(jié)果。將使用了深度聚合模塊的結(jié)果與未使用深度聚合模塊的結(jié)果進(jìn)行對比，使用了深度聚合模塊的模型加上deep?？梢院苋菀卓闯觯褂蒙疃染酆夏K的結(jié)果比未使用聚合模塊的效果好很多。同時由于圖像本身是經(jīng)過增強(qiáng)的，但是基本特征并未增加，每一次Epoch 都使用了增強(qiáng)后的750 張圖片，所以會很快地陷入過擬合。因此，本文最后實際使用50 次Epoch，并通過快速停止模型，當(dāng)模型的val_loss 在5 次Epoch 后，依然沒有下降時，停止運(yùn)行，并保存在迭代過程中val_loss最低的參數(shù)模型結(jié)果。

為了實驗的準(zhǔn)確性，先在具有明顯形態(tài)學(xué)特征的血管上進(jìn)行分割，基礎(chǔ)FCN由于缺乏對小數(shù)據(jù)集的識別，得不出結(jié)果，深度網(wǎng)絡(luò)結(jié)構(gòu)對較淺的網(wǎng)絡(luò)的提升不明顯，在有的情況下還有負(fù)面影響，如表1 所示，AMFCN及FCN 后面的數(shù)字代表每一個卷積塊包含的卷積層數(shù)。通過多次實驗求均值獲得網(wǎng)絡(luò)的分割結(jié)果。

圖6 Unet8與AMFCN8的Loss及Accuracy的對比

表1 分割參數(shù)比較

其中分割精度為是分割準(zhǔn)確的面積占實際分割圖像中真實面積的百分比。過分割率為分割在圖像真實分割面積之外的像素點(diǎn)占分割出圖像的比率，欠分割率是指分割結(jié)果在標(biāo)注圖像參考面積之中欠缺的像素點(diǎn)占分割出圖像的比率。

通過表1可以看出對血管分割而言，網(wǎng)絡(luò)深度的增加的確可以加強(qiáng)分割效果，深度聚合網(wǎng)絡(luò)在淺層網(wǎng)絡(luò)中的應(yīng)用效果一般，甚至有負(fù)面效果，但是當(dāng)網(wǎng)絡(luò)加深后，能很好地分割圖像。

如圖7所示，選取效果最好的Unet8和AMFCN8，對比其ROC曲線分布，證明本文方法不僅效果好，而且更為穩(wěn)定。

圖7 AMFCN8與Unet8的ROC曲線

同時，比較使用了遷移模型和未使用遷移模型的結(jié)果，雖然平均分割精度并沒有太大改變，但單個圖像分割精度的波動有所下降，多次實驗的誤差有所減小。

但是直接使用隨機(jī)初始模型，每次實驗的結(jié)果都會變化，部分情況會取得較差的結(jié)果，通過使用遷移學(xué)習(xí)，生成合適的初始模型，減少學(xué)習(xí)中的隨機(jī)性。雖然大部分情況下兩者差異不大，但是使用遷移學(xué)習(xí)網(wǎng)絡(luò)模型的分割結(jié)果，其分割精度的均方差要小于未使用遷移學(xué)習(xí)的網(wǎng)絡(luò)模型，比較結(jié)果如圖8所示。

圖8 使用遷移學(xué)習(xí)模型前后對比

而對血管阻塞部分的分割則需要通過聯(lián)合網(wǎng)絡(luò)來處理，將血管分割圖像與超聲圖像共同作為輸入，對血管阻塞部分進(jìn)行分割，能有效地約束阻塞部分的分割區(qū)域，結(jié)果如圖9所示。

圖9 加入聯(lián)合網(wǎng)絡(luò)后對血管阻塞部位的分割結(jié)果

4 總結(jié)

本文提出了一種基于全卷積深度聚合遷移網(wǎng)絡(luò)的模型，為了解決小型數(shù)據(jù)集的超聲圖像難以適應(yīng)深度網(wǎng)絡(luò)的問題，通過數(shù)據(jù)增強(qiáng)，變換并拖拽圖片集，使其能很好地應(yīng)用于深度網(wǎng)絡(luò)，經(jīng)過實驗，找到合適的方法與參數(shù)，使得損失函數(shù)能獲得很好的收斂。為了避免深度網(wǎng)絡(luò)的問題，運(yùn)用深度聚合方法，將全卷積聚合神經(jīng)網(wǎng)絡(luò)中的所有卷積塊進(jìn)行深度聚合處理，通過聯(lián)合網(wǎng)絡(luò)來進(jìn)一步進(jìn)行分割。為了解決隨機(jī)初始化模型帶來的不穩(wěn)定性，使用遷移學(xué)習(xí)，通過掩碼圖像數(shù)據(jù)訓(xùn)練，產(chǎn)生合適的初始模型。通過實驗對比，本文提出的方法在小數(shù)據(jù)集的超聲圖像上有較好的效果，能滿足超聲治療的要求。