基于SIM-UNet++的眼底彩照視盤分割方法的研究

祝來李

（西南民族大學(xué)電子信息學(xué)院，成都 610041）

0 引言

青光眼和病理性近視是常見的眼科疾病，其對(duì)視力造成的傷害是不可逆的。隨著AI 醫(yī)療的不斷發(fā)展，專家們對(duì)預(yù)防眼科疾病也有了更加科學(xué)的方法。例如，可以通過在眼底彩照中觀察杯盤比大小是否存在擴(kuò)大來診斷青光眼疾病，其中杯盤比是判斷青光眼的重要指標(biāo)。目前杯盤比通常是由眼科醫(yī)生依靠多年的經(jīng)驗(yàn)和觀察眼底彩色照片獲得。然而人工觀測(cè)存在許多缺點(diǎn)，人工篩查不但耗時(shí)，而且對(duì)醫(yī)生的專業(yè)程度要求很高，所以需要自動(dòng)篩查方法。因此，視盤的定位和分割對(duì)于眼底疾病智能診斷是至關(guān)重要的。

本文基于UNet++模型提出了SimAM-UNet++，其是一種無參注意力機(jī)制的UNet++網(wǎng)絡(luò)。本文的創(chuàng)新點(diǎn)如下：①在UNet++網(wǎng)絡(luò)中融入無參注意力機(jī)制，在不增加參數(shù)量的基礎(chǔ)上提升網(wǎng)絡(luò)的性能。②采用直方圖均衡化的方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，通過改變圖片區(qū)域的顏色和插值結(jié)果來增強(qiáng)對(duì)比度，以此凸顯視盤區(qū)域；采用數(shù)據(jù)增強(qiáng)的技術(shù)對(duì)數(shù)據(jù)進(jìn)行了數(shù)據(jù)增量操作，降低模型訓(xùn)練過擬合的風(fēng)險(xiǎn)，提高分割性能。③采用DICE loss，可以減少過擬合。

1 相關(guān)工作

隨著深度人工智能的發(fā)展，深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用也越來越廣泛，并且能夠幫助人們解決一些實(shí)際的問題。在本節(jié)中，我們回顧了利用人工智能技術(shù)對(duì)眼底彩照視盤進(jìn)行分割的研究結(jié)果。

Frage 等［1］介紹了一種多階段的方法，基于傳統(tǒng)算法完成對(duì)視盤的分割，首先檢測(cè)出整體的亮斑區(qū)域，然后再通過霍夫變換細(xì)化亮斑區(qū)域，得到具體位置。Welfer 等［2］提出了一種基于血管結(jié)構(gòu)模型的自適應(yīng)方法。該方法第一步確定視盤的區(qū)域，然后通過血管的特征來判斷綠色通道的前景和背景，在背景區(qū)域中檢測(cè)視盤的具體位置。Aquino 等［3］提出了一種視神經(jīng)盤分割算法，該方法采用投票法確定最終結(jié)果。首先利用形態(tài)學(xué)算法去除血管部分，然后通過邊緣檢測(cè)等處理得到視神經(jīng)盤邊界候選的二元掩膜，然后再通過霍夫變換計(jì)算視神經(jīng)盤的圓形近似區(qū)域。

Tjandrasa 等［4］通過分割活動(dòng)輪廓的方法，首先對(duì)輸入圖片進(jìn)行灰度處理，然后再通過霍夫變換定位視神經(jīng)盤的位置。Lupascu 等［5］通過擬合與視神經(jīng)盤邊界相似度最高的圓來定位視神經(jīng)盤的位置。Yin 等［6］則是通過建模的方法確定視神經(jīng)盤的形狀，然后通過近似圓來確定視神經(jīng)盤的圓心和直徑，確定視神經(jīng)盤的邊界，最后對(duì)視神經(jīng)盤的邊界進(jìn)行回歸。Cheng［7］等提出了一種基于消除視神經(jīng)盤旁萎縮的視神經(jīng)盤分割方法。

Zhang［8］等介紹了一種基于一維投影的方式，分別計(jì)算視神經(jīng)盤的水平位置信息和垂直位置信息，從而確定視盤的最終位置。Youssif 等［9］提出了一種基于濾波器的視神經(jīng)盤的分割方法，利用原圖紅色通道的信息得到mask，然后通過形態(tài)學(xué)處理方法對(duì)光照進(jìn)行處理，分割出血管的部分，根據(jù)血管的方向進(jìn)行濾波匹配，從而實(shí)現(xiàn)對(duì)視神經(jīng)盤的分割。牛笛［10］提出了一種基于卷積網(wǎng)絡(luò)的視盤定位及分割方法，將顯著圖和卷積網(wǎng)絡(luò)相結(jié)合提高定位準(zhǔn)確性，通過血管去除和卷積網(wǎng)絡(luò)結(jié)合進(jìn)行視盤的分割。Maninis 等［11］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的視神經(jīng)盤分割方法，并結(jié)合遷移學(xué)習(xí)，取得了不錯(cuò)的效果。

2 網(wǎng)絡(luò)模型

2.1 SimAM

注意力機(jī)制是在機(jī)器學(xué)習(xí)模型中嵌入的一種特殊結(jié)構(gòu)，用來自動(dòng)學(xué)習(xí)和計(jì)算輸入數(shù)據(jù)對(duì)輸出結(jié)果的貢獻(xiàn)的大小，注意力機(jī)制能夠使模型更加關(guān)注有用的信息，對(duì)次要信息做一定程度的抑制?，F(xiàn)有的注意力方法有很多，通道式注意力和空間式注意力，如圖1 所示，分別是1-D 通道注意力，2-D 空間注意力和3-D 權(quán)重注意力的比較，1-D 和2-D 方法都是針對(duì)一個(gè)通道中的所有神經(jīng)元或一個(gè)空間中的所有神經(jīng)元位置相同，以至于他們不能有效地計(jì)算真正的3-D 權(quán)重。3-D 權(quán)重注意力就是賦予每一個(gè)像素不同的權(quán)重，使得模型能夠更加高效地提取特征。

圖1 不同注意力機(jī)制比較

本文引入了一種3-D 權(quán)重注意力，嵌入在UNet++網(wǎng)絡(luò)中，在不增加參數(shù)量的情況下有效提高模型的特征提取能力。SimAM 是一種即插即用的無參注意力機(jī)制，與現(xiàn)有注意力機(jī)制不同的是，它可以為中間隱藏層推斷出一個(gè)3-D的注意力權(quán)重，并且不需要向原始網(wǎng)絡(luò)添加參數(shù)。SimAM 以一些著名的神經(jīng)科學(xué)理論為基礎(chǔ)，信息量最大的神經(jīng)元通常是那些表現(xiàn)出與周圍環(huán)境不同的放電模式的神經(jīng)元，并且活躍的神經(jīng)元也可能抑制周圍神經(jīng)元的活動(dòng)，這種現(xiàn)象叫做空間抑制。視盤分割過程中，需要UNet++網(wǎng)絡(luò)對(duì)眼底彩照?qǐng)D片進(jìn)行特征提取，此時(shí)我們希望提取視盤的有效特征，對(duì)于與視盤無關(guān)的信息，希望網(wǎng)絡(luò)給予更少的關(guān)注，這正符合SimAM 注意力機(jī)制的理論。SimAM 為每個(gè)神經(jīng)元定義了一個(gè)能量函數(shù)：

2.2 SimAM-UNet++

UNet++網(wǎng)絡(luò)是在UNet 網(wǎng)絡(luò)上增加了跳層連接而成，跳層連接的特點(diǎn)就是能夠?qū)\層特征和深層特征進(jìn)行融合，因?yàn)闇\層特征代表的是圖片的具體信息，而深層特征代表的則是圖像的抽象信息，融合后的特征能夠較為全面地表示原圖中的信息。

UNet++在UNet 直接連接的基礎(chǔ)上增加了類似于Dense結(jié)構(gòu)的卷積層，并融合了下一階段卷積的特征，如圖2 所示，X（0，0）、X（1，0）、X（2，0）、X（3，0）、X（4，0），每一個(gè)部分都代表了一個(gè)block，block 的結(jié)構(gòu)依次是ReLU 層、Conv層、BN 層、Conv 層和BN 層。對(duì)各層block 的輸出進(jìn)行上采樣，然后和對(duì)應(yīng)的淺層特征融合。采用這種密集連接方法提取的特征既包含了有全局感受野的抽象特征，又融入了具體細(xì)節(jié)的局部特征。

圖2 Unet++網(wǎng)絡(luò)結(jié)構(gòu)

SimAM-UNet++網(wǎng)絡(luò)是在UNet++中融入了SimAM 注意力機(jī)制。由于視盤分割任務(wù)要求網(wǎng)絡(luò)的深度不宜過深，因?yàn)檫^深的網(wǎng)絡(luò)會(huì)導(dǎo)致圖像的細(xì)節(jié)特征丟失嚴(yán)重。為了進(jìn)一步提高特征提取的有效性，我們?cè)诿恳粋€(gè)下采樣的block 中都添加了SimAM 注意力結(jié)構(gòu)，如圖3 所示，添加SimAM 之后block 的結(jié)構(gòu)依次是ReLU 層、Conv 層、BN 層、Conv 層、BN 層 和SimAM 層。由于SimAM 注意力機(jī)制是基于求解能量函數(shù)來賦予每個(gè)神經(jīng)元不同的重要性，所以添加SimAM注意力機(jī)制后的網(wǎng)絡(luò)在不增加參數(shù)量的情況下能提高網(wǎng)絡(luò)的學(xué)習(xí)能力。在視盤分割任務(wù)中，隨著模型的訓(xùn)練輪次增加，網(wǎng)絡(luò)能夠?qū)W到更多和視盤相關(guān)的特征。

圖3 SimAM-UNet++網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)增強(qiáng)

本文使用的是iChallenge-PM 數(shù)據(jù)集，如圖4所示，訓(xùn)練集為800 張彩色圖，驗(yàn)證集為200 張彩色圖，測(cè)試集為200張彩色圖。由于訓(xùn)練的數(shù)據(jù)樣本集較少可能會(huì)導(dǎo)致模型過擬合和模型的魯棒性不夠的問題。采用數(shù)據(jù)增強(qiáng)［12-13］技術(shù)在一定程度上解決了這個(gè)問題，有效提高模型的泛化能力。

圖4 眼底彩照數(shù)據(jù)集

3.2 直方圖均衡化

直方圖均衡化是一種增強(qiáng)圖像對(duì)比度的方法，其主要方法是將一幅圖像的直方圖分布變成近似均勻分布，從而增強(qiáng)圖像的對(duì)比度。如圖4 所示，在iChallenge-PM 數(shù)據(jù)集中，可以觀察到圖像的對(duì)比度不是很強(qiáng)，某些圖中視盤的肉眼可見性不明顯，這是由于視盤的像素值和視盤周圍的像素值比較接近，都集中在某一范圍內(nèi)，這樣會(huì)導(dǎo)致網(wǎng)絡(luò)在學(xué)習(xí)視盤特征時(shí)比較困難。為了解決這個(gè)問題，本文使用直方圖均衡化的方法，通過增強(qiáng)圖像的對(duì)比度使得圖像中的像素值分布更加廣泛，從而使得視盤的特征更加明顯，如圖5所示，這樣有利于網(wǎng)絡(luò)學(xué)習(xí)到與視盤相關(guān)的特征。

圖5 直方圖均衡化

3.3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)價(jià)分割結(jié)果，本文采用醫(yī)學(xué)圖像分割常用的評(píng)價(jià)指標(biāo)Dice 系數(shù)，Dice 系數(shù)是表示兩幅大小相同的圖像相似程度的一種度量，Dice 系數(shù)越大，說明兩幅圖像的相似程度就越高，其公式如下：

其中：A表示輸入圖像通過模型分割之后的結(jié)果；B表示輸入圖像對(duì)應(yīng)的掩膜；|A∩B|表示分割圖與掩膜重疊的部分；|A|+ |B|表示分割圖與其掩膜的總量。表1所示為各網(wǎng)絡(luò)模型的Dice系數(shù)。

實(shí)驗(yàn)主要分為訓(xùn)練和測(cè)試兩個(gè)階段，首先在訓(xùn)練集上進(jìn)行訓(xùn)練，通過訓(xùn)練集的損失、驗(yàn)證集的損失和驗(yàn)證集的準(zhǔn)確率來保存最優(yōu)權(quán)重，然后利用訓(xùn)練好的最優(yōu)權(quán)重在測(cè)試集中進(jìn)行模型測(cè)試，得到分割結(jié)果。圖6所示為視盤分割的二值圖，圖7為分割的三通道圖。

圖6 視盤分割二值圖

圖7 視盤分割三通道圖

為了證明模型的有效性，本文先后做了多組對(duì)比試驗(yàn)，主要包括以下內(nèi)容：①利用Unet網(wǎng)絡(luò)做視盤的分割；②利用SimAM-Unet 網(wǎng)絡(luò)做視盤的分割；③利用UNet++做視盤的分割；④利用SimAM-UNet++做視盤的分割。每組實(shí)驗(yàn)分別從不同的指標(biāo)來對(duì)分割結(jié)果進(jìn)行比較。

從表1 可以看出，添加SimAM 注意力之后的UNet和UNet++網(wǎng)絡(luò)均比不添加的網(wǎng)絡(luò)效果更好，并且SimAM-UNet++網(wǎng)絡(luò)的眼底彩照視盤分割效果在一定程度上優(yōu)于其他三種模型，這進(jìn)一步驗(yàn)證了SimAM-UNet++模型的有效性。

表1 參數(shù)量

為了進(jìn)一步觀察分割的結(jié)果，本文從損失的角度記錄了驗(yàn)證集上100 個(gè)epoch 對(duì)應(yīng)的損失值，繪制成曲線，如圖8 所示。從圖8 可以看出，添加注意力機(jī)制的SimAM-UNet++網(wǎng)絡(luò)比UNet++網(wǎng)絡(luò)收斂更快，并且SimAM-UNet++的損失能夠收斂到更小。

圖8 損失函數(shù)

SimAM-UNet++在不增加模型參數(shù)量的基礎(chǔ)上加速模型的收斂，如表1 所示，SimAM 是基于求解能量函數(shù)來得到每個(gè)神經(jīng)元的權(quán)重，而不是通過深度學(xué)習(xí)的方式，這樣有效避免了網(wǎng)絡(luò)冗余的情況，增加了模型的效率。

4 結(jié)語

本文提出了一種新型的眼底視盤分割模型SimAM-UNet++網(wǎng)絡(luò)，在不增加參數(shù)量的情況下，有效提高模型的效率和魯棒性。對(duì)于一些較為復(fù)雜的眼底彩照?qǐng)D片，一方面使用SimAM注意力機(jī)制后，特征提取網(wǎng)絡(luò)提取的特征更加精確，為上采樣得到準(zhǔn)確的分割圖提供了保障；另一方面參數(shù)量的大小也會(huì)限制算法最終的落地效率，SimAM 無參注意力機(jī)制能夠?yàn)閁Net++網(wǎng)絡(luò)提供更強(qiáng)的性能。通過數(shù)據(jù)增強(qiáng)技術(shù)對(duì)眼底彩照?qǐng)D片執(zhí)行預(yù)處理操作，在推理過程中有明顯提升視盤分割的效果。