基于改進(jìn)VGGNet-16網(wǎng)絡(luò)新生兒膽紅素水平測量方法

劉國玉，王東穎，候桂軍

(唐山市婦幼保健院，河北 唐山 063000)

0 引言

在臨床上，新生兒黃疸是新生兒常見的癥狀之一，主要病因是由于在新生兒體內(nèi)膽紅素(Bilirubin)代謝水平異常，而造成新生兒血液中膽紅素水平升高，從而引起皮膚、粘膜及鞏膜發(fā)黃的現(xiàn)象。一般情況下可以分為生理性和病理性兩種[1-2]。正常情況下，當(dāng)新生兒血液中的膽紅素濃度高于2～3 mg/dL(34～51 μmol/L)時，這些部分便會呈現(xiàn)肉眼可見的其他顏色。醫(yī)學(xué)研究表明，新生兒的發(fā)病率呈現(xiàn)逐年增加的趨勢，造成不可逆轉(zhuǎn)的神經(jīng)系統(tǒng)后遺癥[3]，給普通家庭帶來了眾多的災(zāi)難。國內(nèi)外一系列研究表明，較低濃度的膽紅素足以影響到患者的神經(jīng)系統(tǒng)、聽力以及智力，早產(chǎn)兒中特別常見。所以，進(jìn)行精確的檢驗(yàn)，輔以早且有效化的治療，能夠在很大程度上防止高膽紅素血癥對患者的后遺癥發(fā)生，避免腦損傷的形成[4]，如何高效且有效監(jiān)測新生兒血液中的膽紅素水平成為了首要的問題。

檢驗(yàn)醫(yī)學(xué)領(lǐng)域，使用特定的儀器和經(jīng)皮膽紅素值測定兩種主要的方法來測定新生兒血清總膽紅素值，前者測量方法雖然精確，但是需要采集新生兒的血液，造成有創(chuàng)傷口，直接增加了新生兒的痛苦，被父母所排斥；后者測量方法雖然操作便捷，一旦新生兒出院后，無法實(shí)時在居家的環(huán)境下檢測新生兒身體中較高的膽紅素值，無法做到及時有效的干預(yù)治療[5-6]。因此需要選擇一種合理的方法，在不同的環(huán)境下均能實(shí)時便捷檢測出新生兒血清中的膽紅素水平，在不造成新生兒創(chuàng)口的同時，也要能保證檢測的準(zhǔn)確率。在哪吒保APP的啟發(fā)下，可以借助卷積神經(jīng)網(wǎng)絡(luò)(CNN)[7]對新生兒圖像特征進(jìn)行識別，與樣本數(shù)據(jù)進(jìn)行比對，從而分析得出新生兒膽紅素的含量，實(shí)現(xiàn)便捷且高效地對新生兒膽紅素水平的監(jiān)控。

本文提出了一種改進(jìn)的VGGNet-16網(wǎng)絡(luò)[8]在新生兒膽紅素水平準(zhǔn)確性研究算法，針對本院收集的新生兒膽紅素特征照片以及醫(yī)療檢測的記錄，將這些特征圖片和膽紅素含量指標(biāo)進(jìn)行分類，然后再利用VGGNet-16網(wǎng)絡(luò)的圖像處理能力，得到這些新生兒的特征，借助全連接網(wǎng)絡(luò)實(shí)現(xiàn)對特征圖像的分類，被分到某個類別的新生兒特征圖像會具備此類特征圖像的膽紅素水平值范圍，給醫(yī)療人員提供一個有效的參考值。

1 算法構(gòu)建

借助卷積神經(jīng)網(wǎng)絡(luò)對圖像的特征提取，識別出新生兒膽紅素照片的不同特征，然后使用全連接網(wǎng)絡(luò)對這些不同的特征進(jìn)行分類研究，從而給出測試的樣本數(shù)據(jù)對應(yīng)的類別膽紅素水平的屬性值。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的主要核心是卷積核，卷積核是由特定大小組成的特征加權(quán)小區(qū)域，可以有效對圖像的特征進(jìn)行提取，卷積核的幾個重要的特征包括卷積核的大小，卷積核的通道數(shù)以及卷積核的運(yùn)算法則，包括是否進(jìn)行邊緣填充和卷積核的步長。單純從理論的角度看待卷積核的通道數(shù)，其直接作用于上層圖像的特征矩陣，能得到相應(yīng)通道數(shù)的特征圖，一般情況下，提取得到的特征圖越多，特征空間的維度會越大，表明學(xué)習(xí)到的圖像特征越多，得到的最終結(jié)果更加準(zhǔn)確。但是另一方面，會增加卷積模型的參數(shù)個數(shù)，導(dǎo)致模型更加復(fù)雜，訓(xùn)練所需的計(jì)算量也更加龐大，有時甚至導(dǎo)致過擬合的現(xiàn)象，因此并不是卷積核的數(shù)量越多越好，而是要根據(jù)圖像的特征來確定卷積核的數(shù)量。

圖1 圖像卷積示意圖

從圖1中可以看出，對于卷積的運(yùn)算是將對應(yīng)的數(shù)值與卷積核各位對應(yīng)相乘并求取總和。經(jīng)過卷積運(yùn)算后的數(shù)值特征矩陣不能直接用于下一階段的處理，還需要進(jìn)行池化[9]操作。所謂的池化操作，就是對經(jīng)過卷積核運(yùn)算后的特征圖小鄰域內(nèi)進(jìn)行下采樣得到新的特征，這些新的特征在減少模型參數(shù)的情況下(特征維度降低，參數(shù)也會降低)，也增強(qiáng)了相關(guān)的特征，使得最終的特征能準(zhǔn)確表征圖像的某些不變性，比對旋轉(zhuǎn)、伸縮和平移等特征，池化的過程本質(zhì)上是一個降維的過程。常用的池化操作分為均值采樣(mean- pooling)、最大采樣(max - pooling)，一般情況下均值采樣可以減小鄰域大小受限造成的估計(jì)值方差增大造成的特征提取不準(zhǔn)確的弊端，更能保留圖像的背景信息；而最大采樣可以減小卷積層參數(shù)誤差造成估計(jì)均值的偏移，使得特征更能保留圖像的紋理特征，由于本文在特征紋理上沒有太多的要求，所以在池化的操作上采用均值采樣(mean-pooling)操作。

1.2 激活函數(shù)

為了使得神經(jīng)網(wǎng)絡(luò)模型具備非線性映射的特點(diǎn)，需要在神經(jīng)網(wǎng)絡(luò)模型中使用激活函數(shù)，常用的激活函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)等[10]，其中Sigmoid和Tanh函數(shù)在BP神經(jīng)網(wǎng)絡(luò)中運(yùn)用廣泛，而ReLU函數(shù)被廣泛應(yīng)用于深度學(xué)習(xí)中。假設(shè)一個神經(jīng)單元的激活函數(shù)為h(i)，其中i表示隱含層單元的個數(shù)，w(i)表示隱含單元的權(quán)值，那么ReLU函數(shù)的表達(dá)式如公式(1)所示。

(1)

ReLU函數(shù)的表示如圖2所示。

圖2 ReLU函數(shù)的圖像

經(jīng)過大量的深度學(xué)習(xí)研究表明，ReLU函數(shù)具有非飽和、線性的特征，能夠?qū)蝹?cè)的特征值進(jìn)行抑制，對另一側(cè)的邊界興奮，分散了神經(jīng)單元的激活性，相比Sigmoid和Tanh函數(shù)[10]在卷積神經(jīng)網(wǎng)絡(luò)中性能優(yōu)異。

1.3 全連接神經(jīng)網(wǎng)絡(luò)

在對CNN網(wǎng)絡(luò)提取的特征圖像進(jìn)行分類的時候，需要對已經(jīng)提取得到的特征值進(jìn)行全連接網(wǎng)絡(luò)的分類處理，全連接網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖3所示，其輸入是已經(jīng)得到的圖像特征值，輸出是處理分類的信息。

圖3 全連接網(wǎng)絡(luò)層

圖3中的隱藏層包含了2層的全連接神經(jīng)網(wǎng)絡(luò)模型，本文構(gòu)造的BP神經(jīng)網(wǎng)絡(luò)由1個輸入層，3個隱藏層和1個輸出層組成。對于第二層神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)節(jié)點(diǎn)來說，對于第一層輸入的數(shù)據(jù)，經(jīng)過線性變換，線性變換的公式為：

(2)

若隱藏層不采用激活函數(shù)，構(gòu)造的全連接神經(jīng)網(wǎng)絡(luò)模型將會是一個線性模型，只是簡單具備數(shù)據(jù)的線性擬合能力，無法具備逼近真實(shí)的分類函數(shù)能力，本文選用的激活函數(shù)為Sigmoid激活函數(shù)[10]，公式如(3)所示。

(3)

公式(2)可以將線性轉(zhuǎn)化的實(shí)數(shù)轉(zhuǎn)化到0～1之間的輸出，具體來說也就是將越大的負(fù)數(shù)轉(zhuǎn)化到越接近0，越大的正數(shù)轉(zhuǎn)化到越靠近1。

1.4 改進(jìn)的VGGNet-16網(wǎng)絡(luò)算法

使用的CNN神經(jīng)網(wǎng)絡(luò)模型中流行的VGGNet-16作為網(wǎng)絡(luò)的主體，因?yàn)槠渥R別的精度較高，適合用于圖像特征的識別，在此之上進(jìn)行改進(jìn)，將最大池化層原則更換為平均池化原則，主要是為了更多發(fā)現(xiàn)新生兒照片中的背景顏色特征，降低圖像紋理特征的干擾。如圖4所示，是本文選用的網(wǎng)絡(luò)模型。

圖4 算法采用模型

如圖4所示，“Conv3-64”表示采用的是尺寸為3*3的卷積神經(jīng)網(wǎng)絡(luò)，深度為64，“MeanPool2”表示采用的是平均池化的策略，而且池化層的尺寸大小為2*2，這樣可以有效降低特征維度的長寬尺寸；進(jìn)一步分析圖4可以得到，采用這樣的神經(jīng)網(wǎng)絡(luò)模型，深度越來越深，而特征維度的長和寬在減少，有利于提取新生兒膽紅素圖像的更多特征。

采用VGGNet-16網(wǎng)絡(luò)應(yīng)用于圖像分類任務(wù)時，需要在后面的全連接網(wǎng)絡(luò)層連接一個Softmax分類器[11]，用于生成對圖像分類標(biāo)簽的預(yù)測，結(jié)合本文的實(shí)際應(yīng)用場景，本文的模型中將會分為6類。在Softmax回歸中，解決的是多分類問題(相對于logistic回歸解決的二分類問題)，標(biāo)簽值y可以取k個不同的值，每個標(biāo)簽是一個獨(dú)立的類別。因此，對于不同的訓(xùn)練集{(x(1),y(1)),...,(x(m),y(m))}，最終分類的結(jié)果都會得到y(tǒng)(i)∈{1,2,...,k}的不同概率，用p(y=j|x)表示樣本相對不同分類標(biāo)簽的而不同概率，輸出是一個k維的具有分類信息的向量(概率和為1)，使用hθ(x)表示這k維分類特征，其表達(dá)公式如公式(4)所示。

(4)

公式(4)中使用θ符號表示模型的全部參數(shù)，θ是由k×(n+1)的矩陣組成的，該矩陣是通過θ1,θ2,...,θk參數(shù)進(jìn)行堆疊得到的，如公式(5)所示。

(5)

由上式子可得樣本x(i)屬于j的概率公式如(6)所示。

(6)

當(dāng)每個樣本所屬類別的條件概率p(y=y(i)|x(i);θ)都最大時，Softmax的分類識度是最高的，此時等價(jià)于最大化如公式(7)所示的似然函數(shù)。

(7)

為了降低計(jì)算量和防止溢出，對似然函數(shù)取對數(shù)，并適當(dāng)變形得得到公式(8)。

(8)

其中：1{·}稱為指示性函數(shù)，表達(dá)的意思是，當(dāng){true}時，其值為1，否則為0。于是最大化似然函數(shù)L(θ|x)可以轉(zhuǎn)化為最小化代價(jià)函數(shù)J(θ)的問題，這也是深度學(xué)習(xí)中常使用的轉(zhuǎn)化方法。對于求解最小化J(θ)的方法，常用的就是梯度下降法，給出使得J(θ)滿足極小值時參數(shù)θ的值，但是理論上極小值很難求解。代價(jià)函數(shù)J(θ)的梯度如公式(9)所示。

(9)

(10)

在公式(10)中之所以加上第二項(xiàng)，是因?yàn)樗鼤ζ蟮臋?quán)重值進(jìn)行一定程度的懲罰，通常又稱為權(quán)值衰減項(xiàng)，通過對超參數(shù)λ值的調(diào)控，可以降低權(quán)重值的數(shù)量級，防止訓(xùn)練模型過擬合。

使用反向傳播算法進(jìn)行梯度的運(yùn)算，借助梯度信息對模型參數(shù)進(jìn)行更新，主要的方法有隨機(jī)梯度下降法[12](stochastic gradient decent, SGD),自適應(yīng)矩估計(jì)法[13](adaptive moment estimation，Adam)，本文使用的是SGD算法，通常情況下訓(xùn)練數(shù)據(jù)集會比較大，如何一次性裝載所有訓(xùn)練樣本進(jìn)行訓(xùn)練，往往會出現(xiàn)內(nèi)存溢出問題，因此隨機(jī)抽取數(shù)據(jù)集的一個小樣本數(shù)據(jù)集[14](mini-batch，數(shù)量為N<<|D|進(jìn)行訓(xùn)練是很有必要的，具體的代價(jià)函數(shù)如公式(11)所示。

(11)

隨機(jī)梯度下降法每次輸入一個微型集(mini-batch)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,由于每次的微型集都是隨機(jī)選取的，所以每次迭代的代價(jià)函數(shù)會不同，當(dāng)前bacth的梯度對網(wǎng)絡(luò)參數(shù)的更新影響較大，為了減少這種影響，本文選用引入動量系數(shù)對傳統(tǒng)的隨機(jī)梯度下降法進(jìn)行改進(jìn)，更新的時候在一定程度上保留之前更新的方向，同時利用當(dāng)前batch的梯度微調(diào)最終的更新方向，這樣在一定程度上增加了模型的穩(wěn)定性，促進(jìn)模型學(xué)習(xí)地更快，具備一定的消除局部最優(yōu)解的能力。加動量的隨機(jī)梯度下降算法迭代公式如公式(12)～(13)所示。

Vt+1=μVt-η▽J(θt)

(12)

θt+1=θt+Vt+1

(13)

其中:Vt是上一次的權(quán)值更新量，μ為動量系數(shù)，表示要在多大程度上保留原來的更新方向，這個值在0～1之間，η為學(xué)習(xí)率。值得注意的是，本文還使用了DropOut策略[2]進(jìn)行優(yōu)化，Dropout通過隨機(jī)修改神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來實(shí)現(xiàn)的，屬于神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的優(yōu)化方法，核心思想是在訓(xùn)練過程中隨機(jī)隱藏部分神經(jīng)單元，使之不參與運(yùn)算，保留它們的權(quán)重值，暫時不進(jìn)行更新操作，其他神經(jīng)單元進(jìn)行正常的更新。在實(shí)際的訓(xùn)練過程中，Dropout優(yōu)化策略采用(1-p)的概率將隱含的神經(jīng)單元輸出值設(shè)置為0，在反向傳播更新權(quán)值階段，不再更新與該節(jié)點(diǎn)相連的權(quán)值，Dropout優(yōu)化策略圖如圖5所示。

圖5 Dropout優(yōu)化策略示意圖

本文提出的改進(jìn)的VGGNet-16網(wǎng)絡(luò)新生兒丹紅水平準(zhǔn)確性研究算法選用的DropOut的比例值是0.5。

2 實(shí)際應(yīng)用

2.1 數(shù)據(jù)準(zhǔn)備

為了將已經(jīng)采樣得到的新生兒膽紅素檢測照片(主要是心臟部位的皮膚照片)與通過儀器設(shè)備測定的膽紅素含量進(jìn)行分類，從已有的本院數(shù)據(jù)庫中導(dǎo)出了1 300份有關(guān)的數(shù)據(jù)條例，借助文獻(xiàn)[15]的部分理論結(jié)果，將數(shù)據(jù)分為6大類，每大類的具體信息如表1所示。

表1 訓(xùn)練數(shù)據(jù)的分類表

將本院已有的新生兒醫(yī)療記錄信息供1 300條數(shù)據(jù)按照表1的分類方式進(jìn)行分類，然后按照訓(xùn)練集：測試集的7:3的比例按照十字交叉驗(yàn)證[17]的方法對沒個類別進(jìn)行數(shù)據(jù)的隨機(jī)選取與訓(xùn)練，每個類別中剩下的30%比例的數(shù)據(jù)做為測試集進(jìn)行精確分類的測試集，隨機(jī)進(jìn)行10次試驗(yàn)，取10次驗(yàn)證數(shù)據(jù)集的平均值作為驗(yàn)證的準(zhǔn)確率，這樣做的好處是可以充分利用小數(shù)量的訓(xùn)練數(shù)據(jù)集，克服模型泛化能力較差的弊端，取10次中驗(yàn)證數(shù)據(jù)最好的網(wǎng)絡(luò)作為新生兒膽紅素準(zhǔn)確性研究的算法模型。

2.2 試驗(yàn)結(jié)果

經(jīng)過一系列的試驗(yàn)進(jìn)行驗(yàn)證，得到的10次的十字交叉驗(yàn)證的實(shí)驗(yàn)數(shù)據(jù)集如表2所示。

表2 實(shí)驗(yàn)結(jié)果的驗(yàn)證精確度

由表2可以看出，基于VGGNet-16網(wǎng)絡(luò)提出的改進(jìn)的VGGNet-16網(wǎng)絡(luò)新生兒膽紅素水平準(zhǔn)確性研究算法在分類的準(zhǔn)確率上最高可以達(dá)到97.69%，平均的分類準(zhǔn)確率為95.56%，基本上完成了根據(jù)新生兒心臟部位表皮圖像特征進(jìn)行膽紅素水平測試的任務(wù)，根據(jù)分類的不同類別可以給出一個新生兒膽紅素水平值的參考數(shù)據(jù)值，在保證不傷害新生兒健康的情況下，做到了檢測準(zhǔn)確、方便，滿足實(shí)時分析的需求。

3 結(jié)束語

提出了一種改進(jìn)的VGGNet-16網(wǎng)絡(luò)在新生兒膽紅素水平準(zhǔn)確性研究的算法，該算法借助卷積神經(jīng)網(wǎng)絡(luò)對于圖像特征提取方面的優(yōu)勢，對已有的新生兒醫(yī)療照片進(jìn)行特征提取，然后借助全連接神經(jīng)網(wǎng)絡(luò)對這些提取的特征值進(jìn)行6個種類的分類，每個類別中標(biāo)注了新生兒膽紅素檢測值的范圍，作為檢測水平值的參考；為了充分利用已有的小數(shù)據(jù)新生兒醫(yī)療數(shù)據(jù)，采用十字交叉驗(yàn)證的方法進(jìn)行訓(xùn)練與驗(yàn)證。經(jīng)驗(yàn)證，該算法在新生兒膽紅素水平照片分類的準(zhǔn)確率上最高可達(dá)97.69%，平均準(zhǔn)確率達(dá)95.56%，達(dá)到了實(shí)用的水平。

本文存在著訓(xùn)練數(shù)據(jù)小的弊端，在未來的算法改進(jìn)過程中，應(yīng)該加大與其他醫(yī)院的新生兒膽紅素醫(yī)療數(shù)據(jù)的交流，爭取利用大量數(shù)據(jù)使得算法準(zhǔn)確率更高，更具泛化性。