周?chē)窠?jīng)MicroCT圖像中神經(jīng)束區(qū)域的自動(dòng)分離

李 芳， 鐘映春， 戚 劍， 羅 鵬

1.廣東財(cái)經(jīng)大學(xué)信息學(xué)院，廣州510300

2.廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣州510006

3.中山大學(xué)附屬第一醫(yī)院顯微外科，廣州510085

4.深圳市第六人民醫(yī)院骨科，深圳518000

四肢周?chē)窠?jīng)是人體軀干與四肢聯(lián)系的主要信號(hào)通道，起傳入感覺(jué)沖動(dòng)和發(fā)出運(yùn)動(dòng)指令的作用.在目前醫(yī)療水平下，如果周?chē)窠?jīng)損傷則主要采用直接縫合手術(shù)進(jìn)行修復(fù)，這種修復(fù)方法的愈后效果差、致殘率高.如何提高治療效果一直是外科臨床上的難題.如果能把相同類(lèi)型的神經(jīng)功能束對(duì)接，就很有可能恢復(fù)原來(lái)神經(jīng)的大部分功能.對(duì)周?chē)窠?jīng)進(jìn)行三維重建有利于對(duì)接相同類(lèi)型的神經(jīng)功能束.在周?chē)窠?jīng)三維重建過(guò)程中的關(guān)鍵步驟之一是從神經(jīng)切片圖像中自動(dòng)分離神經(jīng)束區(qū)域.

通過(guò)制備神經(jīng)束的物理切片來(lái)構(gòu)建神經(jīng)束三維模型是其三維重建的主要方法之一.文獻(xiàn)[1-2]通過(guò)采用制備物理切片實(shí)現(xiàn)了神經(jīng)與血管的三維重建.文獻(xiàn)[3]對(duì)手臂肘窩部和手腕部的正中神經(jīng)進(jìn)行切片制備、染色、拍照、圖像拼接，并采用GVF-Snake 方法自動(dòng)提取了神經(jīng)束輪廓，實(shí)現(xiàn)了短段周?chē)窠?jīng)束的三維重建.但若采用制備物理切片的方法進(jìn)行神經(jīng)束三維重建，則效率低下，配準(zhǔn)和拼接精度不足，難以進(jìn)行長(zhǎng)段周?chē)窠?jīng)束的三維重建.

超高精度MicroCT 是一種能顯示生理組織內(nèi)部形態(tài)的新方法，在采用超高精度MicroCT研究神經(jīng)解剖結(jié)構(gòu)方面取得了許多進(jìn)展.文獻(xiàn)[4]采用MicroCT 對(duì)神經(jīng)血管進(jìn)行掃描，以確定血液供給對(duì)椎體發(fā)育的影響.文獻(xiàn)[5]使用金屬鋨的化合物對(duì)老鼠的坐骨神經(jīng)進(jìn)行染色后將其固定在聚合物支架上，并在MicroCT 設(shè)備上采用低劑量的X 光照射，可以清晰顯示坐骨神經(jīng)內(nèi)部的神經(jīng)束，觀(guān)察神經(jīng)內(nèi)部血管對(duì)神經(jīng)的供血和神經(jīng)束的再生，實(shí)現(xiàn)了坐骨神經(jīng)的三維重建.針對(duì)此研究，文獻(xiàn)[6]認(rèn)為該方法的支架太大會(huì)導(dǎo)致無(wú)法進(jìn)行組織學(xué)分析，于是使用碘給大鼠坐骨神經(jīng)進(jìn)行染色，利用MicroCT 掃描坐骨神經(jīng)標(biāo)本，然后用硫代硫酸鈉去除碘并以鈦合金導(dǎo)管引導(dǎo)神經(jīng)束使其可以正常再生.但是坐骨神經(jīng)是人體中最為粗大的神經(jīng)，其直徑可以達(dá)到10 mm 以上，而周?chē)窠?jīng)普遍纖細(xì)，直徑通常只有2～3 mm，因此該方法不適用于周?chē)窠?jīng)的三維重建.此外，文獻(xiàn)[7-8]先后研究了MicroCT 掃描周?chē)窠?jīng)的染色方法，得到了包含結(jié)締組織的神經(jīng).

針對(duì)周?chē)窠?jīng)MicroCT 序列掃描圖像中的神經(jīng)束區(qū)域，本文提出了一種自動(dòng)分離神經(jīng)束區(qū)域的方法.在手工標(biāo)注第1 幅掃描圖像中的神經(jīng)束輪廓和非輪廓區(qū)域的基礎(chǔ)上，采用稀疏自動(dòng)編碼機(jī)方法（sparse auto-encoder,SAE）提取標(biāo)注區(qū)域的特征以得到訓(xùn)練集，并訓(xùn)練第1 個(gè)神經(jīng)網(wǎng)絡(luò)；再采用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)待識(shí)別區(qū)域進(jìn)行處理，得到第2 幅圖像的神經(jīng)束輪廓，并完成神經(jīng)束區(qū)域分離；隨后用第2 幅圖像中的神經(jīng)束輪廓作為訓(xùn)練集訓(xùn)練第2 個(gè)神經(jīng)網(wǎng)絡(luò)，并用于識(shí)別第3 幅圖像中的神經(jīng)束輪廓.不斷重復(fù)該過(guò)程，直至全部圖像處理完成.

1 總體流程

從MicroCT 圖像中完成神經(jīng)束區(qū)域分離的流程如圖1所示.從圖1可見(jiàn)，分離神經(jīng)束區(qū)域包括手工標(biāo)注第i(i=1,··· ,521)幅圖像中的神經(jīng)束輪廓和非輪廓、特征提取、訓(xùn)練神經(jīng)網(wǎng)絡(luò)、識(shí)別并分離第i+1 幅圖像中的神經(jīng)束區(qū)域等步驟.

圖1 從MicroCT 圖像中分離神經(jīng)束區(qū)域的流程Figure1 Process of extracting region of fascicular groups from MicroCT images

2 標(biāo)本制作

距離腘窩5～10 cm 處取成年男性下肢脛神經(jīng).在顯微鏡下，去除脛神經(jīng)周?chē)闹九c結(jié)締組織，得到如圖2所示的脛神經(jīng).將脛神經(jīng)切成長(zhǎng)度為3 mm 左右的小段作為標(biāo)本，共得到有效標(biāo)本20 份.從這些有效標(biāo)本中任意選取一份標(biāo)本，用飽和氯化鈣溶液浸泡2～4 h，再冷凍干燥24 h.然后用MicroCT 50（Switzerland,Scanco Medical 公司）掃描該標(biāo)本，設(shè)備版本號(hào)為SCANCO_ V1.2a，掃描間隔為5μm，掃描圖像分辨率為2 056×2 056 像素，共得到有效的DCM 格式圖像522 張.

圖2 周?chē)窠?jīng)標(biāo)本Figure2 Sample of peripheral nerve

3 神經(jīng)束輪廓的分離

3.1 手工標(biāo)注第1 幅圖像

首先將DCM 格式的MicroCT 掃描圖像轉(zhuǎn)變?yōu)?jpg 格式；然后在畫(huà)圖軟件Paint 或者PhotoShop 上用紅色畫(huà)筆沿著每根神經(jīng)束邊緣輪廓勾畫(huà)一次，畫(huà)筆寬度為2～3 個(gè)像素；接著標(biāo)注第1 幅掃描圖像中的非神經(jīng)束區(qū)域：采用藍(lán)色畫(huà)筆在非神經(jīng)束輪廓區(qū)域任意勾畫(huà)，畫(huà)筆寬度可以為任意像素寬度.標(biāo)注完成的結(jié)果如圖3所示.

圖3 手工標(biāo)注的圖像Figure3 Image marked manually

3.2 標(biāo)注區(qū)域的特征提取

深度學(xué)習(xí)的方法可以在無(wú)需人為參與的情況下提取圖像特征，為此本文采用深度學(xué)習(xí)中的SAE 進(jìn)行標(biāo)注區(qū)域的無(wú)監(jiān)督特征提取[9].稀疏自動(dòng)編碼機(jī)本質(zhì)上就是一種單隱層的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖4所示[10-11].令神經(jīng)網(wǎng)絡(luò)的輸出與輸入相同，經(jīng)過(guò)訓(xùn)練后在神經(jīng)網(wǎng)絡(luò)隱層的權(quán)重就是本文提取得到的特征.

圖4 自動(dòng)編碼機(jī)的結(jié)構(gòu)Figure4 Structure of SAE

在圖4中，人工神經(jīng)網(wǎng)絡(luò)的輸入與輸出都用相同的樣本，則神經(jīng)網(wǎng)絡(luò)的輸出為

式中，s為sigmoid 函數(shù)，{ωT,bT}為參數(shù)集合.通過(guò)訓(xùn)練，不斷調(diào)整ωT與bT，使得輸出~x盡可能地接近輸入x，即

在通常情況下，當(dāng)使用具有稀疏性的分量表示輸入數(shù)據(jù)時(shí)，能更有利于表達(dá)數(shù)據(jù)的特性，因此，對(duì)式（2）加上L1的正則化限制，即約束每一層的節(jié)點(diǎn)中大部分為0，于是式（2）可調(diào)整為

式中，u(|a1|+···+|an|) 表示正則化限制.滿(mǎn)足式（3）的ωT就是所要提取的特征.取第1 張手工標(biāo)注區(qū)域中每個(gè)像素點(diǎn)的鄰域進(jìn)行SAE 提取特征后，得到第1 個(gè)訓(xùn)練集.

3.3 神經(jīng)束輪廓的分離過(guò)程

在提取了標(biāo)注區(qū)域的特征并得到訓(xùn)練集后，自動(dòng)分離MicroCT 掃描圖像中神經(jīng)束區(qū)域的過(guò)程如下.

步驟1構(gòu)建訓(xùn)練集.將第1 幅掃描圖像作為當(dāng)前圖像.根據(jù)第1 幅掃描圖像中的手工標(biāo)注區(qū)域構(gòu)建第1 個(gè)訓(xùn)練集.如圖3所示，紅色區(qū)域?yàn)樯窠?jīng)束輪廓部分，藍(lán)色區(qū)域是非神經(jīng)束輪廓部分.將手工標(biāo)注區(qū)域（包括紅色區(qū)域和藍(lán)色區(qū)域）中的每個(gè)像素的10×10 的鄰域提取出來(lái)并展開(kāi)為100 維的向量而后將這些向量合并為一個(gè)矩陣，就得到了第i=1 個(gè)訓(xùn)練集.用第i=1 個(gè)訓(xùn)練集去訓(xùn)練一個(gè)BP 神經(jīng)網(wǎng)絡(luò)[12-13]，可以得到第i=1 個(gè)神經(jīng)網(wǎng)絡(luò).

步驟2將第1 幅掃描圖像中的神經(jīng)束輪廓部分單獨(dú)分離出來(lái)進(jìn)行膨脹處理，并將膨脹結(jié)果疊加到第2 幅掃描圖像中，然后將疊加輪廓的區(qū)域單獨(dú)分離出來(lái)，如圖5(a)～(c)所示.圖5(c)中的區(qū)域就是待識(shí)別區(qū)域.將待識(shí)別區(qū)域轉(zhuǎn)變?yōu)橄蛄?，?gòu)建測(cè)試集.在此過(guò)程中，對(duì)第1 幅圖像的神經(jīng)束輪廓進(jìn)行膨脹操作后再疊加到第2 幅圖像中的原因在于：第1 幅圖像的神經(jīng)束輪廓需要對(duì)待識(shí)別圖像進(jìn)行蒙皮濾波操作，所得結(jié)果是待識(shí)別的區(qū)域，于是為了避免待識(shí)別區(qū)域沒(méi)有完全覆蓋真實(shí)的神經(jīng)束輪廓的情況，先對(duì)第1 幅圖像的神經(jīng)束輪廓進(jìn)行膨脹操作.

步驟3采用已訓(xùn)練好的第i=1 個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)測(cè)試集進(jìn)行識(shí)別，并將識(shí)別結(jié)果疊加到第2 幅掃描圖像中，如圖5(d)～(e)所示.

步驟4將包含有識(shí)別結(jié)果的第2 幅掃描圖像作為當(dāng)前圖像，不斷重復(fù)上述過(guò)程，直到522 幅掃描圖像全部處理完成.

在神經(jīng)束分離過(guò)程中,本文提出的神經(jīng)束輪廓提取方法有以下方面不同于其他方法：

1）第i（1≤i≤521）幅圖像的輪廓疊加在第i+1 幅圖像上，用于分離待識(shí)別區(qū)域；

2）第i（1≤i≤521）幅圖像的輪廓用于訓(xùn)練第i個(gè)神經(jīng)網(wǎng)絡(luò)，總共訓(xùn)練521 個(gè)神經(jīng)網(wǎng)絡(luò)，分別用于識(shí)別第2～522 幅圖像中的待識(shí)別區(qū)域.訓(xùn)練完成的第i個(gè)神經(jīng)網(wǎng)絡(luò)只用于識(shí)別第i+1 幅圖像中的待識(shí)別區(qū)域.此過(guò)程的優(yōu)點(diǎn)在于，兩張掃描圖像之間的間距只有5μm，神經(jīng)束輪廓變化不大，因此訓(xùn)練集與測(cè)試集的數(shù)據(jù)具有相同的分布空間，可以在確保識(shí)別精度的情況下適當(dāng)降低對(duì)訓(xùn)練集數(shù)量的要求.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 神經(jīng)束輪廓特征提取結(jié)果

本文的實(shí)驗(yàn)環(huán)境為MATLAB2016，硬件平臺(tái)為CPU 為i5-2.2G，內(nèi)存為12G.對(duì)第1 掃描圖像中的手工標(biāo)注區(qū)域采用SAE方法進(jìn)行特征提取，得到的特征經(jīng)過(guò)可視化后如圖6所示.在圖6中，提取了100個(gè)特征，每個(gè)特征為10×10 像素.

圖5 神經(jīng)束輪廓的自動(dòng)分離過(guò)程Figure5 Extracting processes of fascicular groups automatically

圖6 手工標(biāo)注區(qū)域的SAE 特征Figure6 SAE features of manually marked region

4.2 神經(jīng)束輪廓分離結(jié)果

神經(jīng)束輪廓的分離結(jié)果如圖7所示.圖7(a)和(b)中神經(jīng)束外圍的藍(lán)色曲線(xiàn)就是分離得到的神經(jīng)束輪廓，可見(jiàn)分離得到神經(jīng)束輪廓與實(shí)際輪廓非常接近.本文采用DSI 指標(biāo)[14]分析神經(jīng)束分離情況.

圖7 神經(jīng)束輪廓的分離結(jié)果Figure7 Extracting results of fascicular groups

DSI(dice similarity index)指標(biāo)指的是分割相似系數(shù)，如式(4)所示，用于量化分析分割結(jié)果

式中，D(A,B)代表DSI，A為標(biāo)準(zhǔn)圖像，B為待評(píng)價(jià)的分離結(jié)果圖像.本文以手工分離的神經(jīng)束作為A，將分離的神經(jīng)束區(qū)域作為B；|A ∩B|為手工分離與本文方法分離所得結(jié)果的重疊面積；|A|和|B|分別為兩幅圖像各自的面積.可見(jiàn)，DSI 系數(shù)越高，分離結(jié)果與手工分離的結(jié)果越接近.

采用本文分離方法與手工分離的結(jié)果對(duì)比如表1所示.

表1 本文分離方法與手工分離的結(jié)果對(duì)比Table1 Comparison of extracting results by manual and the proposed method

從表1可見(jiàn)，在分離精度方面，利用本文方法進(jìn)行神經(jīng)束分離處理，平均精度可以達(dá)到84.7%.分離得到的神經(jīng)束輪廓基本能夠滿(mǎn)足后續(xù)神經(jīng)束三維重建的需求；在時(shí)間效率方面，采用本文方法進(jìn)行神經(jīng)束分離處理，只需要0.3～0.4 h 就可以完成計(jì)算，遠(yuǎn)小于手工分離處理的時(shí)間.顯然采用本文方法進(jìn)行神經(jīng)束分離是合適的.

隨著神經(jīng)束延伸，第50 幅掃描圖像中的兩根神經(jīng)束“L”和“K”延伸到第100 幅掃描圖像時(shí)已合并為一根神經(jīng)束“M”，如圖7(a)所示.而第150 幅掃描圖像中的神經(jīng)束“R”延伸到第227 幅掃描圖像時(shí)已分裂為兩根神經(jīng)束“S”和“T”，如圖7(b)所示.可見(jiàn)，本文方法不僅能夠準(zhǔn)確地分離出單根神經(jīng)束的輪廓，而且能夠分離出分裂階段和合并階段的神經(jīng)束輪廓.

4.3 鄰域尺度對(duì)神經(jīng)束輪廓分離結(jié)果的影響

手工標(biāo)注區(qū)域像素的鄰域尺度是采用SAE 方法提取神經(jīng)束輪廓特征的重要參數(shù)之一.為了獲知鄰域尺度對(duì)神經(jīng)束輪廓分離結(jié)果的影響，本文以第5 幅掃描圖像為例，令鄰域尺度分別為5×5 像素，10×10 像素和20×20 像素，神經(jīng)束輪廓分離結(jié)果如圖8所示.

對(duì)比圖8(a)～(c)的神經(jīng)束輪廓，從總體上看其神經(jīng)束輪廓差異不大.紅色標(biāo)記包圍的區(qū)域顯示了與實(shí)際情況的吻合程度，顯然圖8(b)中的神經(jīng)束輪廓吻合度高于圖8(a)和圖8(c)的吻合度，說(shuō)明鄰域尺度為10×10 像素更加適合于識(shí)別神經(jīng)束輪廓.

5 結(jié) 論

在四肢周?chē)窠?jīng)損傷的修復(fù)手術(shù)中，如果能對(duì)接具有相同功能性質(zhì)的神經(jīng)束，將明顯提高治愈效果.實(shí)現(xiàn)四肢周?chē)窠?jīng)內(nèi)部神經(jīng)束的三維重建，可以使對(duì)接具有相同功能性質(zhì)的神經(jīng)束成為可能.為此，本文針對(duì)周?chē)窠?jīng)的MicroCT 掃描圖像，采用深度學(xué)習(xí)中的SAE 方法提取神經(jīng)束輪廓特征，并利用神經(jīng)網(wǎng)絡(luò)識(shí)別神經(jīng)束輪廓區(qū)域，最終實(shí)現(xiàn)了神經(jīng)束的自動(dòng)分離.本文的主要結(jié)論有：1）SAE 方法能夠比較好地描述神經(jīng)束輪廓的特征，且無(wú)需人工提取神經(jīng)束輪廓的特征；2）本文方法分離神經(jīng)束區(qū)域精度可以達(dá)到84.7%；3）本文方法分離神經(jīng)束區(qū)域的時(shí)間效率為0.3～0.4 h 處理完成522 幅圖像，明顯優(yōu)于手工分離神經(jīng)束區(qū)域的效率.本文研究為后續(xù)定量評(píng)估神經(jīng)束的間距、空間走向的規(guī)律、對(duì)接具有相同功能性質(zhì)的神經(jīng)束等工作奠定了重要的技術(shù)基礎(chǔ).

圖8 鄰域尺度對(duì)神經(jīng)束輪廓分離結(jié)果的影響Figure8 Influence of neighborhood scale on extracting results of fascicular groups