人工關(guān)節(jié)磨屑的顯微單視圖深度估計方法研究*

伍銳斌 彭業(yè)萍 曹廣忠 王 松 曹樹鵬

(1.深圳大學(xué)機電與控制工程學(xué)院 廣東深圳 518060；2.廣東省電磁控制與智能機器人重點實驗室 廣東深圳 518060；3.深圳清華大學(xué)研究院生物醫(yī)用材料及植入器械重點實驗室 廣東深圳 518057)

近年來，骨關(guān)節(jié)疾病發(fā)病率逐年上升，人工關(guān)節(jié)置換手術(shù)已成為治療骨關(guān)節(jié)疾病的有效手段之一。但是，人工關(guān)節(jié)假體植入人體后，接觸面每年承受數(shù)百萬次的相對滑動和循環(huán)摩擦，過度磨損會造成關(guān)節(jié)疼痛和功能障礙。而磨損產(chǎn)生的磨屑會引起假體的無菌性松動，是人工關(guān)節(jié)置換失效的一個主要原因[1-3]。所以，人工關(guān)節(jié)材料及其磨屑的研究十分重要。

人工關(guān)節(jié)材料通常為金屬材料、高分子材料、陶瓷材料和復(fù)合材料[4]。不銹鋼是最早用于制作人工關(guān)節(jié)的金屬材料，但臨床研究表明，其生物相容性較差，在人體內(nèi)生理環(huán)境下，易被腐蝕和破裂。鈷合金及鈦合金被廣泛用于人工關(guān)節(jié)假體，但假體腐蝕、磨損的過程會產(chǎn)生游離的金屬離子，進入體液循環(huán)，對人體有一定危害。超高分子聚乙烯是常用的人工關(guān)節(jié)高分子材料，它具有優(yōu)異的生物相容性且耐化學(xué)腐蝕、抗摩擦能力強，可以較好地解決人工關(guān)節(jié)的摩擦磨損問題[5-7]，但長期使用會發(fā)生嚴重磨損和氧化，進而產(chǎn)生磨屑，導(dǎo)致骨溶解產(chǎn)生無菌性松動，使人工關(guān)節(jié)失效[8-9]。陶瓷材料具有硬度大、耐磨性好、耐蝕性強、化學(xué)性質(zhì)穩(wěn)定和生物相容性好等優(yōu)點，但彈性模量高、脆性大，在使用過程中常出現(xiàn)脆性斷裂和骨損傷[4,10]。迄今為止，仍沒有找到一種在生物相容性和生物摩擦學(xué)性能方面都十分優(yōu)異的人工關(guān)節(jié)材料。最接近人體骨骼材質(zhì)的以羥基磷灰石為基體的復(fù)合材料仍處于實驗室研究階段，沒有廣泛地應(yīng)用于臨床治療上。雖然鈦合金人工關(guān)節(jié)金屬材料在使用過程中所產(chǎn)生的金屬離子對人體有一定危害，但其具有豐富臨床研究經(jīng)驗數(shù)據(jù)，仍是主流的人工關(guān)節(jié)材料。所以，文中以鈦金屬材料摩擦副產(chǎn)生的磨屑作為研究對象。

磨屑包含著人工關(guān)節(jié)微觀狀態(tài)下的磨損信息，其尺寸、數(shù)量和形貌特征可反映人工關(guān)節(jié)不同的磨損形式和機制[11]。因此，對人工關(guān)節(jié)磨屑進行研究、獲取其攜帶的摩擦學(xué)信息，對于人工關(guān)節(jié)材料磨損機制的研究具有重要意義。傳統(tǒng)人工關(guān)節(jié)磨屑分析利用顯微設(shè)備拍攝二維顯微圖像，人工分析磨屑類型和推斷其產(chǎn)生機制，其準確性很大程度依賴專業(yè)知識和個人經(jīng)驗且需要較高的人工成本，效率低下，這大大限制了人工關(guān)節(jié)磨屑分析技術(shù)的實際應(yīng)用。

近年來，隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域的迅猛發(fā)展，深度學(xué)習(xí)被應(yīng)用到了磨屑的智能分析?？祫虻萚12]利用改進的BP網(wǎng)絡(luò)進行磨屑分類。呂純等人[13]用基于改進的PSO算法的SVM模型對磨屑進行類型識別，效果明顯優(yōu)于 BP 神經(jīng)網(wǎng)絡(luò)。PENG等[14]將混合卷積神經(jīng)網(wǎng)絡(luò)和SVM結(jié)合使用，實現(xiàn)了磨屑的智能識別。安超等人[15]利用Mask-R-CNN網(wǎng)絡(luò)對磨屑圖像進行實例分割并實現(xiàn)了磨屑的分類識別。

上述磨屑研究均基于二維圖像，但磨屑的三維信息中蘊含更加豐富的摩擦學(xué)信息，可以更好地研究人工關(guān)節(jié)磨屑產(chǎn)生機制。雖然利用原子力顯微鏡、激光共聚焦顯微鏡(LSCM)可以得到磨屑精確的三維形貌，但是硬件成本高昂且分析效率低下。于是，研究者將視覺三維重建的方法應(yīng)用于磨屑三維信息捕捉。任國全等[16]用SFS算法實現(xiàn)了單張磨屑圖像的形貌恢復(fù)，得到磨屑的相對深度圖。潘嵐等人[17]從視頻序列中采集每幀焦平面上的清晰圖像范圍，再結(jié)合顯微鏡縱軸移動速率，構(gòu)建磨屑的三維形貌。WU等[18]使用多視圖輪廓的方法構(gòu)建磨屑的三維模型。WANG等[19]利用SFM算法實現(xiàn)磨屑的稀疏重建，再通過SFS算法估算磨屑表面的相對高度，將SFS上的點轉(zhuǎn)化到稀疏重建的坐標上，獲得磨屑稠密重建的結(jié)果。在利用視覺三維重建獲取磨屑三維信息的方法中，SFS算法進行磨屑單視圖深度圖估計，需要滿足均勻平行光照和磨屑表面為理想散射表面的假設(shè)[16]，最終僅能得到相對的深度，不能獲取磨屑真實的三維信息?；诙嘁晥D的磨屑三維形貌恢復(fù)依賴特定的硬件設(shè)備和復(fù)雜的操作，需要拍攝多個合適視角的磨屑圖片來進行三維重建，效率較低。為了實現(xiàn)低成本、高效率的磨屑三維信息獲取，本文作者提出一種基于SA-UNet(Self Attention U-Net)網(wǎng)絡(luò)的磨屑單視圖深度估計方法，在采集數(shù)據(jù)、訓(xùn)練網(wǎng)絡(luò)模型后，僅需要利用普通光學(xué)顯微鏡拍攝單張磨屑的二維圖像就可預(yù)測對應(yīng)的深度圖，獲得磨屑的三維信息。

1 方法

1.1 SA-UNet深度估計網(wǎng)絡(luò)

1.1.1 網(wǎng)絡(luò)架構(gòu)

為解決磨屑單視圖深度估計問題，提出一個深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)SA-UNet，其整體結(jié)構(gòu)是一個融合自注意力模塊的U形網(wǎng)絡(luò)，分為編碼器和解碼器兩部分。編碼器包含一系列的卷積操作和最大池化操作，每經(jīng)過一次最大池化，特征圖的大小變成原來的1/2，在卷積層后面嵌入批量歸一化層，防止過擬合。解碼器是一系列的卷積和上采樣操作，通過上采樣還原特征圖大小。SA-UNet網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SA-UNet的網(wǎng)絡(luò)結(jié)構(gòu)

編碼器可提取多尺度特征圖，淺層特征圖保留了豐富的底層特征信息，深層特征圖包含更抽象的特征信息。在編碼階段，池化操作會使部分特征信息丟失，解碼階段進行上采樣難以恢復(fù)丟失的信息。因此，在編碼器和解碼器間設(shè)置跳躍連接，將編碼階段的底層特征圖與深層次的、更抽象的特征圖融合，可以有效彌補池化操作丟失的細節(jié)信息。在磨屑圖像的深度估計中，每個像素的輸出值與全局像素的信息相關(guān)聯(lián)，在跳躍連接處加入了自注意力模塊，能自適應(yīng)地學(xué)習(xí)像素級別的注意力圖來捕獲上下文信息。SA-UNet網(wǎng)絡(luò)聚合全局的關(guān)聯(lián)信息進行逐像素預(yù)測，能有效提高深度估計的精度。

1.1.2 自注意力模塊

圖2(a)、 (b)所示分別為磨屑的二維圖像和LSCM獲取的存儲磨屑三維信息的深度圖。原始U-Net網(wǎng)絡(luò)沒有結(jié)合像素的全局關(guān)聯(lián)性預(yù)測深度值，不能準確預(yù)測局部的高低起伏，出現(xiàn)與真實深度不符的、大范圍的深度值相同的情況，如圖2(c)所示。

(1)

在注意力圖中，任意位置的Wi,j表示特征圖的第j個位置與第i個位置的相關(guān)聯(lián)程度。借助注意力圖，將自注意力模塊的輸出xout定義為式(2)。

xout=WV

(2)

通過注意力圖獲取每個位置與全局位置的相關(guān)聯(lián)權(quán)重，可以增強特征提取的過程。SA-UNet通過注意力圖可以結(jié)合全局位置信息預(yù)測每一個位置的深度值，其預(yù)測的深度圖與激光共聚焦顯微鏡得到的深度圖一致，不會出現(xiàn)大范圍的深度值相同的情況，有效地提高了預(yù)測精度，其效果如圖2(d)所示。

圖2 磨屑二維圖像、LSCM獲取的深度及U-Net、SA-UNet估計深度

圖3 自注意力模塊架構(gòu)

1.1.3 損失函數(shù)

LEE等[21]提出一種結(jié)合方差和加權(quán)平方誤差定義的損失函數(shù),該損失函數(shù)通過設(shè)置常系數(shù)λ值來控制訓(xùn)練中對誤差平均值和方差的關(guān)注程度，具有穩(wěn)定快速收斂的優(yōu)點。文中提出的SA-UNet網(wǎng)絡(luò)采用該損失函數(shù)訓(xùn)練，其定義如式(3)所示。

(3)

(4)

α值可以縮放損失值，影響反向傳播時的梯度值；λ值越大，損失函數(shù)越注重方差的優(yōu)化。參照文獻[21]設(shè)置合理的參數(shù)值α=10，λ=0.85。

1.2 透視變換

使用普通光學(xué)顯微鏡和激光共聚焦顯微鏡對同一顆磨屑進行拍攝，可得同一磨屑的兩幅二維圖像，如圖4所示。

圖4 LSCM和光學(xué)顯微鏡拍攝的同一磨屑的圖像

普通光學(xué)顯微鏡無法獲取磨屑的三維信息，聯(lián)合激光共聚焦顯微鏡可以獲取訓(xùn)練所需的樣本數(shù)據(jù)。激光共聚焦顯微鏡可以同時獲取磨屑的二維圖像和深度圖。深度圖是存儲磨屑三維信息的一種方式，它采用灰度值表示相機與成像物體之間的距離，灰度值變化可以反映磨屑表面細節(jié)。為了數(shù)據(jù)展示的方便，文中所有深度圖的值均放大了5倍。激光共聚焦顯微鏡采集的TC4磨屑圖像和深度圖如圖5所示。

圖5 激光共聚焦顯微鏡拍攝的磨屑二維圖像和深度圖

此時，普通光學(xué)顯微鏡的二維圖像和激光共聚焦顯微鏡得到的深度圖并不是逐像素對應(yīng)的。通過對兩幅圖像進行特征點匹配，計算2個坐標系的透視變換矩陣，再對深度圖做透視變換，可使深度圖與普通顯微鏡的二維圖像逐像素對應(yīng)，從而獲得普通光學(xué)顯微鏡的訓(xùn)練樣本。

1.2.1 基于SIFT特征點匹配

SIFT(Scale-invariant feature transform)算法能尋找并描述圖像的特征點，被廣泛地使用在圖像處理領(lǐng)域?；赟IFT的特征點匹配步驟[22]如下：

(1)對輸入圖像構(gòu)造高斯差分金字塔；

(2)在高斯差分金字塔中檢測極值，即為圖像的特征點；

(3)通過統(tǒng)計特征點鄰域的梯度生成特征點的描述子；

(4)計算兩幅圖像特征點的描述子的歐氏距離，當(dāng)最近鄰歐氏距離與次近鄰歐氏距離的比值小于閾值時，判斷為匹配點。

在判斷特征點是否匹配時，為得到4對以上精確匹配的特征點，經(jīng)實驗測試最終設(shè)置閾值為0.4，得到激光共聚焦顯微鏡磨屑圖像和普通光學(xué)顯微鏡磨屑圖像相匹配的特征點對。

1.2.2 圖像的透視變換

透視變換是將圖像從自身坐標系變換到另一圖像坐標系下的數(shù)學(xué)變換。其變換如式(5)—(7)所示。

(5)

(6)

(7)

(8)

(9)

通過兩幅圖中相匹配的特征點對可求得透視矩陣，利用透視矩陣對深度圖進行坐標變換，得到與普通光學(xué)顯微鏡二維圖像逐像素對應(yīng)的深度圖。

1.3 磨屑掩模的獲取

通過語義分割網(wǎng)絡(luò)U-Net[23]初步得到磨屑掩模，經(jīng)過圖像開運算和孔洞填充得到更精準的掩模。利用磨屑掩模排除復(fù)雜多變的背景對模型學(xué)習(xí)的干擾。U-Net是常用于醫(yī)學(xué)圖像分割的語義分割網(wǎng)絡(luò)，適合小樣本的語義分割任務(wù)，它的結(jié)構(gòu)框架如圖6所示。

圖6 U-Net架構(gòu)

U-Net網(wǎng)絡(luò)由編碼器和解碼器組成。編碼器遵循卷積網(wǎng)絡(luò)的典型架構(gòu)，包含3×3卷積的重復(fù)使用，每個卷積操作后接Relu激活函數(shù)。編碼器有4個最大池化，用于下采樣。在每個下采樣步驟后，特征圖的大小減半、通道數(shù)量加倍。解碼器包含卷積和上采樣操作，一共包含4次上采樣的操作。每次上采樣，通過反卷積操作將特征圖的大小擴大2倍、通道數(shù)量減半。在編碼器和解碼器間存在跳躍連接結(jié)構(gòu)，用于補充解碼過程中無法復(fù)原的細節(jié)信息。最終用1×1卷積將特征圖映射到所需的類數(shù)。U-Net網(wǎng)絡(luò)訓(xùn)練采用的是交叉熵損失函數(shù)，如式(10)所示。

(10)

分割好的磨屑掩模會出現(xiàn)毛刺和掩模區(qū)域有孔洞的情況，如圖7(a)所示。利用圖像的開運算可以消除掩模的毛刺，通過圖像的孔洞填充可以消除較大的孔洞。經(jīng)過后處理，可得到準確的磨屑掩模。得到磨屑的掩模圖后，可將磨屑圖像的背景置為統(tǒng)一的顏色，從而消除磨屑圖像背景變化帶來的干擾。效果如圖7(b)所示。

圖7 磨屑二維圖像及去背景后的磨屑圖像

2 實驗

2.1 樣本數(shù)據(jù)集

文中的樣本數(shù)據(jù)集是通過普通光學(xué)顯微鏡和LSCM聯(lián)合獲取。首先利用普通光學(xué)顯微鏡獲取TC4材料磨屑的顯微二維圖像；然后使用基恩士VK-X260激光共聚焦顯微鏡采集TC4材料磨屑的二維圖像和對應(yīng)的深度圖。通過語義分割消除光學(xué)顯微二維圖像的背景干擾，再通過透視變換得到光學(xué)顯微鏡下包含二維圖像和深度圖的樣本數(shù)據(jù)。普通光學(xué)顯微鏡如圖8(a)所示，基恩士VK-X260激光共聚焦顯微鏡如圖8(b)所示。

圖8 采集圖像的儀器

文中共采集了1 222個TC4磨屑樣本，對采集到的數(shù)據(jù)進行隨機裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)和銳化、高斯模糊可增加圖像對，提升樣本的質(zhì)量。利用數(shù)據(jù)擴充技術(shù)將1 122個磨屑樣本擴充為7 854個圖像對，用以訓(xùn)練SA-UNet網(wǎng)絡(luò)。剩下的100個普通光學(xué)顯微鏡的磨屑樣本作為測試集。

2.2 實驗結(jié)果

SA-UNet、U-Net、ACAN(Attention-based Context Aggregation Network)[24]和BTS(Big to Small)[21]對普通光學(xué)顯微鏡拍攝的磨屑圖像的深度估計效果如圖9所示。在單視圖的深度估計中，使用精確度指標d1、d2和d3(詳見式(11)—(13)),來衡量在給定誤差范圍內(nèi)預(yù)測正確的像素點的占比，其值越接近1,說明預(yù)測的正確率越高。使用平均相對誤差(Esqrel)和絕對相對誤差(Eabsrel)來衡量預(yù)測值與真實值的偏差程度，其值越小說明預(yù)測值越接近真實值。使用均方根誤差(Ermse)、均方根對數(shù)誤差(Ermselg)和平均對數(shù)誤差Elg來衡量預(yù)測值與真實值的偏差值，其值越小說明預(yù)測的偏差越小。

評價指標計算公式如下：

(1)精確度d1、d2、d3：

(11)

(12)

(13)

(2)平均相對誤差Esqrel：

(14)

(3)絕對相對誤差Eabsrel:

(15)

(4)均方根誤差Ermse：

(16)

(5)均方根對數(shù)誤差Ermselg：

(17)

(6)平均對數(shù)誤差Elg

(18)

圖9 輸入的圖像及SA-UNet、U-Net、ACAN、BTS網(wǎng)絡(luò)預(yù)估的深度圖和LSCM得到的磨屑深度圖

式中：Zpred為預(yù)測的深度圖；ZCLSM為激光共聚焦顯微鏡得到的磨屑的深度圖；n為圖片的像素點總數(shù)。

將網(wǎng)絡(luò)預(yù)測的深度圖Zpred和激光共聚焦顯微鏡得到的深度圖ZCLSM代入式(11)—(18)，即可計算得到深度估計的各項評價指標。SA-UNet、U-Net、ACAN和BTS在100個測試樣本中的性能指標如表1所示。

表1 不同網(wǎng)絡(luò)的實驗結(jié)果

從預(yù)估的深度圖看，SA-UNet網(wǎng)絡(luò)明顯優(yōu)于U-Net、ACAN和BTS。U-Net出現(xiàn)大面積的深度值相近，與實際的深度圖差別較大，ACAN將深度估計任務(wù)轉(zhuǎn)化為分類任務(wù)，所預(yù)測的深度圖常出現(xiàn)小面深度相同的情況。ACAN和BTS還會小概率地出現(xiàn)局部預(yù)測偏差較大的問題，如圖9(d)、(e)中方框區(qū)域所示。SA-UNet利用U形網(wǎng)絡(luò)作為特征提取器并融合自注意力機制，能夠很好地提取特征信息和學(xué)習(xí)像素級別的全局依賴，準確預(yù)估出對應(yīng)的深度圖。SA-UNet所預(yù)估的深度圖與LSCM所得到的深度圖幾乎一致。從表1中各項評價指標上看，SA-UNet在4個網(wǎng)絡(luò)中均為最優(yōu)。其中，SA-UNet網(wǎng)絡(luò)的平均相對誤差(Esqrel)為7.4%，絕對相對誤差(Eabsrel)為15.1%，預(yù)測值與激光共聚焦顯微鏡所得深度圖的偏差程度較小。絕對相對誤差(Eabsrel)與原始的U-Net網(wǎng)絡(luò)、ACAN網(wǎng)絡(luò)和BTS網(wǎng)絡(luò)相比，分別降低了6%、 8.6%和5.2%。SA-UNet均方根誤差(Ermse)是3.936，優(yōu)于其他對比方法。

在采集圖像時顯微鏡可能出現(xiàn)細微抖動，且普通光學(xué)顯微鏡的景深較小，所以采集的磨屑圖像存在局部的模糊。磨屑圖像的模糊區(qū)域缺乏紋理或紋理不清晰，使得SA-Unet網(wǎng)絡(luò)在模糊區(qū)域無法借助像素鄰域的有效信息去預(yù)測深度值，從而引起預(yù)測誤差。為提高SA-Unet網(wǎng)絡(luò)預(yù)測的精度，在未來的工作中，應(yīng)對采集到的磨屑圖像進行模糊恢復(fù)，豐富磨屑的紋理信息，進一步減少深度估計的誤差。

3 結(jié)論

(1)提出SA-UNet深度估計網(wǎng)絡(luò)，實現(xiàn)了TC4材料磨屑單視圖深度圖估計，使普通光學(xué)顯微鏡也可輕易獲取磨屑的三維信息，降低了磨屑三維信息獲取的硬件成本。

(2)在TC4材料磨屑單視圖深度估計任務(wù)中，SA-UNet網(wǎng)絡(luò)各項評價指標均優(yōu)于UNet、ACAN和BTS等網(wǎng)絡(luò)，其中絕對相對誤差比原始的U-Net網(wǎng)絡(luò)降低了6%，比ACAN網(wǎng)絡(luò)降低了8.6%，比BTS網(wǎng)絡(luò)降低了5.2%。