一種骨骼輪廓連續(xù)三維重建方法

鄧玉萱，屈 赟，劉建林，欒 寬，劉景隆

（哈爾濱工程大學(xué)智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱 150001）

1 研究背景

臨床常用的超聲圖像是二維斷面圖，對于醫(yī)生來說想要精確地找到病灶有一定難度，所以在骨外科手術(shù)導(dǎo)航系統(tǒng)中，三維可視化技術(shù)是至關(guān)重要的一部分。

雖然基于X 光的三維成像能夠較好地解決這一問題，但術(shù)中應(yīng)用成本較高還未被廣泛使用。此外，無論是二維還是三維X 光成像都會產(chǎn)生一定的電離輻射，這會對醫(yī)生和患者的身體造成傷害。

1.1 基于超聲圖像的三維重建

針對二維或三維X 光成像的問題，使用超聲成像來提供無輻射的實(shí)時骨骼三維成像不失為一個較好的選擇。以超聲圖像為基礎(chǔ)的實(shí)時三維重建圖像引導(dǎo)手術(shù)，主要運(yùn)用自由臂超聲將空間定位傳感器安裝在超聲探頭上，通過注冊過程計算出超聲圖像與空間定位傳感器間的位置關(guān)系[1]；并且采用深度學(xué)習(xí)的方法將超聲圖像中的骨骼輪廓分割出來；同時實(shí)時獲取超聲圖像的空間信息，將獲得定位數(shù)據(jù)實(shí)時引入系統(tǒng)，計算出圖像點(diǎn)的空間位置；最后將得到的空間點(diǎn)進(jìn)行整合，形成空間曲面輪廓。

1.2 系統(tǒng)改善之處

超聲成像系統(tǒng)趨于完善，但是仍有可改善之處。目前該系統(tǒng)在掃描骨骼時，每一幀超聲圖像間會產(chǎn)生空隙，這些空隙如果較大會使得重建的骨骼輪廓不連續(xù)，影響重建效果，甚至干擾診斷。而基于視覺的三維重建正好能夠填補(bǔ)這樣的空白，微軟公司曾推出一個交互性重建系統(tǒng)，系統(tǒng)實(shí)時從移動著的Kinect 攝像頭中獲得深度數(shù)據(jù)，實(shí)時創(chuàng)建一個高質(zhì)量、幾何精確的3D 模型，用戶手持標(biāo)準(zhǔn)相機(jī)，可在室內(nèi)任意移動，并在幾秒內(nèi)重建出實(shí)物場景的3D 模型[2]。

基于以上技術(shù)，對超聲斷面圖像進(jìn)行斷層重建，使骨骼輪廓在垂直圖像方向進(jìn)行延伸，以便提升三維重建效果。

2 研究方法

2.1 Kinect Fusion 三維重建算法

Kinect Fusion 是基于RGB-D 相機(jī)三維重建的開山之作，首次實(shí)現(xiàn)實(shí)時稠密的三維重建，也可在只用深度圖的情況下就能實(shí)時地建立三維模型[3]。

Kinect Fusion 包含2 個核心技術(shù)，即迭代最近點(diǎn)（ⅠCP）算法注冊和基于截斷符號距離函數(shù)（TSDF）。它的思路是一邊注冊，一邊融合。主要步驟如下：①將讀入的深度圖像轉(zhuǎn)換為三維點(diǎn)云，計算每一個點(diǎn)云的法向量；②找到當(dāng)前時刻和前一時刻的有向點(diǎn)之間的對應(yīng)關(guān)系，所有深度測量值都能從二維圖像坐標(biāo)轉(zhuǎn)化到一個單一連續(xù)的全局坐標(biāo)空間內(nèi)；③根據(jù)前一步驟的位姿，將當(dāng)前幀的點(diǎn)云融合到網(wǎng)格模型中去；④根據(jù)當(dāng)前幀相機(jī)位姿將模型中的點(diǎn)云投影到當(dāng)前幀并且計算其法向量，用來在之前步驟中對下一幀的輸入圖像配準(zhǔn)。

2.2 圖像處理方法

首先對骨骼圖像進(jìn)行預(yù)處理，包括中值濾波和圖像閾值處理。對圖像中的骨骼輪廓進(jìn)行圖像濾波處理，在盡量保留圖像特征的前提下對目標(biāo)圖像的噪聲進(jìn)行抑制，該步驟處理效果的好壞將直接影響到后續(xù)圖像處理和分析的有效性和可靠性。為了濾除孤立的噪聲像素，例如椒鹽噪聲、脈沖噪聲等，保持圖像的邊緣特性，使圖像不會產(chǎn)生顯著的模糊，選擇非線性濾波器中的中值濾波進(jìn)行圖像處理。

具體處理方法為：用一個奇數(shù)點(diǎn)的窗口在圖像上移動，窗口中心與圖中某個像素位置重合；按大小順序依次讀取窗口下的像素灰度值；選取灰度序列中的中間一個像素灰度值賦給模板中心位置的像素，從而消除孤立的噪聲點(diǎn)。

其次對經(jīng)過濾波后的圖像進(jìn)行分割處理。作為最基本和最常用的圖像分割方法之一，圖像閾值化分割具備實(shí)現(xiàn)簡單、計算量小、性能較穩(wěn)定的特點(diǎn)，它主要利用圖像中要提取的目標(biāo)物與其背景在灰度特性上的差異，通過設(shè)置合適的灰度閾值，將圖像的灰度劃分為2 個或多個灰度區(qū)間，以確定有意義的區(qū)域或分割物體的邊界[4]。該方法不僅可以極大地壓縮數(shù)據(jù)量，而且也大大簡化了分析和處理的步驟。

對于讀入圖像中骨骼輪廓和外界環(huán)境的分割采用了全局閾值處理中的低閾值零處理方法，即：

式（1）中：dst（x，y）為處理完成后得到的目標(biāo)圖像；src（x，y）為需要進(jìn)行閾值處理的原始圖像；thresh為需要設(shè)定的閾值。

2.3 骨骼重建的技術(shù)創(chuàng)新

鑒于系統(tǒng)的輸入是斷層超聲圖像而不是相機(jī)拍攝的深度圖像，在算法上去除了與攝像頭的相關(guān)代碼；又因?yàn)棰馛P 算法主要用于點(diǎn)云配準(zhǔn)，而在該系統(tǒng)中運(yùn)用坐標(biāo)轉(zhuǎn)換進(jìn)行此項(xiàng)工作，處理圖像包括像素與毫米之間的轉(zhuǎn)換、超聲探頭坐標(biāo)系到定位儀的世界坐標(biāo)系的轉(zhuǎn)換，根據(jù)超聲圖像到超聲探頭的圖像坐標(biāo)，就可以得到由圖像坐標(biāo)轉(zhuǎn)換到雙目定位儀下的世界坐標(biāo)的轉(zhuǎn)換方程，即可獲取到所有像素點(diǎn)的空間坐標(biāo)，所以也去除了ⅠCP 匹配的相關(guān)代碼。

該算法主要包括以下內(nèi)容：①初始化參數(shù)為默認(rèn)值，設(shè)置TSDF 體積的初始姿勢；②創(chuàng)建KinFu 類的對象，并且將循環(huán)次數(shù)置為0；③對讀入的圖像進(jìn)行預(yù)處理，將超聲圖像中的偽影濾除以達(dá)到更好的三維重建效果；④結(jié)合雙目光學(xué)定位儀及器械注冊技術(shù)，得到配準(zhǔn)后的統(tǒng)一的世界坐標(biāo)系下的將輔助探針與超聲探頭的空間坐標(biāo)，再使用TSDF 點(diǎn)云融合算法將當(dāng)前幀的3D 點(diǎn)云融合到現(xiàn)有模型中；⑤如果沒有將新幀與當(dāng)前場景對齊就清除當(dāng)前模型并重置姿勢；⑥使用光線跟蹤的方法，根據(jù)現(xiàn)有模型和預(yù)測出的當(dāng)前可觀察到的環(huán)境點(diǎn)云，以達(dá)到一邊掃描一邊重建的效果；⑦每次循環(huán)后循環(huán)次數(shù)加1，用于判斷是否完成設(shè)定幀數(shù)的重建，在渲染完現(xiàn)有模型后通過按鍵判斷是否立即退出。

算法流程圖如圖1 所示。

圖1 算法流程圖

3 實(shí)驗(yàn)過程

3.1 實(shí)驗(yàn)操作

該系統(tǒng)的整體工作流程為：①首先由光學(xué)定位儀來對超聲探頭上的定位裝置進(jìn)行實(shí)時追蹤以獲取其坐標(biāo)，并將該坐標(biāo)通過串口通訊的形式傳輸至計算機(jī)；②計算機(jī)則使用開發(fā)的軟件對該坐標(biāo)進(jìn)行處理，計算出各個器械在定位儀世界坐標(biāo)系下的位置信息與姿態(tài)信息，并將其呈現(xiàn)在三維可視化的界面中；③同時將位置與姿態(tài)信息記錄并輸出為文本文件。

與此同時，通過圖像采集卡來獲取超聲圖片，利用圖像處理程序?qū)Τ晥D像中的骨骼輪廓進(jìn)行中值濾波和圖像閾值處理，并轉(zhuǎn)化到空間坐標(biāo)系下，再結(jié)合配準(zhǔn)后的統(tǒng)一的世界坐標(biāo)系下的將輔助探針與超聲探頭的空間坐標(biāo)，使用TSDF 點(diǎn)云融合算法將當(dāng)前幀的3D 點(diǎn)云融合到現(xiàn)有模型中；通過光線跟蹤的方法，根據(jù)現(xiàn)有模型和預(yù)測出的當(dāng)前可觀察到的環(huán)境點(diǎn)云，以達(dá)到一邊掃描一邊重建的效果；最后對獲取到的骨骼表面空間像素點(diǎn)集進(jìn)行表面重建，將最終結(jié)果顯示在三維可視化界面中。

3.2 實(shí)驗(yàn)結(jié)果

輸入的二維原始超聲圖像如圖2（a）所示，通過本文設(shè)計的圖像處理方法，濾除背景并獲得骨骼輪廓，如圖2（b）所示，最后使用三維重建算法進(jìn)行重建，如圖2（c）所示。其他部位骨骼輪廓重建結(jié)果如圖3所示。

圖2 當(dāng)前幀分步重建圖像

圖3 其他部位骨骼三維重建圖像

4 結(jié)論

想要實(shí)時重建多幀骨骼圖像，需要將獲取超聲圖像中骨骼的位置信息和深度信息融合到程序中。本文在理論上指出掃描骨骼的新方向，不再執(zhí)拗與傳統(tǒng)的X 光成像和CT 成像。但是不足之處是無法活動骨骼內(nèi)部結(jié)構(gòu)，為了解決這個問題，接下來本項(xiàng)目的重要突破點(diǎn)是將CT 圖像與之融合。

通過在現(xiàn)有的實(shí)驗(yàn)基礎(chǔ)上的理解，這個項(xiàng)目具有很強(qiáng)的可行性，具有延時低、快捷方便等特點(diǎn)。更多的是不僅能夠掃描骨骼，還可以使用圖像處理的方法提取出來想要的一些組織，從而達(dá)到成像的目的。