基于圖像處理技術(shù)的X線圖像拼接方法研究*

楊　帆， 何　艷**， 鄧振生， 嚴(yán)　昂

(1.貴州醫(yī)科大學(xué) 生物醫(yī)學(xué)工程教研室， 貴州 貴陽　550004； 2.中南大學(xué) 生物醫(yī)學(xué)工程研究所， 湖南 長沙　410083； 3.中南大學(xué)湘雅二醫(yī)院 設(shè)備科， 湖南 長沙　410011)

?

基于圖像處理技術(shù)的X線圖像拼接方法研究*

楊帆1， 何艷1**， 鄧振生2， 嚴(yán)昂3

(1.貴州醫(yī)科大學(xué) 生物醫(yī)學(xué)工程教研室， 貴州 貴陽550004； 2.中南大學(xué) 生物醫(yī)學(xué)工程研究所， 湖南 長沙410083； 3.中南大學(xué)湘雅二醫(yī)院 設(shè)備科， 湖南 長沙410011)

[摘要]目的： 探討一種基于圖像處理技術(shù)的全脊柱及下肢X線圖像自動拼接算法的可行性。方法: 采用醫(yī)學(xué)圖像處理技術(shù)，通過相位相關(guān)算法確定粗略重疊區(qū)域，利用Harris算法提取特征點和角點鄰域灰度信息實現(xiàn)圖像的精確配準(zhǔn)，對40組多次拍攝的脊柱或下肢X線圖像進(jìn)行算法拼接，并與設(shè)備自帶軟件拼接的圖像進(jìn)行比較。結(jié)果: 對40組多次拍攝的脊柱或下肢X線圖像進(jìn)行算法拼接，誤差4 mm內(nèi)拼接成功率達(dá)到95%，高于自帶軟件拼接結(jié)果。結(jié)論： 算法拼接法能有效實現(xiàn)多次拍攝的脊柱或下肢X線圖像拼接。

[關(guān)鍵詞]X線圖像； 相位相關(guān)； 角點； 自動拼接

臨床使用的X線設(shè)備(如CR、DR等)常用于骨骼脊柱側(cè)凸和下肢畸形檢查[1]，由于單次拍攝面積限制(43 cm×43 cm)，要獲得完整脊柱和全下肢圖像至少需要拍攝2～3次，過去采用有手動對齊膠片和網(wǎng)格拼接[2]，對圖像添加標(biāo)尺[3-4]、在暗盒上做標(biāo)記[5]、對系統(tǒng)設(shè)備改進(jìn)[6]、Photoshop手動[7]和后處理工作站[8]對多次拍攝的圖像進(jìn)行拼接，這些方法存在誤差大、速度慢或需要特殊設(shè)備，后處理工作站拼接精度不高等缺點。隨著圖像處理技術(shù)的發(fā)展，有學(xué)者提出基于特征的圖像拼接方法和基于投票策略的拼接方法，但也存在各自的缺點[9-11]。本文利用圖像處理技術(shù)，提出一種全自動的X線圖像拼接方法，在明確相位相關(guān)初步選定圖像重疊區(qū)域后，通過Harris算法提取角點，利用角點鄰域的灰度信息實現(xiàn)圖像配準(zhǔn)，最后通過線性漸變方法實現(xiàn)圖像融合。

1材料與方法

1.1實驗圖像

實驗圖像由湘雅二醫(yī)院設(shè)備科提供，采集設(shè)備為西門子DR，包括40組脊柱和下肢X線圖像，其中脊柱29例，下肢11例；40組圖像中男性10例，女性30例，平均年齡(38±15)歲。圖像尺寸約為3 000×3 000像素(空間分辨率=7像素/mm)。

1.2方法

1.2.1相位相關(guān)算法相位相關(guān)是通過計算圖像傅里葉變換，然后計算互功率譜沖擊函數(shù)，利用峰值信息來獲取圖像的平移關(guān)系[12-13]，該方法受光照影響較小，適合圖像剛體變換之間位置估計。圖像之間互功率譜為：

對上式求傅里葉逆變換，可以得到?jīng)_擊函數(shù)δ(x-x0,y-y0)，其峰值位置即圖像之間平移關(guān)系(x0,y0)。

1.2.2Harris角點檢測Harris角點檢測[14]是通過在圖像上設(shè)置窗口，當(dāng)窗口朝任意方向移動時，窗口內(nèi)灰度發(fā)生顯著變化的點即為角點。由于X線圖像中骨骼周圍灰度變化顯著，可以采用Harris來檢測圖像特征，具體算法如下。

對于圖像I(x,y)，將圖像窗口平移[u,v]后產(chǎn)生灰度變化E(u,v)為：

其中，Ix和Iy分別為圖像x和y方向的偏導(dǎo)數(shù)。由上式定義角點響應(yīng)函數(shù)R為：R=detM-k(traceM)2，detM=λ1λ2，traceM=λ1+λ2其中，k∈(0.04,0.06)，R只與M的特征值有關(guān)，當(dāng)R>threshold，提取R的正數(shù)局部極大值，則為圖像角點。

通過相位相關(guān)確定圖像粗略重疊區(qū)域后，該區(qū)域特征點檢測運用Harris算法，角點響應(yīng)函數(shù)采用文獻(xiàn)[15]中定義方式：

這里ε可以忽略不計，I表示圖像。

1.2.3角點匹配方法改進(jìn)選取以角點為中心的方形區(qū)域進(jìn)行相關(guān)計算，根據(jù)圖像中角點之間相關(guān)系數(shù)確定角點是否匹配。用R1×N和D1×M表示圖像I1和I2中N和M個角點的方形區(qū)域，則兩幅圖像中角點方形區(qū)域之間相關(guān)系數(shù)矩陣V如下所示：

vi,j=corr(r1,i,d1,j)

其中，corr為2個角點方形區(qū)域的相關(guān)系數(shù)，在VN×M中找出每行最大相關(guān)系數(shù)vi,j，這里相關(guān)系數(shù)閾值為0.9，當(dāng)vi,j>0.9，則I1第i個角點和I2中第j個角點匹配，得到匹配集A；然后調(diào)換I1和I2順序，再進(jìn)行相關(guān)系數(shù)計算，通過相同方法，得到匹配集B，最后A和B中相同的匹配點集即是兩幅圖像的匹配點。而vi,j小于0.9時則沒有匹配點。

為了提高配準(zhǔn)的精確度，可以利用X線圖像之間是近似剛體變換性質(zhì)，即用兩幅圖像之間角點歐式距離保持不變性質(zhì)，采用角點之間的歐式距離剔除錯誤匹配的角點。假設(shè)上一步兩幅圖像配準(zhǔn)角點集合分別為P1(x,y),P2(x,y),兩幅圖像垂直方向位移為H，則它們之間的歐式距離可以表示為：

這里，E∈(H-Δ,H+Δ)，當(dāng)兩幅圖像匹配角點之間歐式距離在這個范圍時，保留匹配角點，Δ取H的10%。

1.2.4RANSAC和圖像融合通過角點匹配算法得到匹配點對后，運用RANSAC(隨機一致性采樣)[16]計算兩幅圖像空間變換參數(shù)。由于臨床X線圖像拍攝環(huán)境受光照影響較小，采用線性漸變?nèi)诤纤惴╗17]能實現(xiàn)重疊區(qū)域的平滑過渡，且運算量較小。

2結(jié)果

對40組具有一定重疊區(qū)域的脊柱和下肢X線圖像進(jìn)行拼接，圖1顯示兩幅待拼接全脊柱和下肢X線圖像。以圖1脊柱為例，通過相位相關(guān)算法估計兩幅圖像粗略重疊區(qū)域，提取兩幅圖像重疊區(qū)域Harris角點，如圖2所示。緊接著應(yīng)用前文提出的角點配準(zhǔn)算法，并運用RANSAC剔除誤配點，得到圖3角點匹配圖，最后融合效果如圖4左圖所示。隨后對所有拼接的X線圖像的進(jìn)行誤差統(tǒng)計，如表1所示，這里誤差是指垂直方向上偏移距離(mm)，計算方法為垂直方向偏移像素與空間分辨率之比。統(tǒng)計結(jié)果顯示本文算法誤差為(15.1±14.9)像素，軟件拼接誤差為(16.2±16.3)，雙尾成對t檢驗P=0.252。圖5顯示了設(shè)備自帶軟件拼接結(jié)果及局部放大圖，圖6顯示了本研究的算法拼接結(jié)果及局部放大圖。

圖1　全脊柱及下肢X線情況Fig.1　Full-spine and lower limbs X-ray images

圖2　Harris算法提取X線圖像角點Fig.2　Harris algorithm for X-ray images to extract features

圖3　角點配準(zhǔn)結(jié)果Fig.3　Corner registration result

全脊柱　　　　　　　　　下肢圖4　全脊柱或下肢X線圖像融合情況Fig.4　Blending result of full-spine or lower limbs

部位誤差(mm)本文算法與軟件拼接例數(shù)(n)百分比(%)成功率(%)脊柱0-11-22-4>46/712/109/82/420.7/24.141.4/34.531.0/27.66.9/13.893.1/86.2下肢0-11-22-4>45/66/50/00/045.5/54.554.5/45.50/00/0100/100

圖5　設(shè)備自帶軟件拼接的X線結(jié)果(右)和局部放情況(左)Fig.5　X-ray image stitching result of software (right) and partially enlarged view (left)

圖6　算法拼接法的X線結(jié)果(右)和局部放大情況(左)Fig.6　X-ray image stitching result of proposed method (right) and partially enlarged view (left)

3討論

本文對40組脊柱和下肢X線圖像進(jìn)行拼接實驗，圖2和圖3顯示了1例全脊柱X線圖像拼接過程，通過相位相關(guān)算法粗略估計確定重疊區(qū)域，再提取角點，與提取整幅圖像角點相比，極大減少配準(zhǔn)過程的運算量，有利于減少錯誤匹配點。隨后采用的線性漸變?nèi)诤纤惴苡行崿F(xiàn)融合區(qū)域平滑過渡，從圖4中可以看出本文算法結(jié)果沒有明顯拼接縫隙。表1顯示誤差4 mm內(nèi)，脊柱拼接成功率達(dá)到93.1%，高于自帶軟件拼接結(jié)果，其中拼接誤差大于4 mm的幾組數(shù)據(jù)是由于拍攝時病人運動導(dǎo)致。通過對圖像局部細(xì)節(jié)進(jìn)行放大，從圖5和圖6可以看出，自帶軟件拼接結(jié)果出現(xiàn)較大的拼接誤差，如圖中圓圈標(biāo)識區(qū)域，而本文所提算法誤差明顯低于軟件結(jié)果。對于下肢圖像拼接，受病人運動干擾因素較小，因此成功率較高。通過分析所提方法與軟件結(jié)果誤差(P>0.05)，結(jié)果無統(tǒng)計學(xué)顯著差異，所提方法能用于X線圖像拼接。

本文針對現(xiàn)有X線圖像基于特征的拼接算法，對整幅圖像提取特征點，運算量大和特征點誤匹配率增加的缺點，提出一種利用相位相關(guān)粗略估計重疊區(qū)域的圖像拼接算法，該方法只對重疊區(qū)域進(jìn)行角點檢測，降低了特征點提取算法運算量，并運用角點的方形區(qū)域灰度信息和距離抑制等配準(zhǔn)手段，保證角點匹配正確，從而有效實現(xiàn)X線圖像正確無縫拼接。通過和臨床后處理工作站結(jié)果進(jìn)行比較，驗證了本算法的拼接可靠性，該算法對于臨床診斷脊柱側(cè)凸和下肢畸形具有重要意義。

4參考文獻(xiàn)

[1] 白亞妮,賀洪德,鄧振生.CR在雙下肢全長投照技術(shù)中的應(yīng)用[J]. 實用放射學(xué)雜志, 2006 (9):1141-1142.

[2] Dewaele P, Vuylsteke P, Schoeters EP, et al. Full-leg/full-spine image stitching: a new and accurate CR-based imaging technique[C]. Medical Imaging 1999:131-138.

[3] Yaniv Z, Joskowicz L. Long bone panoramas from fluoroscopic x-ray images[J]. IEEE transactions on medical imaging， 2004 (1):26-35 .

[4] Gooben A, Schluter M, Pralow T, et al. A stitching algorithm for automatic registration of digital radiographs[C]. In A. Campilho and M. Kamel, editors, Image Analysis and Recognition, Lecture Notes in Computer Science, 2008:854-862.

[5] Markus G, Wilfried B, Berned L, et al. An Algorithm for Automatic Stitching of CR X-ray Images[J]. Advances in Medical Engineering, 2007(114):193-198.

[6] Wang L, Traub J, Weidert S, et al. Parallax-Free Long Bone X-ray Image Stitching[C]. Medical Image Computing and Computer-Assisted Intervention (MICCAI), London, UK, 2009:173-180.

[7] 徐亮,覃濤.DR圖像手動拼接技術(shù)在全膝關(guān)節(jié)置換術(shù)中的應(yīng)用[J].華中科技大學(xué)學(xué)報:醫(yī)學(xué)版, 2014(4)：456-458.

[8] 李振宇,蘇文姬.DR圖像拼接技術(shù)的臨床應(yīng)用[J].醫(yī)學(xué)理論與實踐， 2012(21)：2678-2679.

[9] 張旭峰，嚴(yán)壯志，Wanigasekar NR, 等. 基于拼接技術(shù)的醫(yī)學(xué)X光片全景成像[J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程， 2005(5)：360-364.

[10]王雙玲. 基于雙向異步投票策略角點匹配的X線醫(yī)學(xué)圖像拼接[D]. 長沙：中南大學(xué)， 2011.

[11]趙宏，趙凱，江春花，等. 旋轉(zhuǎn)不變的X線圖像相關(guān)度拼接[J]. 中國圖象圖形學(xué)報， 2013(6)：654-660.

[12]Kuglin CD, Hines DC. The phase correlation image alignment method[C]. IEEE International Conference on Cybemetics and Society, 1975:163-165.

[13]Foroosh H, Zerubia JB, Berthod M. Extension of Phase Correlation to Subpixel Registration[J]. IEEE Transactions on Image Processing, 2002 (3):188-200.

[14]Harris C, Stephens M. A Combined Corner and Edge Detector[C]. Proc. of 4th Alvey Vision Conference, 1988:147-152.

[15]Noble J A. Finding corners[J]. Image and vision Computin, 1988 (2):121-128.

[16]Fischler MA, Bolles RC. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communication of ACM, 1981 (6):381-395.

[17]Szeliski R. Video Mosaics for Virtural Environments[J]. IEEE Computer Graphics and Applications, 1996 (2):22-29.

(2016-01-07收稿，2016-03-24修回)

中文編輯： 吳昌學(xué)； 英文編輯： 劉華

The Research of X-ray Image Stitching Method Based on Image Processing Technique

YANG Fan1, HE Yan1, DENG Zhensheng2, YAN Ang3

(1.DepartmentofBiomedicalEngineering,GuizhouMedicalUniversity,Guiyang550004,Guizhou,China; 2.DepartmentofBiomedicalEngineering,CentralSouthUniversity,Changsha410083,Hunan,China; 3.EquipmentDepartment,theSecondXiangyaHospitalofCentralSouthUniversity,Changsha410011,Hunan,China)

[Abstract]Objective: To explore the feasibility of automatic stitching method for full-spine and lower limbs X-ray images based on image processing technique. Methods: Medical image processing technology was adopted in this research. Phase correlation algorithm was used to identify rough areas, and Harris algorithm to extract features and corner neighborhood gray scale information to actualize accurate image registration. 40 pairs of spine or lower limbs X-ray images were used to conduct algorithm stitching and compared with the result of stitching software. Results: 40 pairs of spine or lower limbs X-ray images were used to conduct algorithm stitching, and the stitching success rate with deviation within 4mm was 95%, which was higher than that of stitching software. Conclusion: The algorithm stitching method can effectively actualize image stitching of spine or lower limb X-ray images.

[Key words]X-ray images; phase correlation; corner; auto-stitching

[中圖分類號]TP391.41

[文獻(xiàn)標(biāo)識碼]A

[文章編號]1000-2707(2016)04-0395-04

*[基金項目]國家自然科學(xué)基金地區(qū)科學(xué)基金項目(81460206)

**通信作者 E-mail:smileconfidence@163.com

網(wǎng)絡(luò)出版時間：2016-04-20網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/52.5012.R.20160420.1819.026.html