基于Laplace的顯微物體三維形貌快速重構(gòu)

胡致杰 何曉昀

摘 要：顯微物體表面三維形貌觀測(cè)與分析在工業(yè)、醫(yī)學(xué)、藝術(shù)、計(jì)算機(jī)等領(lǐng)域具有越來(lái)越重要的應(yīng)用價(jià)值，也發(fā)揮著越來(lái)越重要的作用。該文以能夠快速、廉價(jià)、非接觸地重構(gòu)出顯微物體三維形貌為目標(biāo)，提出一種基于改進(jìn)的Laplace算子值進(jìn)行圖像的聚焦評(píng)價(jià)、高度測(cè)量和三維重構(gòu)的方法，該方法通過(guò)計(jì)算每個(gè)像素點(diǎn)的改進(jìn)Laplace值，幫助用戶快速實(shí)現(xiàn)顯微物體的三維形貌重構(gòu)，將顯微物體的形貌觀測(cè)和分析從二維擴(kuò)展到三維。大量的實(shí)驗(yàn)結(jié)果和用戶體驗(yàn)反饋信息進(jìn)一步驗(yàn)證了該方法的有效性和實(shí)用性。

關(guān)鍵詞：Laplace算子；顯微物體；聚焦評(píng)價(jià)；聚焦高度；三維重構(gòu)

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言（Introduction）

由于社會(huì)的發(fā)展，越來(lái)越多行業(yè)對(duì)微觀物體表面形貌觀測(cè)的要求也越來(lái)越高，以獲取微觀物體更多的表面形貌信息，比如工業(yè)分析、醫(yī)學(xué)分析等[1]。但是，由于普通顯微鏡的固有特性，只有聚焦區(qū)域的圖像成像清晰，非聚焦區(qū)域的圖像成像模糊。因此普通顯微鏡無(wú)法實(shí)現(xiàn)在同一景深中對(duì)顯微物體表面形貌的全聚焦，更不能重構(gòu)其三維形貌。

隨著計(jì)算機(jī)圖像處理技術(shù)的快速發(fā)展，在普通顯微鏡下實(shí)現(xiàn)顯微物體形貌的三維重構(gòu)已成為可能，普通顯微鏡下的多聚焦圖像經(jīng)過(guò)相應(yīng)變換，可重構(gòu)出微觀物體的三維形貌[2，3]。

2 三維形貌重構(gòu)的基本原理（Principles of 3D

reconstruction）

從聚焦圖像獲取高度DFF[4，5]（Depth From Focus）的基本原理是：首先通過(guò)計(jì)算機(jī)控制步進(jìn)電機(jī)勻速?gòu)南露?、由遠(yuǎn)而近地調(diào)整顯微鏡的Z軸位置，利用攝像頭獲取微觀物體的序列圖像1—n，并將每幅圖像的圖像信息記錄在三維矩陣f（x，y，i）中；然后判斷每幅圖像的聚焦區(qū)域和非聚焦區(qū)域；最后通過(guò)聚焦分析獲取聚焦區(qū)域的深度信息，從而完成顯微物體形貌的三維重建，DDF基本原理圖如圖1所示[6，7]。

3 三維形貌重構(gòu)的相關(guān)算法（Algorithms of 3D

reconstruction）

3.1 聚焦評(píng)價(jià)算法

要準(zhǔn)確判斷序列圖像中的聚焦區(qū)域和非聚焦區(qū)域，就必須對(duì)圖像的聚焦程度進(jìn)行判斷，常用的測(cè)量聚焦程度的算法有灰度方差算法、梯度算法、Laplace算法和改進(jìn)的Laplace算法等[8]。

Laplace算法是二階導(dǎo)數(shù)算法，可獲取圖像的高頻分量，但對(duì)x、y兩個(gè)方向的二階偏導(dǎo)數(shù)可能會(huì)符號(hào)相反，數(shù)值相互抵消，使圖像的聚焦產(chǎn)生偏差[9，10]，所以采用改進(jìn)的Laplace算法作為聚焦評(píng)價(jià)算法，其計(jì)算方法如下：

（1）

為便于計(jì)算通常用差分代替微分，可得式（2）。

（2）

（2）

將式（2）應(yīng)用到圖像系列1—n中，計(jì)算出每個(gè)點(diǎn)在圖像系列的改進(jìn)Laplace算子值ML（x，y，i），將計(jì)算結(jié)果構(gòu)成一個(gè)三維矩陣，但由于在實(shí)際操作中存在多種干擾因素，若直接采用計(jì)算結(jié)果將對(duì)三維形貌的重構(gòu)產(chǎn)生較大影響，通過(guò)實(shí)驗(yàn)比較發(fā)現(xiàn)對(duì)計(jì)算結(jié)果進(jìn)行一次步長(zhǎng)為2的中值濾波操作可以得到更好的效果，中值濾波算法為[11，12]：

（3）

其中，ML（x，y，i）是點(diǎn)（x，y）在第i幅圖像中計(jì)算出來(lái)的改進(jìn)Laplace算子值，MML（x，y，i）是經(jīng)中值濾波后的濾波值。

在每幅圖像中都存在背景圖像和物像[13]，聚焦的物像是進(jìn)行圖像融合和三維重構(gòu)的關(guān)鍵，因此需在圖像中提取聚焦的物像，分離背景。由于改進(jìn)的Laplace算法對(duì)圖像的高頻分量比較敏感，聚焦圖像的改進(jìn)Laplace算子值比較高，非聚焦圖像或背景的改進(jìn)Laplace算子值比較低，通過(guò)設(shè)置合適的閾值T，如果點(diǎn)（x，y）在圖像序列中所有的中值濾波值都小于閾值T，則可判定它為背景。

取出點(diǎn)（x，y）在圖像系列中的濾波值MML（x，y，i）大于或等于閾值T的那些數(shù)據(jù)，取其最大值作為聚焦值，表示為：

（4）

其中，F(xiàn)P（x，y）表示點(diǎn)（x，y）的聚焦值，即MML（x，y，i）在閾值以上的最大值。

3.2 顯微物體高度測(cè)量算法

在本文中顯微物體的高度采用的是相對(duì)高度而非真實(shí)高度，由于步進(jìn)電機(jī)推動(dòng)顯微鏡Z軸勻速移動(dòng)，顯微物體與顯微鏡頭之間的距離構(gòu)成線性關(guān)系（s=v*t），同時(shí)圖像采集攝像機(jī)采集圖像的速度也是恒定的，因此顯微物體的高度就與圖像的序號(hào)i對(duì)應(yīng)起來(lái)（s→t），故采用圖像的序號(hào)i作為顯微物體的相對(duì)高度，表示為：

（5）

其中，F(xiàn)H（x，y）表示點(diǎn)（x，y）的相對(duì)聚焦高度，當(dāng)點(diǎn)（x，y）在序號(hào)為m圖像上的中值濾波值等于它的聚焦值，意味著點(diǎn)在第m幅圖像上聚焦，故取m作為該點(diǎn)的聚焦高度；如果點(diǎn)是背景，就統(tǒng)一將高度確定為固定的序號(hào)N。

3.3 多聚焦圖像融合算法

圖像系列中的每幅圖像都存在聚焦區(qū)域和非聚焦區(qū)域，從式（4）中可知，每個(gè)點(diǎn)的聚焦位置基本位于序列號(hào)不同的圖像上，多聚焦圖像融合就是將每個(gè)點(diǎn)的聚焦圖像“拼接”到一幅二維圖像上，從而得到清晰的顯微物體全景深圖像[14]。融合算法思想如下：根據(jù)式（5）可以確定像素點(diǎn)的聚焦位置，取出其聚焦位置的像素信息作為融合圖像的像素信息，對(duì)圖像中的每個(gè)點(diǎn)皆進(jìn)行該操作就可完成全景深圖像的融合，用公式表示為。

（6）

其中，f（x，y，m）是點(diǎn)（x，y）在聚焦高度為m處的像素，f（x，y）是全景深圖像矩陣。

3.4 三維形貌重構(gòu)算法

根據(jù)式（6）和式（5）可分別獲得每個(gè)像素點(diǎn)的聚焦信息和聚焦時(shí)的高度信息，利用這兩個(gè)信息可以重構(gòu)出該像素點(diǎn)的三維形貌，對(duì)像素矩陣執(zhí)行相同的操作即可重構(gòu)出全部三維形貌。

4 實(shí)驗(yàn)結(jié)果與分析（Experimental results and

analysis）

為進(jìn)行實(shí)驗(yàn)驗(yàn)證，將普通顯微鏡進(jìn)行改裝，整個(gè)實(shí)驗(yàn)系統(tǒng)包括計(jì)算機(jī)、天敏SDKZ000圖像采集卡、Panasonic WV-GP470彩色數(shù)字?jǐn)z像機(jī)、STEPPING MOTOT-42HSZA47-254步進(jìn)電機(jī)、TMS320LF2407DSP控制模塊和普通光學(xué)顯微鏡。

實(shí)驗(yàn)觀測(cè)對(duì)象為五角銅硬幣邊緣，圖像采集卡每隔370ms采集一張圖片，共計(jì)采集176幅圖像，部分原始圖像如圖2所示。

Fig.2 Original image series （Total 176， part of the list here）

采用公式（3）和公式（4）求取每個(gè)像素點(diǎn)的中值濾波值和聚焦圖層號(hào)，利用公式（5）和公式（6）獲得每個(gè)像素點(diǎn)的聚焦高度，從而完成顯微形貌的三維重構(gòu)，重構(gòu)后的效果圖如圖3所示。

通過(guò)對(duì)以上實(shí)驗(yàn)效果圖的分析和比較，利用Laplace算子作為聚焦評(píng)價(jià)標(biāo)準(zhǔn)能較好地重構(gòu)出顯微物體三維形貌，它真實(shí)清晰地反映出物體的顯微結(jié)構(gòu)，是工業(yè)分析、醫(yī)學(xué)分析的一個(gè)較好解決方案。

5 結(jié)論（Conclusion）

通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證，證明利用顯微物體的二維圖像重構(gòu)出其三維形貌是可行的，利用改進(jìn)的Laplace算子作為二維圖像的聚焦評(píng)價(jià)標(biāo)準(zhǔn)能較好地測(cè)量出顯微物體的聚焦高度，從而較準(zhǔn)確地重構(gòu)出顯微物體的三維形貌。

此重構(gòu)方法采用普通顯微鏡重構(gòu)出三維形貌，讓觀察者更能全面、細(xì)致地觀測(cè)和分析顯微物體，將分析從二維擴(kuò)展到三維。同時(shí)，由于普通顯微鏡價(jià)格低廉，可以極大地降低觀測(cè)和研究成本。當(dāng)然此重構(gòu)方法也存在不足和改進(jìn)之處，首先，該方法計(jì)算量大，運(yùn)行速度較慢，內(nèi)存消耗較大，不能進(jìn)行實(shí)時(shí)重構(gòu)；其次，圖像系列始終從一個(gè)方向（Z軸）進(jìn)行采集，不能實(shí)現(xiàn)多角度采集，無(wú)法重構(gòu)出顯微物體的全部三維形貌。這些都是以后改進(jìn)的方向。

參考文獻(xiàn)（References）

[1] 王伯雄，朱彥民，羅秀芝.三維形貌的快速測(cè)量方法[J].清華大

學(xué)學(xué)報(bào)，1999，32（2）：57-58.

[2] 陳曉榮，蔡萍，施文康.光學(xué)非接觸三維形貌測(cè)量技術(shù)新進(jìn)展

[J].光學(xué)精密工程，2000，10（05）：528-532.

[3] Takasaki H Moir.topography[J].Appl.Opt.，2013，9（10）：1467-

1472.

[4] 韓冬兵.基于Depth from Focus的序列顯微圖像融合與三維測(cè)

量技術(shù)研究[M].北京航空航天大學(xué)碩士學(xué)位論文，2004.

[5] John Ens，Peter Lawrence.an investigation of methods for

determining depth from focus.IEEE Transactions on pattern

analysis and machine intelligence，2013，15（2）：97-108.

[6] 王金巖，史文華，敬忠良.基于Depth from Focus的圖像三維重

建[J].南京航空航天大學(xué)學(xué)報(bào)，2007，02：181-186.

[7] Shree K.Nayar，Yasuo Naka.Shape from Focus[J].IEEE

Transactions on pattern analysi and machine intelligence，

2014，16（8）：824-830.

[8] 何曉昀.磨粒表面形貌分析與三維重構(gòu)[M].武漢理工大學(xué)碩

士學(xué)位論文，2005.

[9] M.Subbarao，and T.S.Choi.Accurate Recovery of Three

Dimensional Shape from Image Focus[J].IEEE Trans. Pattern

Analysis and Machine Intelligence，2005 17（3）：266-274.

[10] H.H.Hookins.The frequency response of a defocused optical

system[J].Proc，Royal Soc，London，A，2011，231：91-103.

[11] Volder Tympel.Three Dimensional Animation with a

Conventional Light Microscopy[C].Proceedings of Three-

Dimensional Microscopy： Image Acquisition and Processing

IV，SPIE，2013，2984：190-198.

[12] Alex P.Pentland.A new sense for depth of field[J].IEEE Trans

Patt Anal Machine Intelligence，2011，9（4）：523-531.

[13] M.Subbarao，Y F.Liu.Accurate Reconstruction of Three-

dimensional Shape and Focused Image from a Sequence of

Noisy Defocused Images[C].Proceedings of SPIE Conference

on Three-Dimensional Imaging and Laser-Based Systems for

Metrology and Inspection，2010（11）：178-191.

[14] A.P.Pentland.Depth of Scene from Depth of Field[M].Proc.

Image Understanding Workshop，2012.

作者簡(jiǎn)介：

胡致杰（1974-），男，碩士，講師.研究領(lǐng)域：數(shù)據(jù)挖掘，圖像

處理.

何曉昀（1978-），男，碩士，講師.研究領(lǐng)域：模式識(shí)別，圖像

處理.