基于焦平面估計的快速掃片方法

盧祎 張雪媛 何勇軍

摘 要：隨著儀器自動化的發(fā)展，基于顯微鏡的自動閱片系統(tǒng)被廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域。該系統(tǒng)需要在顯微鏡視野下移動多個位置并拍攝標(biāo)本圖像，以完成整個掃描任務(wù)。但是由于載物臺平面與物鏡中軸線不能保證絕對的垂直，或者觀測樣本表面的起伏，使得各個視野的焦點不在一個平面內(nèi)，有必要通過聚焦移動以獲得清晰圖像。傳統(tǒng)方法在每個位置都進行聚焦，導(dǎo)致聚焦移動次數(shù)過多，掃片的效率較低。為了減少掃片的時間，提出了一種基于焦平面估計的快速掃片方法。通過采集有代表性位置的焦點，估計其附近位置的焦點，在掃描載玻片時可以直接移動到估計的焦點位置完成聚焦。實驗表明此方法能有效減少焦點搜索的次數(shù)，提高掃片效率。

關(guān)鍵詞：自動聚焦;自動顯微鏡;焦平面估計;多點平面分割方法;平面判斷方法

DOI：10.15938/j.jhust.2020.01.008

中圖分類號： TH742

文獻標(biāo)志碼： A

文章編號： 1007-2683（2020）01-0051-08

Abstract：With the development of instrument automation， the microscope-based automatic reading system is used widely in the medical fieldThis system needs moving many positions under the microscope and capturing the images to complete the scanning taskHowever， because it is difficult to ensure the plane of the platform and the axis of the object lens are vertical， and the surface of the observed samples may be not even， the focuses in different locations are not in a planeTherefore， it is necessary to run auto focusing to obtain clear imagesConventional methods perform focusing at each location， causing excessive movements and inefficient scanningIn order to reduce the scanning time， this paper presents a fast scanning method based on focal plane estimationBy acquiring the focuses at several representative positions， the focuses of the position near them are estimated， and the platform（or the lens） can be moved directly to the estimated positionExperiments show that this method can reduce the number of focus searching effectively and improve the scanning efficiency-

Keywords：automatic focusing; automatic microscope; focal plane estimation; multi-point plane segmentation method; method of determining the plane

0 引 言

隨著電子顯微鏡的出現(xiàn)和圖像處理技術(shù)的發(fā)展，基于人工智能的病理分析已經(jīng)成為當(dāng)下最主流的研究方向。這種技術(shù)首先在顯微鏡下采集脫落細胞或者組織切片的圖片，然后分析圖像病變情況，為病理診斷提供輔助。由于相機視野寬度有限，分析一個樣本需要采集多幅圖像。一個載玻片樣本的掃描一般需要采集300張以上的圖片。

全自動顯微鏡是通過自動移動載物平臺使電子顯微鏡采集不同位置視野的圖像。由于無法確保載物臺平面與顯微鏡觀察方向完全垂直，或者觀測樣本表面的起伏使焦點不在同一個平面內(nèi)，導(dǎo)致顯微鏡下的圖像不清晰。全自動顯微鏡采用自動聚焦的方式，確保拍攝到清晰的圖像。自動聚焦包含兩個關(guān)鍵環(huán)節(jié)，一是清晰度評價函數(shù)，用于評價圖像的清晰程度;二是聚焦搜索策略，是尋找焦點的方法。典型的清晰度評價函數(shù)有低灰度值統(tǒng)計法[1]、基于邊緣檢測[2-4]、灰度值差分絕對值之和算子[5-6]、拉普拉斯算子[7]、Roberts梯度算子[8-9]等。焦點搜索方法有遍歷搜索法[10]和變步爬山法[1]。目前掃片效果較好的聚焦策略是使用有三種步長的變步爬山。先計算當(dāng)前視野的清晰度評價函數(shù)值，根據(jù)所得函數(shù)值判斷離焦?fàn)顟B(tài)，離焦嚴重、輕度和微小分別對應(yīng)變步爬山的大步長、中步長和小步長。使用離焦?fàn)顟B(tài)對應(yīng)的步長在垂直載玻片的方向上移動物鏡，每移動一個步長計算一次評價函數(shù)值，更新離焦?fàn)顟B(tài)，多次探測，取清晰度最大的位置既是當(dāng)前視野的焦點，采集圖像。由于變步爬山法在掃片過程中會多次移動，甚至?xí)霈F(xiàn)探測焦點的死循環(huán)，掃描效率低下。

顯微鏡的載物平臺具有一定精度，相鄰視野的焦點位置存在一定的依賴關(guān)系，比如處于同一個平面但與鏡頭中軸線不垂直。因此，當(dāng)樣本玻片放在顯微鏡下時，只要可以確定這個平面和顯微鏡觀察角度的關(guān)系就可以確定相鄰視野的焦平面。掃描某一個視野時，首先通過估計出的焦平面計算出該視野的焦點位置，然后直接移動到焦點位置實現(xiàn)聚焦操作，無需多次移動去試探性地搜索焦點，就可以在最大程度的提升自動閱片的效率?；诖?，本文利用三點確定一個平面的方式粗略估計焦平面，判斷研究方向的正確性。首先采集3個不在一條直線上的點自動聚焦，再取這3個點的坐標(biāo)，這3個點可以確定的三維平面作為估計的焦點平面。但在應(yīng)用中，除了平臺誤差外，還有樣本的被觀察表面可能存在起伏，單個平面對焦平面的刻畫不夠精細。因此，本文進一步提出了一種基于多點聚焦的快速采集方法。該方法是將樣本掃描區(qū)域細分為多個區(qū)域，認為每個三角區(qū)域范圍內(nèi)的焦點落在對應(yīng)的三角區(qū)域所在的平面上。實驗中使用低灰度值統(tǒng)計法、灰度值差分絕對值之和算子和拉普拉斯算子清晰度評價函數(shù)對采集圖片進行清晰度評價。實驗結(jié)果表明，三點聚焦可以在保持清晰度情況下有效提高掃描效率，而多點聚焦方法比三點聚焦在清晰度提升方面具有更好的性能，實現(xiàn)犧牲較小清晰度的前提下，提高掃片效率。

1 三點聚焦快速掃片方法

標(biāo)準(zhǔn)的三維平面重建，都是采用3個點建立平面。在顯微鏡下找到3個不在同一直線上的3個點，利用自動聚焦技術(shù)，獲取到每個位置的焦點坐標(biāo)。已知3個已知點的坐標(biāo)P（x0，y0，z0）、Q（x1，y1，z1）、U（x2，y2，z2），如圖1所示，可得兩個相交的空間向量PQ、PU，利用這兩個向量可以求得垂直于這三個點所確定平面的法線向量，如式（1），求得n=（A，B，C），利用點法式計算得到平面方程（2）。

三點聚焦的快速掃片流程如圖2所示，將組織樣本玻片放置在顯微鏡下，首先在樣本上找到3個不在一條線上的3個點，分別聚焦獲得每個點的X軸、Y軸和Z軸坐標(biāo)，然后通過這3個點計算其所在平面。接下來開始掃片，將平臺移動到下一個采集圖像的位置，通過該位置的X軸和Y軸坐標(biāo)計算對應(yīng)的Z軸坐標(biāo)，移動Z軸到指定位置，最后采集圖像，直到采集的數(shù)量滿足要求，結(jié)束掃片。

2 多點聚焦快速掃片方法

三點聚焦的方法，能有效解決整個平臺的傾斜問題，但缺無法解決平臺加工的誤差問題和被觀察樣本表面起伏問題。因為三點聚焦的方法對聚焦曲面的刻畫不夠精細，而且對3個點的精度要求非常高，當(dāng)任意一個點的焦點位置聚焦精度不夠時，所建立的平面與真實平面會出現(xiàn)差異，且在三角形外部距離3個點越遠的位置，其偏差距離越大，導(dǎo)致圖像模糊。

多點聚焦快速掃片方法，是在3個點建立平面的基礎(chǔ)上，增加了多個三角形平面，并減小了每個三角形的面積，這樣做更加精細劃分被觀測平面，可以應(yīng)對較復(fù)雜的觀測表面。多點聚焦快速掃片流程如圖3所示，將組織樣本玻片放置在顯微鏡下，首先在樣本上按照一定方式找到多個位置，分別聚焦獲得每個位置的X軸、Y軸和Z軸坐標(biāo)，通過指定的分割方法將樣本分割成多個三角區(qū)域，并確定每個三角區(qū)域的平面公式。將平臺移動到下一個采集圖像的位置，通過該位置的X軸和Y軸坐標(biāo)，判斷該位置所在的三角形區(qū)域，根據(jù)該區(qū)域?qū)?yīng)的平面公式，計算對應(yīng)的Z軸坐標(biāo)，移動Z軸到指定位置，最后采集圖像，直到采集的數(shù)量滿足要求，結(jié)束掃片。

2-1 多點平面分割方法

由于樣本涂層的形狀一般都是一個近似圓，所以建立坐標(biāo)系的原點采用組織樣本的中心點，取樣點如圖4所示，圖中圓圈對應(yīng)組織涂層的位置，在圓內(nèi)均勻的選擇14個點，這14個點要盡可能覆蓋載玻片的各個角落，目的是在建模時顧及到載玻片全局。本方法選點個數(shù)是14個，這是一個較優(yōu)的方案，原因是選點過少導(dǎo)致焦平面建模粗糙，導(dǎo)致聚焦效果不理想，而選點過多導(dǎo)致建模復(fù)雜影響掃片效率。這些點將整個樣本分割成多個相鄰三角形，共計建立了14個平面，這些平面幾乎覆蓋整個樣本。

如圖5是在圖4的點的分布下對每個點聚焦后建立出若干個估計的焦平面。多點聚焦與三點聚焦（建立單個焦平面）相比的特點在于對平面進行了細分，從而多點聚焦還原出平面更多細節(jié)，使得每一個小的焦平面更加精確，更符合實際被觀測物體表面的情況。

2-2 判斷視野所在三角區(qū)域

由于分割后的形狀是多個相鄰的三角形組合而成。對于給定的視野，首先要確定其所屬的三角形區(qū)域，然后確定視野所在焦平面上點的垂直距離。根據(jù)三角形的性質(zhì)，可利用外心判斷點的所屬平面。外心是三角形外接圓的圓心。計算方法如圖6所示，對3條邊分別作垂直平分線，它們的交點就是外心。計算點到每個外心的距離，與其距離最近外心對應(yīng)的三角形，就是該點所在的平面。距離計算為

圖中數(shù)字部分覆蓋著載玻片上被觀測表面，每一個數(shù)字代表著物鏡下每一個視野，數(shù)字0是掃片的起始位置，數(shù)字遞增的順序為掃描路徑。掃描時，電動載物臺按照掃描路徑依次將每個視野送到物鏡下觀察，在每個視野下計算圖像的清晰度評價函數(shù)值，判定當(dāng)前離焦?fàn)顟B(tài)，選擇移動步長，移動物鏡后再次計算清晰度評價函數(shù)值，更新離焦?fàn)顟B(tài)，直到找到焦點，再使用①高清數(shù)碼相機拍攝清晰圖像，載物臺將下一個視野送到物鏡下，直至掃描完所有的視野。掃描一張載玻片可以拍攝332張圖片。

3-2 實驗中用到的清晰度評價函數(shù)

清晰度評價函數(shù)用于評價圖像的清晰度，不同的評價函數(shù)使用不同的數(shù)學(xué)方法將圖像上有關(guān)清晰度的信息通過數(shù)值表現(xiàn)出來，通過數(shù)值間的大小比較判斷圖像的清晰程度。下面介紹本實驗所使用的清晰度評價函數(shù)。

3.3 實驗內(nèi)容

實驗數(shù)據(jù)是宮頸細胞樣本，樣本圖片如圖9所示。分別用傳統(tǒng)聚焦掃片方法[1]、三點聚焦掃片方法和多點聚焦掃片方法，對細胞樣本進行圖像采集。將采集后的圖像用3種清晰度評價函數(shù)（SMD、SML、LGV）計算每次掃片的平均清晰度，然后計算清晰度損失如下：

第一次實驗結(jié)果，清晰度如圖10所示。表1數(shù)據(jù)可以看到3種掃片方法在不同清晰度評價函數(shù)下的函數(shù)值。全部聚焦是每個位置計算多次清晰度評價函數(shù)值并配合著變步爬山的方法，是目前效果最好的聚焦和掃片方法。所以將全部聚焦的清晰度作為標(biāo)準(zhǔn)，對比另外兩種掃片方法的清晰度。圖中清楚顯示三點聚焦得到圖像的清晰度比全部聚焦得到圖像的清晰度小;多點聚焦得到圖像清晰度介于二者之間，說明多點聚焦的效果要好于三點聚焦方法。

表1是清晰度損失。使用上述式（10）計算出三點聚焦和多點聚焦相對于全部聚焦在LGV、SML、SMD 3種不同清晰度評價函數(shù)下的損失?？梢悦黠@看到3種清晰度評價函數(shù)中三點聚焦的清晰度損失均大于多點聚焦的清晰度損失。將每種掃片方法的清晰度損失的平均值作為其最終的考量。計算三點聚焦的清晰度損失平均值是24-80%，表明這種方法采集的圖像與全部聚焦采集的圖像清晰度差異達到24-80%。3種清晰度函數(shù)計算多點聚焦的清晰度損失平均值是10-21%，表明多點聚焦清晰度損失比三點聚焦清晰度損失低。

四組實驗中，兩次使用細胞分布正常的樣本，一次使用細胞分布密集的樣本，一次使用細胞分布稀疏的樣本，模擬了實際使用的全部情況，細胞密集的樣本對于焦平面估計方法最理想;其次是細胞分布正常的樣本;而細胞分布稀疏的樣本使得三點聚焦方法產(chǎn)生較大誤差，但是多點聚焦算法表現(xiàn)優(yōu)于三點聚焦，體現(xiàn)了其良好的魯棒性。實際的使用樣本多為細胞分布均勻的情況，細胞分布極多和極少的情況很少發(fā)生。實驗證明，無論是細胞密集，細胞分布正常還是細胞分布稀疏，從實驗結(jié)果中可以發(fā)現(xiàn)，多點聚焦的清晰度損失小于三點聚焦的清晰度損失，且多點聚焦的清晰度與全部聚焦的清晰度相差極小。這表明了多點聚焦快速掃片方法比三點聚焦掃片方法采集的圖像更加清晰，證明了多點聚焦方法更加準(zhǔn)確還原了被觀測物體的表面?？梢哉J為與全部聚焦的圖像清晰度基本一致，而且通過對焦點平面建模的方式估計焦點位置，減少了傳統(tǒng)方法探測焦點次數(shù)，約節(jié)省40%的掃片時間，與預(yù)期結(jié)果一致。

4 結(jié) 論

本文提出并講解了三點聚焦快速掃片方法的技術(shù)原理，并針對其存在的問題提出了多點聚焦快速掃片方法。實驗采用三種清晰度評價函數(shù)分別對全部聚焦、三點聚焦和多點聚焦掃片方法采集的圖像進行評價。實驗數(shù)據(jù)表明，多點聚焦快速掃片方法比三點聚焦掃片方法的清晰度更高，與全部聚焦掃片方法所采集圖像的清晰度相差較小，表明了多點聚焦快速掃片方法能更加精確還原被觀測物體表面，實現(xiàn)精準(zhǔn)的焦平面估計，并且具有一定魯棒性。而且掃片用時要比全部聚焦掃片方法節(jié)省40%，表明了所提出方法的有效性。下一步的研究是使用機器學(xué)習(xí)技術(shù)通過計算圖像的模糊程度預(yù)測細胞焦點的位置。

參 考 文 獻：

[1] 梁隆愷，趙晶，何勇軍. 一種顯微鏡自動聚焦算法[J]. 哈爾濱理工大學(xué)學(xué)報，2018，23（2）：46.???LIANG Longkai， ZHAO Jing， HE Yongjun. A Focusing Algorithm in Automatic Microscope[J]. Journal of Harbin University of Science & Technology， 2018， 23（2）：46.

[2] 吳興蛟， 吳晟. 基于邊緣檢測的位圖矢量化的實現(xiàn)[J]. 計算機與數(shù)字工程， 2016（2）：331.WU Xingjiao， WU Sheng. Bitmap Vector Quantization Based on Edge Detection[J]. Computer & Digital Engineering， 2016（2）：331.

[3] 陳云彪，張麗琴，李漢明，等. 基于邊緣檢測的車牌識別算法的實現(xiàn)[J]. 電子測試，2017（21）：41.CHEN Yunbiao， ZHANG Liqin， LI Hanming， et al. The Algorithm of License Plate Recognition Based on Edge Detection[J]. Electronic Test， 2017（21）：41.

[4] 楊陶， 田懷文， 劉曉敏，等. 基于邊緣檢測與Otsu的圖像分割算法研究[J]. 計算機工程， 2016， 42（11）：255.YANG Tao， TIAN Huaiwen， LIU Xiaomin， et al. Research on Image Segmentation Algorithm Based on Edge Detection and Otsu[J]. Computer Engineering， 2016， 42（11）：255.

[5] QIU Y， CHEN X， LI Y， et al. Evaluations of Auto-focusing Methods Under a Microscopic Imaging Modality for Metaphase Chromosome Image Analysis[J]. Analytical Cellular Pathology， 2013， 36（1/2）：37.

[6] ZHANG Xiangfen， WU Hongfeng， MA Yan. A New Auto-focus Measure Based on Medium Frequency Discrete Cosine Transform Filtering and Discrete Cosine Transform[J].Applied and Computational Harmonic Analysis， 2016（3）：430.

[7] TIAN Y， HU H， CUI H， et al. Three-dimensional Surface Microtopography Recovery from a Multifocus Image Sequence using an Omnidirectional Modified Laplacian Operator with Adaptive Window Size.[J]. Applied Optics， 2017， 56（22）：6300.

[8] 王方超， 張旻， 宮麗美. 改進的Roberts圖像邊緣檢測算法[J]. 探測與控制學(xué)報， 2016， 38（2）：88.WANG Fangcao， ZHANG Min， GONG Limie. Image Edge Detecion Algorithm of Roberts Operator[J]. Journal of Detection & Control， 2016， 38（2）：88.

[9] 付萬程， 達飛鵬， 黃源. 基于分數(shù)階梯度算子的圖像匹配算法[J]. 圖學(xué)學(xué)報， 2017， 38（3）：352.FU Wancheng， DA Feipeng， HUANG Yuan. Image Matching Algorithm Based on Fractional-Order Gradient Operator[J]. Journal of Graphics， 2017， 38（3）：352.

[10]李惠光， 李敏， 邵暖， 等. 顯微視覺系統(tǒng)中自動聚焦算法的研究[J]. 計算機工程與應(yīng)用， 2016， 52（14）： 197.LI Huiguang， LI Min， SHAO Nuan， et al. Study on Auto-focusing Algorithm of Micro-vision System[J]. Computer Engineering and Applications， 2016， 52（14）： 197.

[11]趙晶， 梁隆愷， 何勇軍， 等. 復(fù)雜背景下的宮頸細胞核分割方法[J]. 哈爾濱理工大學(xué)學(xué)報， 2019， 24（3）.ZHAO Jing， LIANG Longkai， HE Yongjun. The Method of Segmentation of Cervical Nuclei in Complex Background[J]. Journal of Harbin University of Science & Technology， 2019， 24（3）.

（編輯：王 萍）