基于透射電子顯微鏡的納米顆粒圖像識別研究綜述

2

(1.華中科技大學 人工智能與自動化學院， 湖北 武漢 430074; 2.廣州大學 計算科技研究院， 廣東 廣州 510006)

納米顆粒是指粒度在1～100 nm之間的超細微粒，常見于材料科學、環(huán)境科學和醫(yī)學中.由于其尺寸很小，比表面積增大，產(chǎn)生了一系列新的特性，如化學活性增強、吸附能力增大等.正是由于這些新特性，使其在新材料、新能源等方面表現(xiàn)出許多獨特且優(yōu)良的性能，因而具有非常廣闊的應用前景.

納米顆粒的形態(tài)特征是影響材料性能的關鍵性因素之一，如何檢測和評價納米顆粒形態(tài)信息成為納米材料制備和應用等方面首要解決的問題[1].目前，研究人員主要通過透射電子顯微鏡(TEM)來獲取納米顆粒的圖像，因為它能直接提供顆粒的幾何形狀與分布信息.在之前的研究中，人們大都通過手工的方法機械地從圖像中分析納米顆粒，這個過程十分的繁瑣，耗費大量人力物力.最近幾年，研究人員相繼應用數(shù)字圖像處理的方法自動地識別納米顆粒，分析其形態(tài)與分布信息.

圖像處理是將圖像信號轉換為數(shù)字信號，并借助計算機編程技術對其進行加工處理以獲取想要的信息的過程，主要包括圖像預處理、圖像分割、特征提取、目標識別等.在納米顆粒圖像上應用圖像處理的方法能取代傳統(tǒng)的人工方法，自動的從圖像中識別目標，提取有用信息，具有準確性、實時性、快速性等特點.國內(nèi)外的學者在該領域做了一定的研究工作，研究內(nèi)容主要集中在納米顆粒圖像的預處理、顆粒分割與識別、納米顆粒圖像參數(shù)測量等3個方面，本文也將從這3個方面介紹其目前的研究現(xiàn)狀，并結合發(fā)展趨勢做出展望.

1 納米顆粒圖像預處理

圖像預處理是在一系列后處理之前通過一定的手段改善圖像質(zhì)量的過程，其目的是消除圖像中無關的信息，增強有關信息的可檢測性并盡可能的簡化數(shù)據(jù)，從而有助于提高后續(xù)的圖像分割、特征抽取、匹配和識別的可靠性.圖像預處理幾乎是所有數(shù)字圖像處理過程中的必備環(huán)節(jié)，針對不同的圖像也有不同的要求.對于TEM納米顆粒圖像，主要需解決問題的是圖像濾波和背景分割.

1.1 納米顆粒圖像濾波

TEM圖像會被一些隨機波動破壞，這些波動通常在圖像獲取或傳輸期間出現(xiàn)[2].這些顯微鏡成像的噪聲通常表現(xiàn)為脈沖噪聲，破壞了TEM圖像的質(zhì)量[3].因此，去除圖像中的噪聲是圖像處理中最重要的任務之一.傳統(tǒng)上，有兩種濾波模型，即線性模型和非線性模型.線性模型不能有效地消除脈沖噪聲，因為它們更容易模糊圖像的邊緣.而與線性模型相比，非線性模型在濾波過程中對邊緣具有更好的保留性.因此，在很多研究中，納米顆粒圖像濾波多采用非線性模型.

2012年,Hushwaha等[4]描述和比較了幾種不同類型濾波器的使用，即均值濾波器、中值濾波器和維納濾波器，用于濾除納米材料TEM圖像中存在的放大器噪聲.他們用一些放大器噪聲N(I=C+N，其中，C是鎘硫化物納米粒子的原始圖像，N是高斯噪聲)來仿真使用不同的濾波器對降級的圖像進行去噪.其結果表明維納濾波器的性能優(yōu)于平均濾波器和中值濾波器，通過維納濾波器濾波的圖像中的平均粒度計算更加準確.2015年,文獻[5]使用低通濾波器和維納濾波器對TEM圖像進行去噪.研究結果表明，所開發(fā)的非線性濾波算法能夠有效地減少噪聲，而不會出現(xiàn)明顯的偽影，背景和缺陷的變化形成對比.2017年，Mirzaei等[6]提出一種改進的中值濾波方法，基于以下算法，圖像的每個像素被其相鄰像素的中值替換：①遍歷圖像中的每個像素；②選擇2個像素的所有8個方向的相鄰像素；③根據(jù)其強度按順序對所選像素進行排序；④將中值替換為像素的原始值.在濾波之后，加入了邊緣銳化處理，顯著改善了圖像質(zhì)量.

1.2 納米顆粒圖像背景分割

在研究納米顆粒圖像時，將背景分割也歸為預處理的一部分，因為聚集在一起的納米顆粒才是研究的目標，其余部分則為背景，在進行后續(xù)處理之前，必須首先提取出感興趣的部分.背景分割的目的就是將顆粒聚集體從背景中分割出來，這是納米顆粒識別的基礎和關鍵.在表現(xiàn)形式上，納米顆粒聚集體與背景之間存在厚度差異，具有不同的顏色灰度水平，背景分割就是基于這一灰度差異進行的.

2012年,Grishin等[7]使用基于OTSU算法的自動閾值來單獨提取每個圖像的閾值.該方法通過遍歷計算不同閾值下分割結果中前景區(qū)域和背景區(qū)域的灰度直方圖，然后比較兩者之間的方差，方差最大化的那個灰度閾值即為所求二值化閾值.與其他流行技術相比，OTSU閾值方法的選擇具有更高的效率.2016年,呂鏡潺[8]在對原始圖片進行閾值分割之后，采用中值濾波算法，去除了雜質(zhì)顆粒，取得了較為滿意的效果.同樣在2016年,Benitez等[9]在對納米粒子圖像分析過程中，利用矩保持原理進行自動閾值選擇，以確保輸入的圖像矩保留在輸出圖像中.這種方法能確定性地計算全局閾值，很好的分割出前景與背景.

納米顆粒圖像預處理看似簡單，然則獲取的圖像一般噪聲多樣、背景復雜，需要針對具體的圖像做具體的分析，找出最佳的處理方案.

2 納米顆粒圖像粒子檢測

納米顆粒的粒子檢測，其實質(zhì)是將圖像中堆疊聚集在一起的納米顆粒分割出來.大家知道，所獲得的TEM納米圖像經(jīng)常出現(xiàn)顆粒粘連甚至團聚的現(xiàn)象，這導致顆粒邊緣異?；祀s，難以分割，而對粘連顆粒的分割效果將直接影響后續(xù)納米顆粒的參數(shù)統(tǒng)計.目前，國內(nèi)外學者對粘連目標分割的研究取得了一定的進展[10-12]，在細胞分割、礦物顆粒分割、粉塵分割等領域均達到了較好的效果.隨著納米科學的發(fā)展，納米顆粒圖像粒子檢測顯得尤為重要，一些學者在該領域已經(jīng)做出了一定的成果，檢測方法主要集中在霍夫圓檢測和分水嶺分割.

2.1 基于邊緣信息的檢測

圖像邊緣蘊涵了大量的圖像信息，邊緣檢測的主要任務就是利用目標之間以及目標與背景之間的灰度差異，將邊界線提取出來，邊緣越清晰，越有利于顆粒的分割.在圖像處理領域，邊緣檢測是圖像識別和分析的基礎.它能確定目標位置，確定輪廓信息，保留圖像中重要的目標結構特征.在邊緣檢測后，一般緊接著檢測邊緣形狀，以確定目標顆粒的位置.由于納米顆粒一般以類圓形的狀態(tài)呈現(xiàn)，所以很多學者都采用霍夫圓檢測算子.

為了檢測出納米粒子，2014年,劉冕[13]利用基于數(shù)學形態(tài)學的邊緣檢測方法，用改進的形態(tài)學尺度算子提取木粉顆粒的邊緣信息.該算子主要利用膨脹、腐蝕、開閉運算等4個基本操作，可以很好地保留圖像細節(jié)的邊緣.經(jīng)過與多種邊緣檢測算子的對比實驗，該算法能檢測出更多的邊緣細節(jié)，而且有很強的抗噪性.2015年，Sanghoon等[14]將聚集的邊緣識別為像素鏈，同時邊緣被矢量化以便將粒子的邊界存儲為二維曲線片段，最后用霍夫變換識別圖像中的圓形顆粒.

原始霍夫變換依賴于曲線方程的參數(shù)化描述，以及參數(shù)空間的統(tǒng)計分析.參數(shù)空間的維數(shù)等于曲線參數(shù)的數(shù)量，其參數(shù)的估計通過投票法獲得.然而霍夫變換計算復雜度和存儲成本都很高，不適用于高分辨率圖像的處理.為了克服這個問題，有人提出了修改后的霍夫變換算法.修改后的算法尋找主要粒子粘在一起的點，并將其作為參數(shù)空間搜索中的限制條件，減少了計算的時間和存儲器成本.一些學者基于改進的霍夫變化對納米顆粒進行檢測，并達到了較好的效果.例如，2016年，Mirzaei等[6]為了提高納米粒子在TEM圖像中的靈敏度和特異性，開發(fā)了將區(qū)域操作與改進的圓形霍夫變換(CHT)耦合的圖像處理算法，準確地檢測出了納米顆粒圖像中的目標顆粒.

2.2 基于區(qū)域信息的檢測

上一節(jié)提到的基于邊緣信息的顆粒檢測很多都用到形狀檢測算子霍夫圓變換，然而很多納米顆粒圖像邊緣并非規(guī)則的圓形，因此，會出現(xiàn)很多漏檢的情況.而基于區(qū)域的檢測則不用考慮聚集顆粒的形狀，可檢測出任意尺寸和形狀的粒子.區(qū)域信息指的是一定像素范圍內(nèi)的灰度值，一般而言，同一個顆粒內(nèi)部像素灰度接近，而顆粒與顆粒之間，以及顆粒與邊界之間會出現(xiàn)一定的灰度差，可以利用這個特點，分割出單個的粒子.

2018年，魏本征等[15]設計了一種基于局部特征約束的圖像分割算法.該方法首先構建圖像的超像素結構表示，然后利用馬爾可夫隨機場模型(MRF)提取超像素的局部空間信息，最后進行模型優(yōu)化，合并超像素得到分割結果.超像素區(qū)別于以往的像素級特征，它能很好地描述像素區(qū)域塊的信息，具有良好的特征不變性和魯棒性，而MRF的引入可以彌補超像素鄰域信息約束不足的問題.

另外，還有一些學者利用分水嶺算法分割納米聚集體顆粒[8,16-17].他們在處理粘連納米顆粒分割問題的時候，采用分水嶺分割與區(qū)域融合的方法，準確的將納米顆粒分割開來.分水嶺算法將對圖像的分析轉換為對地形的分析，灰度值的大小對應著地形的高低，分水嶺分割的目標是找到分水線也就是區(qū)域目標的邊緣.分割后根據(jù)邊界相似性和區(qū)域相似性準則對各個小的區(qū)域進行合并，對比實驗表明分割效果較好.

3 納米顆粒圖像參數(shù)測量

筆者獲得的TEM納米顆粒圖像多來自氣溶膠等碳煙凝聚體，它們一般數(shù)量龐大，形態(tài)多樣，人們常用分形維數(shù)來描述分形凝聚體形態(tài)特征.分形維數(shù)的優(yōu)點在于它能定量描述任意形態(tài)凝聚體的開闊程度或分支程度，是決定凝聚體密度、光學特性、分散方式以及進一步增長的動力學特征的重要參數(shù).分形維數(shù)的意思就是線性大小與體積大小之間的關系，在納米科學中存在這樣一個關系式[7]：

(1)

其中，D表示分形維數(shù)，N是聚集體中的基本粒子數(shù)，Rg是聚集體的回轉半徑，dp是基本粒子的平均粒徑，k為常數(shù).因此，要求出分形維數(shù)來分析聚集粒子的性質(zhì)，N、Rg、dp都是必求的參數(shù).本節(jié)主要內(nèi)容就是研究基于圖像的納米顆粒參數(shù)測量方法，已經(jīng)有學者在這方面做出了一些研究.

3.1 傳統(tǒng)方法

針對此類問題，目前主流的方法都是在圖像預處理和粒子檢測的基礎上做出基于像素級的定量計算.

2008年，Glotov[18]計算表征聚合體結構和形態(tài)的一系列參數(shù)，包括單個聚合體的分形維數(shù)和一組聚合體的平均維數(shù).他們首先標注出初級粒子的小圓圈，然后構建表示所有小球及其中心的一組直徑和坐標的數(shù)字模型.聚合體的回轉半徑，用聚合體長度L和寬度W的幾何平均值的一半代替.2013年，Kondo等[19]通過代替煙灰聚集體和初級顆粒的橫截面來計算聚集體中的初級顆粒數(shù)N.煙灰顆粒的分形維數(shù)是從Rg/Dp和N的對數(shù)圖中最小二乘回歸擬合得到的，同時使用基于像素二值化TEM圖像上的每個煙灰顆粒的投影形狀，計算煙灰聚集體的回轉半徑Rg.2014年,聶鵬等[20]基于分性學模型設計一種碳納米管長度分布和分布均勻性的定量評價方法.在得到預處理過的碳納米管溶液TEM 圖像后，提取不同步長內(nèi)所有元素的和，以對數(shù)坐標系中的直線的斜率作為碳納米管長度分布參數(shù)，來描述碳納米管在溶液中的分散狀態(tài)；以選定點為圓心做圓，提取不同半徑圓內(nèi)的納米管數(shù)量，同樣在對數(shù)坐標系中以擬合直線斜率的倒數(shù)作為分散均勻性參數(shù).2017年,Mirzaei等[6]在霍夫變換檢測出類圓形顆粒后，獲得了很多不規(guī)則形狀，它們的顆粒尺寸不能直接定義，因此，將面積轉換為等效的球形直徑，或分成兩個球形顆粒，轉換顆粒的大部分區(qū)域.由于高質(zhì)量統(tǒng)計分析需要大量納米顆粒，因此，當使用上述算法進行分析時，更加便利.最后，用粒徑直方圖展示出聚集體顆粒的分布模型，這是納米粒子分布表征的最常見的描述性統(tǒng)計指標.

3.2 新方法與展望

前面提到的方法對于納米粒子檢測與參數(shù)測量雖然有一定的效果，但當納米粒子數(shù)量過于龐大時就會出現(xiàn)堆疊嚴重、邊緣混雜的情況，這時傳統(tǒng)的圖像處理方法將無能為力.而在圖像領域，與之類似的應用也有很多[21-25]，如細胞檢測、農(nóng)作物估計、微生物統(tǒng)計和人群計數(shù)等，這些大都通過深度神經(jīng)網(wǎng)絡(DNN)來提取圖像特征[26]，檢測目標，并且達到了很高的精確度.

隨著計算機技術的發(fā)展，深度神經(jīng)網(wǎng)絡越來越多的應用于圖像識別和目標檢測中，它以其強大的特征提取和非線性擬合能力，在各個領域均實現(xiàn)了很好的效果，并在很多方面超過了傳統(tǒng)的方法.因此，在納米粒子檢測領域，一些學者也逐漸開始引入深度神經(jīng)網(wǎng)絡算法.

文獻[27]實現(xiàn)和驗證了一種基于人工神經(jīng)網(wǎng)絡在透射電子顯微鏡圖像上分析附聚物的一次粒度分布的全自動新方法, 所提出的方法在某些情況下甚至能夠勝過霍夫變換和分水嶺變換等傳統(tǒng)方法.文獻[28]提出了一種用于檢測透射電子顯微鏡(TEM)圖像中病毒顆粒的新計算方法.他們使用卷積神經(jīng)網(wǎng)絡將TEM圖像轉換為概率圖，該圖表指示圖像中存在病毒顆粒的位置，經(jīng)與幾種現(xiàn)有檢測方法進行比較，證明了所開發(fā)的病毒檢測方法具有很好的性能.

然而，盡管神經(jīng)網(wǎng)絡功能強大，但仍存在理論尚不成熟、所需訓練樣本多、訓練復雜、計算量大等問題，制約著其在目標檢測中的應用發(fā)展，而這些正是今后所要解決的研究難點.不過筆者相信，隨著科技的不斷發(fā)展，技術難點將會被一一攻破，在納米粒子檢測領域，將會越來越多的出現(xiàn)深度神經(jīng)網(wǎng)絡的身影.

4 結束語

本文從納米粒子圖像預處理、粒子檢測與參數(shù)測量等方面，對近年來國內(nèi)外專家學者在納米顆粒圖像識別領域所做的研究做了一個全面的綜述.不難看出，該領域出現(xiàn)了一些優(yōu)秀的研究成果，然而也存在需要改進和完善的地方.

縱觀幾年來納米粒子圖像識別領域的研究，可以得出以下幾點總結和預測：①隨著納米材料在生物化學、機械制造、電子與計算機科學等學科的廣泛應用，納米科學領域的研究將是未來多學科交叉研究的熱點，基于圖像處理的納米粒子識別具有廣闊的應用前景；②在該領域的每個方面文獻都較少，尤其是粒子分割，很多研究都只針對特定的對象，不具通用性，原因是許多納米粒子圖像團聚嚴重，邊界混雜，這也是將來要重點解決的難題；③人工智能領域的深度神經(jīng)網(wǎng)絡是趨勢，隨著需求的增多，數(shù)據(jù)量將大幅增加，這也給深度學習的應用帶來了便利.

總之，利用圖像處理技術自動地處理納米粒子圖像，可以更好地幫助研究人員對納米粒子特性進行分析，對納米技術的發(fā)展具有重要意義.