離焦圖像法顆粒多參數(shù)在線測量技術(shù)

周騖，龔文超，徐日辛

（1 上海理工大學(xué)能源與動力工程學(xué)院，上海 200093；2 上海市動力工程多相流動與傳熱重點(diǎn)實(shí)驗(yàn)室，上海 200093）

自然界和日常生活生產(chǎn)中大量物質(zhì)以離散的顆粒形態(tài)存在，包括氣泡、液滴和固體顆粒等，這里統(tǒng)稱為顆粒。兩相流動中稀疏顆粒相的三維運(yùn)動速度分布、顆粒粒度分布以及數(shù)目濃度分布都是非常重要的場測量參數(shù)，而光學(xué)成像法由于非侵入、系統(tǒng)簡便、結(jié)果直觀、可同步在線測量上述參數(shù)等優(yōu)勢獲得了科研工作者的廣泛青睞。隨著光源、相機(jī)、鏡頭和圖像處理技術(shù)的飛速發(fā)展，圖像法近十年來在顆粒測量方面也獲得了日益廣泛的應(yīng)用，是一種非常有潛力的非接觸式顆粒在線測量方法。

目前阻礙圖像法應(yīng)用于顆粒在線測量的主要原因之一，是由于成像系統(tǒng)景深有限而易導(dǎo)致的離焦成像問題，繼而引起顆粒粒徑等參數(shù)測量的不準(zhǔn)確性；尤其是在成像系統(tǒng)放大倍率較大或顆粒深度位置分布較寬時，離焦成像難以避免。然而，離焦圖像也暗含了顆粒的深度位置等信息，可基于該方法獲得準(zhǔn)確的測量體空間大小、繼而獲得準(zhǔn)確的顆粒數(shù)目濃度，這是激光多普勒法[1]、激光衍射法[2]等顆粒測量技術(shù)所不能或難以獲得的。

同時，離焦法顆粒測量尤其是速度測量技術(shù)的發(fā)展，與單相流動速度場測量技術(shù)是密不可分的，因?yàn)楹笳咄ㄟ^加入跟隨性和散光性良好的示蹤粒子，以表征流體流動，因此本文將后者的發(fā)展過程也納入介紹范圍，以便讀者對離焦測速技術(shù)的整體發(fā)展過程有較完整的了解。而在流體速度場測量時，一般認(rèn)為示蹤粒子的大小均一，不考慮粒徑變化的影響或粒徑測量的問題；后文中在提及流體速度場測量研究時用“粒子”，在提及兩相流中顆粒相速度場測量時用“顆?！?。

需要指出的是，在離焦測距的圖像處理方法方面，根據(jù)被測對象的種類，可以分為適用于連續(xù)對象和離散對象兩種。本文主要針對顆粒相這類離散對象，而連續(xù)對象如生活中常見物體等場景，在處理時可以利用物體表面的連續(xù)特征進(jìn)行處理分析，有大量專門的該方面算法的研究，不在本文綜述的范圍內(nèi)。

本文首先簡述常用的粒子群三維位置信息獲取方法，以便讀者了解離焦法在三維測量中的地位；然后回顧三種主要的離焦測距方法的發(fā)展歷程、測量原理、最新進(jìn)展及應(yīng)用，包括基于單相機(jī)的特殊光闌法、基于單相機(jī)的像散法、基于雙相機(jī)的異像距法。通過分析比較不同方法的優(yōu)劣勢，指出離焦圖像法的發(fā)展方向和適用場合，以期為離焦圖像法在流場和顆粒在線測量方面的應(yīng)用提供指導(dǎo)。

1 粒子群三維位置信息獲取方法概述

無論是單相流中添加的示蹤粒子，還是兩相流中本就存在的顆粒相，在速度場測量方面，應(yīng)用較廣泛的光學(xué)非接觸式測量方法當(dāng)屬粒子圖像測速（particle image velocimetry, PIV）和粒子追蹤測速（particle tracking velocimetry, PTV），而后者也尤其適用于稀疏顆粒相的速度場測量。而無論何種技術(shù)，高空間分辨率三維空間三分量（three dimension and three components, 3D3C）速度信息獲取方法的研究，仍是目前速度場測量研究的重點(diǎn)和難點(diǎn)。真正獲取粒子三維空間（3D）位置的方法主要包括層析成像法、光場成像法、全息成像法和離焦成像法。不同方法的比較見表1。

表1 不同三維成像方法的比較

層析成像法[3]在2006年的首次出現(xiàn)，代表了實(shí)驗(yàn)流體力學(xué)的一個轉(zhuǎn)折點(diǎn)。它在雙目成像技術(shù)（2D3C）的基礎(chǔ)上，采用多目多角度成像配合體光源照明，通過層析三維重構(gòu)算法（如代數(shù)重構(gòu)ART，倍增代數(shù)重構(gòu)MART，乘法視線MLOS 等）獲得粒子場散射光光強(qiáng)三維空間分布或粒子三維空間位置，再結(jié)合三維互相關(guān)或三維粒子追蹤技術(shù)如抖盒子技術(shù)（STB）[4]獲得粒子群（PIV）或粒子（PTV）的三分量速度，是目前商業(yè)化應(yīng)用相對廣泛的3D3C速度場測量技術(shù)。

光場成像法[5]通過相機(jī)陣列或相機(jī)掃描、微透鏡陣列、掩膜等方式，同時控制或記錄包含位置和傳播方向在內(nèi)的多維度光學(xué)參量，僅單相機(jī)單次曝光便可獲得三維空間信息；特別是在光學(xué)空間受限、多相機(jī)難以布置的實(shí)驗(yàn)條件下，相比于其他成像方法具有更強(qiáng)的適用性。但從數(shù)據(jù)處理角度而言，本質(zhì)上一般采用層析重構(gòu)的處理方法，存在權(quán)重矩陣計(jì)算耗時且存儲量龐大，重建粒子在深度方向上有拉伸效應(yīng)等問題；如何權(quán)衡空間分辨率和角度分辨率之間的矛盾，是制約其廣泛應(yīng)用的一個難點(diǎn)。

全息成像法[6]基于菲涅耳衍射的成像原理，將物光波和參考光波形成的干涉條紋記錄在圖像傳感器中，再使用原參考光通過全息圖像，通過分層再現(xiàn)提取出物體的三維信息。數(shù)字全息通過建立數(shù)學(xué)模型求解來處理干涉圖像以實(shí)現(xiàn)顆粒三維定位，尤其在粒子追蹤測速方面頗具優(yōu)勢和潛力，已有研究將其與雙目視覺技術(shù)相結(jié)合實(shí)現(xiàn)粒子測速[7]。提高計(jì)算速度和三維重構(gòu)質(zhì)量，是目前數(shù)字全息粒子測速的重要發(fā)展方向之一。

離焦成像法則通過分析離焦圖像的模糊程度以獲取測量物的深度位置信息，只需要一個視角就能獲得三維空間的信息。就離焦測距或者離焦圖像深度測量方法而言，主要分為兩類：第一類僅需獲取單張圖像，如采用特殊的光闌[8-16]或帶像差的鏡頭[17-23]進(jìn)行成像，通過成像特征的不同獲取深度信息；或其他以唯一確定粒子的深度位置；第二類需要獲取兩張圖片，即拍攝兩張不同成像參數(shù)或不同離焦程度的物體圖像[24-27]，通過兩張圖片的比較分析獲得物體深度。鑒于離焦測距原理是利用成像的離焦模糊信息，因此對小景深成像即易導(dǎo)致離焦模糊的場合尤其適用，例如微通道甚至納通道的流場測量[28]。該方法將是本文重點(diǎn)介紹的三維信息獲取方法。

就上述四種三維信息獲取方法比較而言，層析成像法一般采用3～6臺相機(jī)，而其他三種都屬于單鏡頭或單視角拍攝技術(shù)；層析成像一般適用于視場或景深較大的場合，高倍率成像時易產(chǎn)生離焦模糊而影響重構(gòu)精度；光場成像具有單相機(jī)成像的優(yōu)勢，但比其他方法的空間分辨率有所降低；全息成像光路布置和數(shù)據(jù)處理流程相對較復(fù)雜，但測量深度/寬度比較其他方法大；離焦尤其適用于微小空間或測量系統(tǒng)景深相對小、測量對象深度范圍大從而離焦現(xiàn)象難以避免的場合。盡管部分離焦方法存在深度位置的二義性，但還是可以通過如聚焦在一側(cè)壁面等方法來解決的。后文則主要分析不同的離焦成像顆粒位置、粒徑和濃度測量方法。

2 單相機(jī)普通離焦法

普通非遠(yuǎn)心鏡頭的離焦特征是，隨著粒子位置遠(yuǎn)離清晰對焦面，彌散圓直徑逐漸增大，成像灰度逐漸與背景接近，但具有“近大遠(yuǎn)小”的問題；物方遠(yuǎn)心鏡頭則在此基礎(chǔ)上能保證粒子在不同深度位置處的成像大小不變。但在已知粒子直徑或直徑均一的情況下，都可通過粒子圖像的模糊度推知粒子的深度位置。而針對離焦二義性的問題，即不能唯一確定粒子位置在清晰對焦面哪一側(cè)的問題，通過將測量區(qū)域限制在對焦面的某一側(cè)來解決[29-31]，如圖1所示。這一常用且最簡單的辦法，往往適用于微通道等帶壁面邊界且厚度較薄的對象的速度測量；結(jié)合不同的測速方法，有離焦粒子追蹤測速[29-30]和離焦粒子軌跡測速[31]等技術(shù)。而該方法的關(guān)鍵，一是在于通過圖像處理準(zhǔn)確估計(jì)或測量粒子成像大小，二是實(shí)現(xiàn)可靠的系統(tǒng)標(biāo)定，因?yàn)楣庠础⒘Ｗ哟笮?、光學(xué)成像系統(tǒng)參數(shù)等都會影響粒子成像的大小和灰度分布。

圖1 單相機(jī)非遠(yuǎn)心鏡頭離焦成像及單側(cè)離焦布置示意圖

該方法若采用簡單的圖像處理算法識別模糊圓的大小，一般僅適用于粒子直徑均一條件下的深度位置或速度測量，難以同時用于顆粒相粒度的表征。但Rao等[32]最新研究表明，當(dāng)不考慮深度位置測量，僅為了測量粒徑時，可以結(jié)合粒子圖像的灰度分布和灰度梯度特征，基于高斯離焦模糊的原理和成像理論模型，形成用于粒徑測量的無量綱參數(shù)理論關(guān)系曲線（圖像特定灰度值處的灰度梯度值與模糊度關(guān)系、模糊度與顆粒半徑關(guān)系），從而實(shí)現(xiàn)免標(biāo)定的顆粒粒徑及顆粒系粒度分布的測量。張小磊等[33]提出了一種基于深度學(xué)習(xí)和散焦圖像的粒子場定位方法，用訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)來估計(jì)粒子的深度位置，提高了粒子的定位速度，減少了數(shù)據(jù)采集的工作量。

3 特殊光闌離焦法

單相機(jī)離焦測量的方法中，有一種方法通過采用特殊形狀的光闌實(shí)現(xiàn)粒子深度位置測量，主要包括三孔光闌和環(huán)形光闌。這兩種也可視為特殊的編碼光闌[9]，編碼光闌的概念更加廣泛，一般指具有更復(fù)雜的規(guī)則或不規(guī)則形狀的光闌，且更適合于常見物體或生活場景的距離測量。本文對其不展開闡述。

3.1 三孔光闌法

基于三孔光闌法的單相機(jī)三維粒子場離焦圖像測速最早由Willert 和Gharib[8]于1992年提出，在此后的二十年內(nèi)獲得了較為深入的研究和發(fā)展。該方法通過將鏡頭光闌由常規(guī)同軸單孔光闌替換為離軸的正三角形分布的三孔光闌，同一粒子則同時形成三個光斑圖像并成正三角形分布；基于幾何成像關(guān)系，根據(jù)三個光點(diǎn)圖像之間的距離，可以獲得粒子和清晰對焦面的距離；而在遠(yuǎn)近兩種不同離焦情況下，光斑構(gòu)成的三角形指向相反，以此來判斷離焦二義性。如圖2所示，點(diǎn)O處于對焦平面上，與鏡頭距離為u0，其在相機(jī)成像面上清晰成像，相機(jī)成像面與鏡頭主平面距離為v0；點(diǎn)A、B與鏡頭距離為u1、u2，對應(yīng)聚焦點(diǎn)A'、B'與光闌的距離為v1、v2，而在成像平面上的成像圖像為A″、B″。與立體視覺方法的立體視覺匹配不同，三孔光闌離焦測量系統(tǒng)需采用粒子圖像模式匹配進(jìn)行圖像處理分析。在獲得粒子三維位置后，可結(jié)合粒子追蹤測速（PTV）技術(shù)，實(shí)現(xiàn)粒子三維速度場測量。

圖2 三孔光闌離焦成像及離焦定位示意圖

Pereira 和Gharib[10]將三孔光闌離焦成像與PIV圖像處理方法相結(jié)合，首先通過離焦信息解碼獲得物空間中粒子三維位置，再采用三維空間互相關(guān)法進(jìn)行位移估計(jì)，早于層析PIV提出以三維體素為基本單元的三維互相關(guān)概念。該文章分析了該方法的不確定度，認(rèn)為離焦PTV 較其他三維PTV 技術(shù)，能提高粒子濃度至PIV常用的濃度水平，而其粒子濃度上限由三維查詢區(qū)域大小和圖像傳感器像素分辨率決定。三孔光闌法得到了較為廣泛的應(yīng)用，如Yoon和Kim[11]、杜軍等[12]、Winer等[13]分別將其應(yīng)用在微流體器件的三維微流場可視化實(shí)驗(yàn)研究中。

Pereira 和Gharib[14]更進(jìn)一步提出，在確定入射光光強(qiáng)后，可結(jié)合米散射理論建立顆粒散射光強(qiáng)度（體現(xiàn)為顆粒圖像的灰度）與顆粒粒徑大小的理論關(guān)系模型，并通過實(shí)驗(yàn)標(biāo)定獲得顆粒粒徑-圖像灰度對應(yīng)關(guān)系數(shù)據(jù)；驗(yàn)證實(shí)驗(yàn)表明，平均粒徑的測量誤差可低至2%以內(nèi)，從而將離焦法應(yīng)用于同時測量顆粒相（如氣泡）的速度和粒度。該方法能夠基于單相機(jī)實(shí)現(xiàn)粒子或顆粒三維位置測量，但仍需要對孔徑光闌進(jìn)行特殊處理，尤其是圖像處理時仍存在粒子圖像匹配的問題，限制了可應(yīng)用的粒子濃度范圍，因此在近十年來研究熱度有所下降。

3.2 環(huán)形光闌法

Lin 等[15]進(jìn)一步提出環(huán)形光闌技術(shù)，如圖3 所示，每個粒子僅成像為單個圓點(diǎn)或圓環(huán)圖像，由圓環(huán)（如P″）尺寸大小即可獲得離焦程度或深度信息，避免了三孔光闌法中粒子模式匹配的問題。但環(huán)形光闌不能解決離焦二義性，即不能確定粒子實(shí)際上位于參考平面前或后，需將待測區(qū)間限制在對焦面的某一側(cè)或者結(jié)合其他方法如像散法等對前后離焦情況進(jìn)行判斷。Dreisbach等[16]在散焦顆粒跟蹤測速中使用神經(jīng)網(wǎng)絡(luò)（NN）進(jìn)行顆粒檢測，與傳統(tǒng)算法相比，對于重疊顆粒的檢測更加準(zhǔn)確可靠。

圖3 環(huán)形光闌成像示意圖

4 像差離焦成像法

像差法顆粒成像是另一種典型的基于單相機(jī)的測距方法，其中典型的是像散法[17-20]。像散法一般利用圓柱等像散元件，使不同入射平面內(nèi)的光束經(jīng)過柱面透鏡后成像有所差異，從而使對焦面前后兩側(cè)離焦成像光斑呈不同方向的橢圓形，以解決離焦二義性的問題，通過標(biāo)定即可獲得顆粒瞬時三維位置。由于采用了柱透鏡等像散透鏡，將導(dǎo)致子午平面和弧矢平面內(nèi)上光束的焦點(diǎn)位置不同，比如子午焦點(diǎn)比弧矢焦點(diǎn)離鏡頭更遠(yuǎn)時，如圖4所示，點(diǎn)O在弧矢焦點(diǎn)處的成像為一條豎直線，而子午焦點(diǎn)處的成像為一條水平線；在弧矢焦點(diǎn)與鏡頭間的成像為長軸在豎直方向的橢圓，在子午焦點(diǎn)遠(yuǎn)離鏡頭方向則反之。像散法離焦測距具有操作簡便和測量精度高等優(yōu)點(diǎn)，主要的應(yīng)用場合是對微小尺寸的精密測量。 Brockmann 等[20]考慮了顆粒的球形鏡頭效應(yīng)，將像散法應(yīng)用于背光成像下的透明球形顆粒測量，并結(jié)合粒子追蹤測速提出了BLAPTV（ball lens astigmatism PTV）方法。

圖4 像散離焦成像及深度定位原理示意圖

Barnkob 等[21]提出了一種通用離焦粒子跟蹤（GDPT）方法，即以一組預(yù)先拍攝的不同深度粒子圖像為基準(zhǔn)，通過尋找與測量圖像互相關(guān)值最大者來判斷粒子深度位置；方法可以用于不存在像散只存在球差、或者任何其他像差的場合，只要在深度方向上存在不同圖像特征的顆粒三維定位。Barnkob等[22]進(jìn)一步比較了基于模型函數(shù)（MF methods）、互相關(guān)（CC methods）和神經(jīng)網(wǎng)絡(luò)（NN methods）的離焦圖像處理方法，結(jié)果表明MF方法在低濃度情況下效果較好，而CC 方法更穩(wěn)定，在顆粒濃度較大且顆粒圖像重疊更強(qiáng)的情況下提供更好的性能；與MF和CC方法相比，目前NN方法測量誤差較大；但在未來硬件和計(jì)算能力發(fā)展下，NN 方法將具有巨大的發(fā)展?jié)摿ΑＰ烊招恋萚23]也根據(jù)顯微成像的球差特征，利用深度學(xué)習(xí)技術(shù)，在微通道中實(shí)現(xiàn)了顆粒粒度和深度位置的同步測量。

5 雙參數(shù)離焦成像法

離焦模糊程度除了和物體位置相關(guān)外，也受物體本身邊緣形貌、光照等條件影響，為避免上述影響而探求物體深度位置，一般需拍攝不同成像參數(shù)下的兩張圖片。Surya 等[24]于1993 年提出了STAMP方法，通過改變光圈的大小來獲取兩張模糊的圖像，從而利用散焦信息來獲取顆粒的深度位置，但是該方法的誤差較大，僅適用于在對焦平面附近的顆粒。Lebrun等[25]于1994年提出采用分束鏡將成像光束均分進(jìn)入兩個相機(jī)，通過增減雙相機(jī)連接的墊片可以同時獲得某一時刻粒子模糊程度不同的兩張圖片。如圖5 所示，點(diǎn)A位于對焦平面1 左側(cè)，與鏡頭距離u1，對應(yīng)聚焦點(diǎn)離鏡頭v1；點(diǎn)B位于對焦平面1、2 之間，與鏡頭距離u2，對應(yīng)聚焦點(diǎn)離鏡頭v2；點(diǎn)C位于對焦平面2 右側(cè)，與鏡頭距離u3，對應(yīng)聚焦點(diǎn)離鏡頭v3。以遠(yuǎn)心鏡頭為例，模糊圓半徑暗含了粒子與鏡頭之間的距離信息；單鏡頭雙相機(jī)因?yàn)楣灿靡粋€光軸，可以較好地避免雙目視覺中空間點(diǎn)匹配問題，通過兩張模糊程度不同的圖片可以判斷離焦二義性。在圖像處理方面，可以采用空間域反卷積、傅里葉變換后的頻率域處理[26-27]、深度學(xué)習(xí)處理[34]等方法識別顆粒圖像的模糊程度，以對應(yīng)深度位置。

圖5 雙相機(jī)物方遠(yuǎn)心鏡頭離焦系統(tǒng)示意圖[21]

Zhou等[35]基于雙相機(jī)離焦成像原理，針對球形噴霧顆粒，通過進(jìn)一步構(gòu)建離焦模糊理論模型，獲得了包含閾值處理粒徑、真實(shí)粒徑和真實(shí)深度位置的量綱為1參數(shù)關(guān)系，基于實(shí)驗(yàn)標(biāo)定獲得相關(guān)曲線后，實(shí)現(xiàn)了粒子深度位置、粒度分布和數(shù)目濃度的噴霧液滴多參數(shù)同步測量方法，并對該方法的影響因素進(jìn)行的深入分析[36]。該方法在圖像處理方面僅需要進(jìn)行簡單閾值處理，結(jié)合PTV 技術(shù)則可以實(shí)現(xiàn)三維速度場的測量。張翔云等[34]基于雙相機(jī)成像系統(tǒng)，搭建了基于卷積神經(jīng)網(wǎng)絡(luò)的顆粒粒徑與位置同步預(yù)測模型，并于離焦測距理論模型相比，顆粒深度測量范圍有所提高，直徑測量誤差有所降低。

雙像距離焦成像法不用對鏡頭進(jìn)行特殊處理，可以同時測量顆粒深度位置和粒徑大小，適用于不具有像散特征的成像系統(tǒng)即普通成像系統(tǒng)，或需要對粒度進(jìn)行表征的顆粒相測量。但在連接兩個不同相機(jī)時，由于分光部件增大了像距，會使得鏡頭的工作距離或清晰對焦物面向鏡頭方向靠近，系統(tǒng)放大倍率也因此略有變化，需要在實(shí)驗(yàn)時予以注意。

6 不同離焦成像方法的比較分析

基于單相機(jī)的特殊光闌法和像差法，以及雙參數(shù)法，都是從成像系統(tǒng)中鏡頭或光學(xué)系統(tǒng)成像位置的角度，形成具有一定離焦特征的圖像以用于三維位置的識別。在三維測量時還有一類方法是從光源角度考慮，形成顏色沿深度方向發(fā)生變化的照明光源，結(jié)合圖像色彩和離焦信息[37]可進(jìn)一步擴(kuò)大深度測量范圍或提高深度測量精度，在此則不作贅述。

就上述五種不同的離焦成像方法比較而言，各有其優(yōu)缺點(diǎn)，如表2所示。單相機(jī)普通成像法設(shè)備簡單，單相機(jī)環(huán)形光闌法易于圖像處理，但都不能解決前后離焦的二義性問題；單相機(jī)三孔光闌法可解決離焦二義性，但圖像匹配較為復(fù)雜，受粒子濃度的影響較大。像差法尤其是其中的像散法測量精度較高，但由于是利用像差測距，成像存在較大畸變，不適用于需要獲得清晰圖像的場合或者需要進(jìn)行畸變修正。雙參數(shù)法因?yàn)槭遣捎脙煞鶊D片的相對關(guān)系進(jìn)行離焦特征識別和顆粒定位，在采用合適算法時，能夠避免測量對象如形貌、大小、顆粒種類等變化帶來的影響，具有較高的魯棒性。

表2 不同離焦成像測量方法的比較

7 結(jié)語

（1）與其他三維空間信息獲取手段比較而言，離焦圖像法具有僅需一個視角即可獲得三維信息的優(yōu)勢，且圖像處理過程較為簡單，尤其適合于微通道等難以進(jìn)行多角度成像場合下的粒子速度測量。

（2）離焦圖像法中能夠解決離焦二義性的方法包括三孔光闌法、像差法和雙參數(shù)法。在實(shí)驗(yàn)允許的情況下，在采用不能解決離焦二義性的測量方法時，將測量區(qū)域置于對焦面一側(cè)，也是簡單有效且常用的避免二義性的方法。

（3）與其他顆粒粒度測量方法相比，離焦圖像法具有可準(zhǔn)確定位和測量單個顆粒的優(yōu)勢，從而能夠獲得測量區(qū)的顆粒數(shù)目濃度及分布。其中像差法、雙相距法分別由于精度高、魯棒性強(qiáng)而成為研究的主要方向。

（4）隨著深度學(xué)習(xí)等技術(shù)的飛速發(fā)展，相信離焦圖像法顆粒測量技術(shù)即將迎來蓬勃發(fā)展的階段，向著高空間分辨率、高時間分辨率、寬測速范圍和高精度等方向邁進(jìn)。