用于多通道單分子定位的高精度圖像配準方法*

林丹櫻 龔振權(quán) 黃黎琳 聶夢嬌 于斌 屈軍樂

(深圳大學物理與光電工程學院,光電子器件與系統(tǒng)教育部/廣東省重點實驗室,深圳 518060)

單分子定位技術(shù)可以繞過光學系統(tǒng)的衍射限制,在生物樣品的單粒子追蹤和超分辨顯微成像中得到了廣泛應(yīng)用.多通道單分子定位采用多個成像通道,可以實現(xiàn)對不同目標的同時追蹤或多色超分辨成像,也可以提升單粒子追蹤的軸向深度或?qū)崿F(xiàn)更高的定位精度和密度.但各通道圖像間的差異會影響協(xié)同定位或定量分析,因此圖像配準是其圖像數(shù)據(jù)預(yù)處理的關(guān)鍵環(huán)節(jié);且由于單分子定位精度高,其對多通道圖像配準精度的要求也很高.現(xiàn)有技術(shù)一般采用基于控制點的配準方法,且多采用復(fù)雜而精密的方式來獲取基準物網(wǎng)格圖像用于定位得到控制點對,以實現(xiàn)高精度圖像配準,對樣品或?qū)嶒炘O(shè)備要求高,難以直接推廣.為此,本文基于局部非線性變換和誤匹配點剔除,發(fā)展了一種可以直接采用隨機分布熒光珠樣品作為基準物的高精度圖像配準方法,通過在特征匹配和變換模型參數(shù)估計的過程中對控制點進行監(jiān)測和迭代篩選,以剔除因單分子定位不準確或精度差而導(dǎo)致未精確匹配的控制點對,從而消除以隨機分布熒光珠樣品作為基準物時對于控制點準確獲取和精確匹配所帶來的不良影響,同時采用基于局部加權(quán)平均的二階多項式擬合進行變換模型參數(shù)估計,以更好地適用于不同通道間存在局部非線性形變的情形.結(jié)果表明,采用該方法只需要3 次迭代,就可以將未準確定位和精確匹配的控制點對找到并剔除,從而實現(xiàn)更準確的變換模型參數(shù)估計,將配準精度提高一個數(shù)量級,在圖像局部非線性形變情況嚴重的正交像散雙通道單分子定位成像系統(tǒng)中實現(xiàn)了約6 nm 的配準精度.

1 引言

單分子定位技術(shù)利用高靈敏圖像探測器記錄單個熒光分子的像斑并利用算法確定其幾何像點,可以繞過光學系統(tǒng)的衍射限制實現(xiàn)對單個熒光分子的準確定位[1],早期被應(yīng)用于生物樣品中的單分子檢測和單粒子追蹤研究[2,3],近十幾年來被成功應(yīng)用于超分辨顯微成像[4–6],成像分辨率可達幾十納米,遠高于傳統(tǒng)光學顯微鏡的200—300 nm 分辨率極限.多通道單分子定位是指在進行單分子定位時涉及多個成像通道的情形.例如,在單粒子追蹤應(yīng)用中采用多個通道提升追蹤的軸向深度[7]或?qū)崿F(xiàn)對不同目標的同時追蹤[8],在基于單分子定位的超分辨顯微成像中采用多個通道實現(xiàn)多色超分辨成像[9,10],或?qū)崿F(xiàn)更高的定位精度或定位密度[11–13].各通道圖像通常需要用于協(xié)同定位或分析,而光路搭建時由于光學元器件的位置、距離、角度等的誤差而引入的像差、多色成像通道中存在的場曲和色差、因波長不同或有意引入像散等因素導(dǎo)致的放大倍率差異等因素[12],使得多通道圖像之間往往存在不能嚴格匹配的情況,從而影響協(xié)同定位和分析.因此,圖像配準是多通道單分子定位圖像數(shù)據(jù)預(yù)處理的關(guān)鍵環(huán)節(jié).而且,由于單分子定位精度一般在15—50 nm,這就要求多通道圖像配準精度至少要控制在10 nm 以內(nèi)[14],其中旨在提高定位精度的多通道單分子定位系統(tǒng)對圖像配準的要求還要更高.

由于單分子定位處理的圖像數(shù)據(jù)主要為分散的單分子像斑,其圖像配準通常采用基于控制點的方法,且其控制點的獲取一般通過對較亮的基準物進行成像和定位來得到[1].在這類方法中,控制點的準確獲取和精確匹配,以及控制點的數(shù)量和分布情況是影響配準精度的關(guān)鍵因素[15].因此,Churchman 等[16]在其利用多色單分子定位測量分子內(nèi)生物大分子距離隨時間變化的工作中,采用納米精度的位移臺以500 nm 的間距分別沿x,y方向移動一個固定在蓋玻片上的直徑100 nm 的熒光珠并拍攝其雙通道圖像序列,構(gòu)造一個基準物網(wǎng)格圖像,以獲取能夠均勻鋪滿視場的控制點對,實現(xiàn)了約4 nm 的配準精度;Gahlmann 等[17]在其對細菌中的蛋白質(zhì)進行三維定量多色超分辨成像的工作中利用了類似的方法,將30 μm × 30 μm視場范圍內(nèi)的15 個熒光珠在1.5 μm 深度范圍內(nèi)分別沿x,y,z三個方向平移來構(gòu)造一個三維基準物網(wǎng)格圖像,以獲得高密度控制點對,實現(xiàn)了約8 nm 的配準精度;Min 等[12]在其結(jié)合像散和雙焦面方法實現(xiàn)高密度三維單分子定位的工作中,則采用一個刻有寬200 nm、間距2 μm 的方形陣列小孔的納米網(wǎng)格金屬膜作為基準物,但由于該納米網(wǎng)格沒有熒光,基準物圖像只能在明場照明模式下采用透射成像方式獲得.采用這些技術(shù)雖然能夠獲得較高的配準精度,但其對基準物及其圖像采集的要求之高使它們難以被直接推廣到其他多通道單分子定位系統(tǒng)中.其中,通過平移熒光珠樣品采集基準物網(wǎng)格圖像的方法除了需要使用納米精度的位移臺外,平移過程中由于長時間采集導(dǎo)致的熒光珠光漂白和橫向漂移等問題,還會影響熒光珠的精確定位,從而影響圖像配準精度[17].而采用納米網(wǎng)格作為基準物的方法則不僅成本高,還需要系統(tǒng)帶有明場照明模式.直接采用隨機分布的熒光珠樣品作為基準物進行多通道成像和定位來獲取控制點對,可以大幅降低對樣品及實驗設(shè)備的要求.但相比規(guī)則分布的基準物網(wǎng)格圖像,隨機分布的熒光珠圖像可能存在部分重疊或超出視場邊緣等情況,導(dǎo)致熒光珠幾何像點定位不準確,從而影響控制點的準確獲取和精確匹配,限制了圖像配準精度的提高[8].

本文針對多通道單分子定位成像的需求,基于局部非線性變換和誤匹配點剔除,發(fā)展了一種可以直接采用隨機分布熒光珠樣品作為基準物的高精度圖像配準方法.該方法通過在特征匹配和變換模型參數(shù)估計的過程中對控制點進行監(jiān)測和迭代篩選,以剔除因單分子定位不準確或精度差而導(dǎo)致未精確匹配的控制點對,從而消除以隨機分布熒光珠樣品作為基準物時對于控制點準確獲取和精確匹配所帶來的不良影響,同時采用基于局部加權(quán)平均的二階多項式擬合進行變換模型參數(shù)估計,以更好地適用于不同通道間存在局部非線性形變的情形,在圖像局部非線性形變情況嚴重的正交像散雙通道單分子定位成像[13]系統(tǒng)中實現(xiàn)了約6 nm 的配準精度.

2 方 法

2.1 正交像散單分子定位及其圖像配準需求

本文以圖像局部非線性形變情況嚴重的正交像散單分子定位成像[13]為例,發(fā)展適合多通道單分子定位的高精度圖像配準方法.圖1(a)為正交像散單分子定位成像光路示意圖,其基本原理是將熒光信號均分為兩束并分別經(jīng)過兩個聚焦方向相互正交的柱透鏡,之后成像于同一探測器的不同區(qū)域?qū)崿F(xiàn)雙通道成像.該系統(tǒng)對處于特定軸向位置的物點的響應(yīng)呈現(xiàn)為一組像散圖像對(圖1(b)),這一組圖像對被用于三維定位,相比利用單個柱透鏡產(chǎn)生的單個像散斑[18],或雙焦面探測產(chǎn)生的一對圓對稱像斑進行三維定位,由于不同像散圖像對之間具有更低的相關(guān)性[13],可實現(xiàn)更準確的定位,且離焦程度越大時兩個像斑的形狀差異越大,這種準確定位的優(yōu)勢就越明顯,因此采用這種方法可在無需犧牲成像深度的前提下顯著提高離焦熒光分子的三維定位精度,理論分析和數(shù)值模擬都很好地說明了這一點[13].

圖1 正交像散單分子定位及其圖像配準需求示意圖 (a)正交像散系統(tǒng)光路;(b)不同軸向位置物點對應(yīng)的像散圖像對;(c)正交像散導(dǎo)致的雙通道圖像形變及預(yù)期配準效果.ND,衰減片;L,透鏡;M,反射鏡;DM,二向色鏡;OL,物鏡;F,濾光片;A,光闌;BS,分束器;CL,柱透鏡;EMCCD,電子倍增電荷耦合器件Fig.1.Illustration of the orthogonal astigmatism-based single molecule localization method and its requirements on image registration: (a) Optical path of the orthogonal astigmatism system;(b) astigmatic image pairs corresponding to object points at different axial positions;(c) dual-channel image distortion caused by orthogonal astigmatism and expected registration result.ND,attenuator;L,lens;M,mirror;DM,dichroic mirror;OL,objective lens;F,filter;A,aperture;BS,beam splitter;CL,cylindrical lens;EMCCD,electron-multiplying charge-coupled device.

但在實際成像實驗中,兩個成像通道間不可避免地存在偏差,因此雙通道圖像的配準精度將直接影響正交像散的定位精度和成像分辨率,使正交像散單分子定位無法發(fā)揮出其優(yōu)勢.更重要的是,在正交像散系統(tǒng)中,兩個柱透鏡的聚焦方向互相垂直使得兩個通道的圖像產(chǎn)生了各自的非各向同性放大(圖1(c)),即正交像散在使像斑形狀發(fā)生所需變化的同時也改變了其相對距離,從而嚴重影響正交像散單分子定位.因此,相比其他多通道單分子定位成像方法,正交像散單分子定位中雙通道圖像的局部非線性形變情況要更加嚴重.如何針對兩個圖像的這種形變進行高精度配準但又不破壞正交像散圖像對的形狀,是正交像散法能夠取得預(yù)期定位效果的關(guān)鍵.

2.2 變換模型的選擇

由于單分子定位處理的圖像數(shù)據(jù)主要為分散的單分子像斑,其圖像配準通常采用基于控制點的方法,且選擇一個合適的變換模型是這類方法的關(guān)鍵環(huán)節(jié)之一[1].在多通道單分子定位系統(tǒng)中,不同通道間除存在整體平移、旋轉(zhuǎn)、縮放等全局差異外,更重要的是還可能存在因非各同性放大等因素而導(dǎo)致的局部非線性形變,因此本文選擇基于局部加權(quán)平均的二階多項式擬合作為圖像配準過程中的變換模型,并利用各通道拍攝得到的熒光珠圖像的定位結(jié)果作為控制點對,來建立各通道圖像間的對應(yīng)關(guān)系.采用該變換模型的圖像配準方法通常被稱為局部加權(quán)平均(local weighted mean,LWM)法[19,20].

以正交像散單分子定位成像的圖像配準為例,左右通道圖像分別作為參考圖像和待配準圖像,則配準過程就是確定兩者坐標間變換函數(shù)f和g的過程,即:

式中,(x,y) 表示待配準圖像中任一點的坐標,而(X,Y) 表示對應(yīng)點在參考圖像中的坐標.LWM 法的基本原理是對于圖像上的任意一點,設(shè)置最近鄰點數(shù)n限定一個局部區(qū)域,對于區(qū)域內(nèi)的某個控制點 (xi,yi),可利用包含其在內(nèi)的n個控制點來確定其與對應(yīng)坐標Xi或Yi的函數(shù)關(guān)系,然后通過加權(quán)平均得到任意點 (x,y) 的變換函數(shù)f或g.控制點對的函數(shù)模型一般采用二階多項式,通過最小二乘擬合進行參數(shù)估計,即(以X方向的變換為例):

式中,N表示所有控制點的數(shù)量.這樣,只有當點(x,y) 位于控制點 (xi,yi) 的區(qū)域范圍內(nèi)時,該控制點對應(yīng)的多項式Pi(x,y) 才起作用,從而可避免相距過遠的控制點所帶來的不利影響.最后,兩個方向變換函數(shù)中各多項式的系數(shù)用參數(shù)矩陣T∈R6×2×N來表示.確定參數(shù)矩陣T后,可以采用雙線性內(nèi)插法根據(jù)參數(shù)矩陣對應(yīng)的變換模型對待配準圖像進行重采樣,從而得到配準后的圖像.

2.3 誤匹配點的剔除

在基于控制點的圖像配準中,控制點對的精確匹配是影響配準精度的重要因素,而對于需要采用LWM 法處理的情形而言,控制點能否均勻地分布于整個視場,也很大程度上決定了所獲得的變換函數(shù)是否準確.因此,現(xiàn)有方法為了能在多通道單分子定位中實現(xiàn)高精度圖像配準,多采用復(fù)雜且精密的方式來獲取基準物網(wǎng)格圖像并定位得到控制點對[16,17,21].直接對隨機分布的熒光珠圖像進行定位獲取控制點對,可大幅降低圖像配準對樣品及實驗設(shè)備的要求,但相比規(guī)則分布的基準物網(wǎng)格圖像,這種做法存在兩個主要問題: 一方面隨機分布的熒光珠圖像難以保證控制點均勻覆蓋整個視場;另一方面當熒光珠距離較近或位于視場邊緣時,其定位不準確會影響該控制點附近變換模型參數(shù)估計的準確性.第1 個問題可通過隨機移動樣品拍攝不同視野的熒光珠圖像并合并其定位點來解決,這樣不但避免了長時間采集同一熒光珠或同一視野導(dǎo)致的熒光珠光漂白和橫向漂移等問題,在實驗操作上也更加簡便.針對第2 個問題,發(fā)展了一種新的通過剔除誤匹配點(elimination of mismatched points,EMP)來實現(xiàn)更精確的變換模型參數(shù)估計的方法,即通過在參數(shù)估計過程中監(jiān)測控制點對的基準配準誤差(fiducial registration error,FRE)對其進行迭代篩選,以剔除因單分子定位不準確或精度差等而導(dǎo)致未能精確匹配的控制點對,從而消除以隨機分布熒光珠作為基準物時對控制點準確獲取和精確匹配的不良影響,簡稱為EMP-FRE算法.其中FRE 定義為

式中,(Xi,Yi)和i分別 是第 個控 制點 在參考圖像和已配準圖像中的坐標.

仍以正交像散單分子定位成像為例,該方法的基本原理和算法流程如圖2 所示: 首先,對一組雙通道熒光珠圖像進行定位,分別得到各控制點在左通道參考圖像和右通道待配準圖像中的坐標;然后,利用LWM 模型對控制點對的坐標進行參數(shù)估計,得到參數(shù)矩陣T,并利用當前模型對配準前的右通道熒光珠圖像進行變換,獲得配準后的右通道圖像;接著,對配準后的右通道圖像重新定位,并將定位點坐標與左通道參考圖像的對應(yīng)點坐標逐一進行比較,計算每一個控制點對的FRE,FRE大于預(yù)設(shè)誤差閾值E的控制點對將被剔除;最后,利用剩下的控制點對重新計算參數(shù)矩陣T并重復(fù)上述步驟,直至所有控制點對的FRE 均在誤差閾值范圍內(nèi).

圖2 基于基準配準誤差監(jiān)測的誤匹配點剔除(EMP-FRE)算法的基本原理和算法流程示意圖 (a)基本原理;(b)算法流程圖.I,圖像;P,定位點;T,配準參數(shù)矩陣;FRE,基準配準誤差;E,誤差閾值;下標l/r,左/右通道;下標i,控制點編號Fig.2.Schematic diagram (a) and algorithm flowchart (b) of the EMP-FRE (i.e.,elimination of mismatched points based on fiducial registration error monitoring) algorithm.I,image;P,localizations;T,registration parameter matrix;FRE,fiducial registration error;E,error threshold;subscript l/r,left/right channel;subscript i,control point number.

對采集到的不同視野的雙通道熒光珠圖像進行同樣的處理,并將所得滿足條件的控制點對合并,可獲得近似均勻覆蓋整個視場的足夠多準確定位并精確匹配的控制點對.利用LWM 模型對合并后的控制點對進行參數(shù)估計,可得到系統(tǒng)的最優(yōu)參數(shù)矩陣T,用于對后續(xù)采集的實際樣品雙通道圖像進行精確配準.

3 結(jié)果與討論

3.1 變換模型選擇對配準精度的影響

為定量分析變換模型的選擇對多通道單分子定位圖像配準精度的影響,以正交像散單分子定位成像為例,模擬生成熒光珠雙通道圖像,并將其定位結(jié)果作為控制點對用于圖像配準.圖3(a)和圖3(b)分別為模擬生成的左、右通道圖像,并用紅色“+”表示各像斑的非對稱高斯擬合定位結(jié)果,其中心即為各控制點在兩個通道圖像中的坐標.在該模擬實驗中,熒光珠位于焦面附近,而橫向位置在視場范圍內(nèi)隨機分布,兩個通道的熒光珠圖像根據(jù)熒光珠的x,y,z方向坐標以及實際成像系統(tǒng)的校準曲線(即像斑x,y方向尺寸與軸向位置z的關(guān)系)產(chǎn)生;同時,為了模擬實際系統(tǒng)中兩個正交像散通道之間出現(xiàn)的局部非線性差異,右通道圖像中熒光珠的坐標值被額外引入平均為200 nm 的隨機誤差.從圖3(a)和圖3(b)可以看出,兩個通道圖像由于存在不同的非各向同性放大而導(dǎo)致形變(表現(xiàn)為兩個圖像中熒光珠像斑的相對分布模式不一致),且由于熒光珠位置是隨機的,視野中存在一些靠得比較近的熒光珠像斑,因此存在多個熒光珠對應(yīng)一個定位點(控制點)的不準確定位情形(如紅色方框所示的控制點2—5,共4 對).

圖3 變換模型選擇和誤匹配點剔除對配準效果的影響 (a)左通道參考圖像;(b)右通道待配準圖像;(c) LWM 法配準后的右通道圖像;(d)采用不同模型配準后的定位點;(e)采用不同模型配準后的平均FRE;(f),(g)采用LWM 模型和EMP-FRE 算法的X,Y 方向配準誤差統(tǒng)計.統(tǒng)計數(shù)據(jù)來自5 幀不同視野熒光珠圖像的140 對定位點(控制點)Fig.3.Effects of transformation model selection and mismatched point elimination on registration performance: (a) Left channel,reference image;(b) right channel,image to be registered;(c) right channel,image after LWM registration;(d) localizations registered using different models;(e) average FRE after registration using different models;(f),(g) statistical data on registration errors in the X and Y directions using the LWM model and EMP-FRE algorithm,obtained from 140 pairs of localizations (control points) from 5 different field of view fluorescent bead images.

為定量分析變換模型的選擇對多通道單分子定位圖像配準精度的影響,將定位得到的41 對控制點的坐標分別用仿射變換(affine transform,AT)、二階多項式擬合(2nd-order polynomial fitting,2PF)、分段線性變換(piecewise linear,PWL)和LWM 四種模型進行參數(shù)估計,并利用所得模型對右通道熒光珠圖像(圖3(b))進行配準,分別得到四種模型配準后的右通道圖像(其中LWM 模型配準后的右通道圖像如圖3(c)所示).對配準后的右通道圖像重新進行定位,通過比較配準后控制點的定位坐標與其在參考圖像中的坐標,可直觀地反映不同變換模型的配準效果.圖3(d)給出了圖3(c)中藍色方框標識的控制點利用不同變換模型進行配準后得到的定位坐標分布情況,可以明顯看到相比其他模型,LWM 模型得到的定位點(紫色“+”)更加接近參考定位點(紅色“+”),說明在正交像散單分子定位成像中,相比適用于全局線性形變的AT 模型、適用于全局非線性形變的2PF 模型和適用于局部線性形變的PWL 模型,適用于局部非線性形變的LWM 模型是更優(yōu)的選擇.

進一步地,利用(5)式計算配準后控制點對的基準配準誤差(即FRE)來定量表征其配準精度,并對5 幀不同視野的熒光珠圖像中的共140 對控制點進行統(tǒng)計平均,結(jié)果如圖3(e)所示.可見,相比AT,2PF,PWL 等模型,LWM 模型的配準精度(27.4 nm)要高得多.這是因為,在正交像散單分子定位這種圖像非線性局部形變情況嚴重的多通道單分子定位系統(tǒng)中,不同通道間除存在整體平移、旋轉(zhuǎn)、縮放等全局的線性和非線性差異外,更重要的是還可能存在因非各同性放大等因素而導(dǎo)致的局部非線性形變.然而,正如前文提到的,由于單分子定位精度一般在15—50 nm,要求多通道圖像配準精度至少要控制在10 nm 以內(nèi)[14],因此上述定量分析結(jié)果說明對于本文涉及的圖像非線性局部形變情況嚴重的情形,僅采用LWM 模型進行配準還不足以獲得足夠高精度的圖像配準結(jié)果,其主要原因在于隨機分布熒光珠圖像定位不準確導(dǎo)致的控制點對未能精確匹配的問題.

3.2 誤匹配點剔除過程和效果分析

仍以圖3(a)和圖3(b)的模擬熒光珠圖像及其定位結(jié)果為例,采用本文所提的剔除誤匹配點的EMP-FRE 算法,其目的在于從全部41 對控制點中將第2—5 號控制點去除,以避免這些因未準確定位而不能精確匹配的定位點對變換模型參數(shù)估計準確性的影響.將圖2 所示的EMP-FRE 算法和流程用于上述熒光珠圖像(其中誤差閾值E設(shè)置為30 nm),并將每次迭代所剔除的控制點對標號以及利用剩余控制點對進行LWM 變換所得的平均基準配準誤差(即,為控制點數(shù)量)記錄下來,結(jié)果如表1 所列.可見,迭代剔除前,即采用全部41 對控制點進行變換模型參數(shù)估計并進行圖像配準后得到的平均FRE 為29.3 nm;而采用EMP-FRE 算法后,僅需要3 次迭代便可以準確地將第2—5 號控制點找到并剔除,從而將平均FRE 減小到2.9 nm,配準精度與不采用該方法直接進行LWM 變換時相比提高了10 倍.此外,從圖3(d)可直觀地看到,采用LWM模型和EMP-FRE 算法后定位點(綠色“+”)已經(jīng)非常接近參考定位點(紅色“+”),顯示出非常高的配準精度.采用相同參數(shù)設(shè)置對其余4 幀隨機分布熒光珠圖像進行處理時,成功剔除誤匹配控制點對所需的迭代次數(shù)均不超過3 次.而在圖3(e)的統(tǒng)計結(jié)果中,可以看到全部5 幀圖像中140 對控制點處的平均FRE 從單獨采用LWM 模型時的27.4 nm 進一步降到了4.7 nm.圖3(e)給出了采用LWM 模型和EMP-FRE 算法后控制點的橫坐標定位誤差(即)統(tǒng)計,圖3(f)為縱坐標定位誤差(即-Yi)統(tǒng)計,可以看到兩個方向上的定位誤差都在5 nm 以內(nèi)(標準差分別為1.7 nm和1.0 nm),說明兩個方向都有較好的配準效果.

表1 圖3(a)和圖3(b)熒光珠圖像的EMP-FRE迭代過程及利用剩余控制點對進行LWM 配準所得的平均基準配準誤差Table 1.The EMP-FRE iteration process of the fluorescent bead images in Fig.3(a),(b),and the average FRE obtained through LWM registration using residual control points.

值得指出的是,在EMP-FRE 算法中,誤差閾值E是判斷控制點對是否存在誤匹配情況的依據(jù),因此設(shè)置合適的誤差閾值對迭代過程和結(jié)果具有重要意義: 誤差閾值設(shè)置過小不僅會增加迭代次數(shù),還會因在迭代過程中剔除掉大量的控制點對,導(dǎo)致最后得到的控制點對數(shù)量較少且分布不均,無法兼顧視場均勻性和配準精度的需求;而誤差閾值設(shè)置過大則會降低誤匹配點對被準確剔除的可能性,從而降低配準精度.由于控制點的獲取是通過對單通道圖像進行單分子定位得到的,因此可以其定位精度決定的分辨率作為誤差閾值E的參考值.例如,在生成上述模擬熒光珠數(shù)據(jù)時,單通道定位精度(即高斯擬合的標準差s)參考實際實驗系統(tǒng)被設(shè)置為13 nm,對應(yīng)分辨率(即2.35σ)約為30 nm,因此其誤差閾值被設(shè)置為30 nm.為定量分析誤差閾值的選取對迭代過程和結(jié)果的影響,進一步將誤差閾值設(shè)置為10,20,40,50 nm 對同一組熒光珠數(shù)據(jù)進行處理,并將結(jié)果與誤差閾值為30 nm 時的結(jié)果進行對比,結(jié)果如表2 所列.從表2可以看到,誤差閾值設(shè)置為20 nm 時,可以得到與誤差閾值30 nm 時相同的結(jié)果(迭代3 次,平均FRE 為2.9 nm),但若設(shè)置得太小或太大,則迭代次數(shù)、每次迭代剔除的控制點數(shù)量都會受到影響,從而也影響最終的配準精度.

表2 誤差閾值對迭代和平均配準誤差的影響Table 2.Effect of error threshold on iterative and average registration errors.

為進一步驗證EMP-FRE 算法在剔除誤匹配點方面的效果和效率,還將上述模擬數(shù)據(jù)用其他現(xiàn)有的剔除誤匹配點算法進行處理,并比較剔除結(jié)果.隨機抽樣一致性(random sampling consensus,RANSAC)算法[22]可利用隨機抽樣假設(shè)從控制點對組成的樣本集中剔除誤匹配點,具有較好的魯棒性,被廣泛應(yīng)用于圖像配準中的控制點匹配階段.應(yīng)用到本文涉及的以隨機分布熒光珠雙通道圖像的定位結(jié)果作為控制點對的情形,RANSAC 的具體做法是: 在定位得到的控制點對中隨機選取n對作為初始樣本集,代入預(yù)設(shè)變換函數(shù)模型進行參數(shù)估計,利用當前模型估計值對待配準的熒光珠圖像進行配準并重新定位,計算配準后所有控制點對的FRE,FRE 小于設(shè)定誤差閾值E的判斷為內(nèi)點,反之判斷為外點,記錄內(nèi)點和內(nèi)點數(shù);若內(nèi)點數(shù)多于前一樣本集的內(nèi)點數(shù),則更新最大內(nèi)點數(shù)n并重復(fù)之前的步驟,直到迭代次數(shù)大于k(或最大內(nèi)點數(shù)大于預(yù)設(shè)內(nèi)點數(shù)閾值m);最后,將最大內(nèi)點數(shù)對應(yīng)的內(nèi)點用于變換模型參數(shù)估計,得到最優(yōu)估計值.在此基礎(chǔ)上進行改進的方法還有RSCFDI[23],RASCFDI+RANSAC2 match[24]等.作為對比,本文將如圖3(a)和圖3(b)所示的模擬熒光珠圖像的定位結(jié)果作為控制點對集合,采用以上三種誤匹配點剔除算法進行處理,變換模型仍選用LWM,誤差閾值E仍設(shè)置為30 nm,并設(shè)置初始樣本數(shù)n為30,最大迭代次數(shù)k為500,共進行100 次獨立性實驗(每次實驗隨機抽取不同的控制點對組合作為初始樣本集),結(jié)果如表3 所列.其中,迭代成功率是指在100 次獨立性實驗中,通過500 次迭代能準確找到誤匹配點的實驗次數(shù)占比,而迭代成功所需的平均迭代次數(shù)是指在成功找到誤匹配點的獨立性實驗中所需迭代次數(shù)的平均值.可見,將RANSAC,RSCFDI 和RASCFDI+RANSAC2 match 三種誤匹配點剔除算法應(yīng)用于以隨機分布熒光珠圖像的定位結(jié)果作為控制點的情形時,其成功剔除誤匹配點的概率最高只有84%,且迭代次數(shù)最少需要165 次.相比之下,本文所提的EMPFRE 算法應(yīng)用于相同的數(shù)據(jù)時僅需要3 次迭代就可以把所有誤匹配點找出,實現(xiàn)了更高的算法精準度和效率.

表3 誤匹配點剔除算法的效果及效率對比Table 3.Comparison of the effectiveness and efficiency of algorithms for eliminating mismatched points.

究其原因,在于RANSAC 及其相關(guān)算法剔除誤匹配點時需要先從控制點對中隨機選取n對控制點作為初始樣本集,然后通過迭代判斷內(nèi)外點來更新該樣本集,當樣本集中的控制點對的配準誤差均在誤差閾值范圍內(nèi)時,即可得到最佳配準效果.因此,在應(yīng)用于上述熒光珠數(shù)據(jù)處理時(控制點對總數(shù)為41,誤匹配點對數(shù)量為4),當初始樣本數(shù)n被設(shè)置為30 時,一次迭代過程中樣本集中的控制點對剛好均為準確匹配控制點對的概率為從而導(dǎo)致迭代成功率不高且迭代成功所需的平均迭代次數(shù)多達上百次.在保持誤差閾值不變的前提下,通過調(diào)整初始樣本數(shù)n可一定程度改善這個問題.但相比之下,EMP-FRE算法不需要先選取樣本集,而是從所有控制點對入手進行迭代判斷的,因此只需要設(shè)置合適的誤差閾值E即可實現(xiàn)對誤匹配點的快速、準確剔除.

為了評估本文所提圖像配準方法在正交像散單分子定位系統(tǒng)中的實際配準效果,圖4 給出了一組實驗拍攝的熒光珠圖像結(jié)果.實驗首先制備了隨機分布在蓋玻片上的直徑200 nm 熒光珠樣品,并將其置于正交像散單分子定位系統(tǒng)載物臺上進行雙通道成像,然后對獲得的雙通道圖像進行單分子定位,將定位結(jié)果作為控制點坐標,分別采用傳統(tǒng)的LWM 法(即未剔除誤匹配點)和本文所提的結(jié)合LWM 模型和EMP-FRE 算法的方法計算得到配準參數(shù)矩陣,并用于對右通道圖像進行變換,得到配準后的右通道圖像.為了直觀地顯示配準效果,將左通道參考圖像設(shè)置為紫色偽彩圖像,將配準后的右通道圖像設(shè)置為綠色偽彩圖像,并將兩者進行疊加,單獨采用LWM 法和采用LWM 模型結(jié)合EMP-FRE 算法所得的疊加結(jié)果分別如圖4(a)和圖4(b)所示,其中兩通道圖像中熒光珠像斑準確重疊的部分呈現(xiàn)為灰白色,否則呈現(xiàn)為互相錯開的紫色和綠色.圖4(c)和圖4(d)分別為圖4(a)和圖4(b)中藍色方框的放大圖,圖4(e)和圖4(f)分別為圖4(a)和圖4(b)中紅色方框的放大圖.可見,在這兩個方框區(qū)域中,單獨采用LWM法配準后兩通道的熒光珠像斑仍存在比較明顯的未準確匹配情況,而采用LWM 模型結(jié)合EMPFRE 算法時熒光珠像斑則能夠很好地匹配,基本未出現(xiàn)紫色和綠色.進一步定量計算結(jié)果表明,圖4(a)對應(yīng)的平均基準配準誤差為54.7 nm,而圖4(b)僅為6.1 nm,配準精度實現(xiàn)了9 倍的提升,與模擬結(jié)果相吻合,說明即使是對于正交像散單分子定位系統(tǒng)這種雙通道圖像存在嚴重的非線性形變的情況,本文所提的結(jié)合LWM 模型和EMP-FRE 算法的方法仍能夠直接利用隨機分布的熒光珠樣品實現(xiàn)約6 nm 的配準精度.

圖4 實驗熒光珠圖像的配準結(jié)果對比 (a)傳統(tǒng)LWM 的配準結(jié)果;(b)結(jié)合LWM 和EMP-FRE 的配準結(jié)果;(c),(d)藍色方框的放大圖;(e),(f)紅色方框的放大圖 偽彩色: 紫色代表左通道圖像,綠色代表配準后的右通道圖像,兩者準確重合時為灰白色Fig.4.Comparison of the registration results of experimental fluorescent bead images: (a) Registered image using traditional LWM;(b) registered image using LWM+EMP-FRE;(c),(d) enlarged views of the blue box;(e),(f) enlarged views of red box.Pseudo color: purple represents the left channel image,green represents the registered right channel image,and when they are accurately overlapped,the color should be grayish white.

3.3 圖像配準對正交像散單分子定位的影響

最后,將本文所提的圖像配準方法應(yīng)用到正交像散單分子定位成像數(shù)據(jù)的處理中,可以更直觀地反映該方法的實施效果.首先,以相隔60 nm、與XY平面成一定角度(軸向位置從焦面以下400 nm到焦面以上400 nm 線性變化)的一對平行線作為模擬樣品,以實際成像系統(tǒng)的校準曲線為依據(jù),模擬生成一組正交像散單分子閃爍圖像數(shù)據(jù)(1000 幀/通道,單分子光子數(shù)為500 光子/通道,信噪比為35.5 dB),并在其右通道圖像中人為引入平均200 nm 的隨機非線性誤差(未引入誤差的數(shù)據(jù)作為對照組).將前文用不同配準方法對隨機分布的熒光珠圖像數(shù)據(jù)進行處理所得到的模型應(yīng)用于對右通道單分子閃爍數(shù)據(jù)進行變換,得到配準后的右通道單分子閃爍數(shù)據(jù),再與左通道數(shù)據(jù)一起,利用正交像散成像的雙通道TVSTORM 算法[13]進行三維單分子定位和超分辨圖像重建,結(jié)果如圖5 所示.其中,圖5(a)給出了不同情形下重構(gòu)得到的平行線超分辨圖像,第1 組為對照組(即無誤差數(shù)據(jù))的重構(gòu)結(jié)果,第2 組為有誤差數(shù)據(jù)未經(jīng)配準直接重構(gòu)的結(jié)果,第3 至第7 組分別為采用AT,2PF,PWL,LWM 和LWM+EMP-FRE 配準后再進行重構(gòu)的結(jié)果.對比第2 組和第1 組結(jié)果可以直觀看出,有誤差但未經(jīng)配準就直接進行重構(gòu),其結(jié)果是十分不準確的;而對比其他幾組結(jié)果則可以明顯看出,利用不同方法進行配準之后的重構(gòu)結(jié)果也存在很大區(qū)別,其中AT 配準后的重構(gòu)效果最差,而LWM 和LWM+EMP-FRE 配準的重構(gòu)結(jié)果與對照組的重構(gòu)結(jié)果較為接近,效果最好.

圖5 平行線模擬樣品的超分辨重構(gòu)結(jié)果比較 (a)不同情形數(shù)據(jù)的重構(gòu)圖像: 1-無誤差數(shù)據(jù);2-有誤差未配準數(shù)據(jù);3-AT 配準數(shù)據(jù);4-2PF 配準數(shù)據(jù);5-PWL 配準數(shù)據(jù);6-LWM 配準數(shù)據(jù);7-LWM+EMP-FRE 配準數(shù)據(jù);(b)—(d)圖(a)中3 個白色方框處對應(yīng)的截面輪廓曲線Fig.5.Comparison of super-resolution reconstruction results for the simulated parallel line sample: (a) Reconstructed images from data in different cases: 1-error free data;2-unregistered data with errors;3-AT registered data;4-2PF registered data;5-PWL registered data;6-LWM registered data;7-LWM+EMP-FRE registered data;(b)–(d) the corresponding cross-section profiles of the three white boxes in panel (a).

選取圖中3 個特定位置(對應(yīng)不同的軸向坐標范圍)畫出對照組和LWM,LWM+EMP-FRE 組平行線圖像的歸一化截面輪廓曲線并進行對比,結(jié)果如圖5(b)—(d)所示.計算線間距(即曲線中兩個峰之間的距離)和對比度(即第二高峰與凹陷處的比值),可用于定量說明這三組平行線圖像之間的差異,結(jié)果如表4 所列.由表4 可以看到,雖然利用LWM 和LWM+EMP-FRE 兩種配準方法都可以得到比較接近對照組的圖像結(jié)果,但截面輪廓曲線進一步說明結(jié)合了EMP-FRE 算法的配準方法得到的平行線結(jié)構(gòu)相比單獨采用LWM 方法要更貼合沒有誤差的真實情形,且所得線間距和對比度也更準確.

表4 平行線模擬樣品重構(gòu)圖像的線間距和對比度定量比較Table 4.Quantitative comparison of line spacing and contrast in reconstructed images of the simulated parallel line sample.

進一步地,將LWM 和LWM+EMP-FRE 兩種配準方法及其模型參數(shù)用于處理實際采集的正交像散單分子定位成像實驗數(shù)據(jù),結(jié)果如圖6 所示.其中,圖6(a)為BS-C-1 細胞微管蛋白的寬場熒光圖像,圖6(b)和圖6(c)分別為圖6(a)中方框區(qū)域的正交像散單分子閃爍數(shù)據(jù)采用LWM 法和LWM+EMP-FRE 法進行配準后再進行重構(gòu)所得的超分辨圖像,圖6(d)給出了劃線部分的歸一化截面輪廓曲線.可以看到,LWM+EMP-FRE 法配準數(shù)據(jù)的重構(gòu)結(jié)果中定位點更集中,截面輪廓曲線的半高全寬從采用LWM 配準時的75.2 nm 減小到采用LWM+EMP-FRE 配準時的47.5 nm,有效地提高了單分子定位的精度.值得指出的是,由于實際的正交像散單分子定位成像系統(tǒng)中雙通道數(shù)據(jù)存在的局部非線性形變比模擬數(shù)據(jù)中的還要更嚴重,因此未進行配準的雙通道數(shù)據(jù)是無法重構(gòu)得到超分辨圖像的.

圖6 微管實驗數(shù)據(jù)的超分辨重構(gòu)結(jié)果比較 (a)寬場熒光圖像;(b),(c)圖(a)中白色方框區(qū)域的數(shù)據(jù)分別采用LWM 法和LWM+EMP-FRE 法配準后的重構(gòu)結(jié)果;(d)圖(b)和(c)中紅色和藍色方框處對應(yīng)的截面輪廓曲線Fig.6.Comparison of super-resolution reconstruction results for microtubule experimental data: (a) Wide-field fluorescence image;(b),(c) reconstructed images from data of the white box region in panel (a),registered using LWM and LWM+EMP-FRE,respectively;(d) corresponding cross-section profiles of the red and blue boxes in panel (b) and (c),respectively.

這些數(shù)據(jù)進一步說明了結(jié)合LWM 模型和EMP-FRE 算法的配準效果在正交像散單分子定位成像中起到了非常積極的作用,其高精度配準結(jié)果可使三維單分子定位和超分辨重構(gòu)結(jié)果更貼近真實情形,即LWM+EMP-FRE 配準可以在很大程度上減少雙通道圖像間的誤差對定位結(jié)果的影響,從而能夠更好地發(fā)揮正交像散單分子定位成像的優(yōu)勢.

4 總結(jié)與展望

針對多通道單分子定位系統(tǒng)中各成像通道間存在的圖像配準需求和特點,本文在利用隨機分布熒光珠樣品降低基準物圖像采集難度和成本的基礎(chǔ)上,通過在特征匹配和變換模型參數(shù)估計的過程中監(jiān)測熒光珠定位點的匹配誤差對控制點對進行迭代篩選,發(fā)展了一種基于基準配準誤差監(jiān)測的誤匹配點剔除算法(即EMP-FRE),消除了以隨機分布熒光珠樣品作為基準物對控制點準確獲取和精確匹配所帶來的不良影響,并結(jié)合基于局部加權(quán)平均的二階多項式擬合方法(即LWM 模型),對雙通道圖像間的變換模型進行了準確的參數(shù)估計,從而實現(xiàn)了高精度圖像配準.本文以圖像非線性局部形變情況嚴重的正交像散單分子定位成像為例,通過仿真實驗定量分析了變換模型選擇對配準精度的影響,說明針對局部非線性形變的LWM 模型更適合多通道單分子定位成像,但配準精度(平均27.4 nm,N=140)仍無法滿足控制在10 nm 以內(nèi)的最低需求;而結(jié)合EMP-FRE 算法后,僅通過3 次迭代即可將誤匹配點剔除,不僅獲得了更準確的LWM 變換參數(shù),將配準精度提高了一個數(shù)量級(平均4.7 nm),而且相比RANSAC 等其他誤匹配點剔除算法具有更高的效率和更好的剔除效果.進一步的實驗結(jié)果同樣表明,單獨采用LWM 配準后兩通道中仍有部分熒光珠像斑存在明顯的未準確匹配情況,而采用LWM+EMP-FRE 配準后這些熒光珠像斑都能夠很好地匹配,平均配準誤差從54.7 nm 提升到了6.1 nm.最后,通過對正交像散單分子定位超分辨成像的結(jié)果進行分析和比較,表明采用LWM+EMP-FRE 配準方法可以在很大程度上減少雙通道圖像間的誤差對定位結(jié)果的影響,從而能夠更好地發(fā)揮正交像散單分子定位成像的優(yōu)勢.

值得一提的是,本文雖然是以正交像散單分子定位成像為例對所提方法進行闡述和驗證,但這種直接利用隨機分布熒光珠樣品作為基準物并采用結(jié)合了EMP-FRE 算法的LWM 模型進行多通道圖像配準的方法是普適的.這是因為,在采用本文所提方法進行多通道單分子圖像數(shù)據(jù)配準時,控制點的獲取是通過對單個通道的熒光珠圖像進行定位得到的,與是否正交像散并無直接關(guān)聯(lián).因此,該方法可以直接推廣到其他多通道單分子定位系統(tǒng).對于多色系統(tǒng),只需要選用具有多種激發(fā)和發(fā)射波長的熒光珠;而對多于兩個通道的系統(tǒng),只需要固定其中一個通道作為參考圖像,將多通道圖像轉(zhuǎn)換為多組雙通道圖像,即可利用本文發(fā)展的方法逐個獲取精確的通道間變換模型,從而實現(xiàn)多通道圖像間的高精度配準.