基于重映射的SPRI視頻自動找點方法

袁彬峰，汪之又，黃彩霞，羅 宇

(1.國防科技大學(xué) 計算機(jī)學(xué)院，湖南 長沙 410073；2.長沙學(xué)院 電子信息與電氣工程學(xué)院，湖南 長沙 410022；3.長沙學(xué)院 計算機(jī)工程與應(yīng)用數(shù)學(xué)學(xué)院，湖南 長沙 410022)

0 引 言

表面等離子共振成像(surface plasmon resonance imaging，SPRI)是基于表面等離子共振(surface plasmon resonance，SPR)的光學(xué)成像技術(shù)，可基于生物芯片表面折射率的變化測定待測溶液中特定物質(zhì)的濃度[1]。其測定原理可以被描述為：在SPRI實驗中放置在生物芯片表面的蛋白分子與待測溶液蛋白分子之間的結(jié)合會引起生物芯片表面折射率的變化[2]并被相機(jī)拍攝記錄。因此判斷待測溶液中是否含有某種物質(zhì)，只需要查找相機(jī)記錄的SPRI視頻中是否存在亮度變化區(qū)域，并定位該區(qū)域?qū)?yīng)放置的蛋白分子。

由于表面等離子共振成像(SPRI)檢測技術(shù)具有無需標(biāo)記、靈敏度高、專屬性強、消耗樣品少的特點[3]，目前已廣泛用于食品安全[4]、環(huán)境監(jiān)測[5]、藥物研究[6]等領(lǐng)域。當(dāng)前SPRI技術(shù)在結(jié)合微點陣技術(shù)后，可同時、原位、實時觀測成千上萬個無標(biāo)記樣點[1]。若利用傳統(tǒng)的人工識別蛋白點方法工作量大且準(zhǔn)確度低。目前已有成熟的商業(yè)化軟件用于半自動定位生物芯片上的蛋白點，例如Array Pro，GenePix Pro，MicroVigene，Dapple and Mapix等等[7]。這些商業(yè)軟件中通常用橢圓檢測算法直接提取SPRI視頻圖像中的蛋白點[8]，或者在人工干預(yù)下先將SPRI視頻圖像按網(wǎng)格劃分，然后在每個網(wǎng)格內(nèi)檢測蛋白點[9]。這些商業(yè)化軟件工具使用方便但對輸入數(shù)據(jù)的格式和使用范圍有嚴(yán)格要求，且不能全自動識別與定位蛋白點。商業(yè)軟件中使用的定位算法處理步驟繁瑣，時間開銷大，不支持在性能受限的嵌入式設(shè)備上運行。

在SPRI實驗中發(fā)現(xiàn)從生物芯片制備工具中導(dǎo)出的陣列打印效果圖為生物芯片的掃描圖，并且利用CCD相機(jī)拍攝的SPRI視頻是對生物芯片上蛋白點的放置區(qū)域的記錄，因此陣列打印效果圖中放置蛋白陣列區(qū)域與CCD相機(jī)拍攝的SPRI視頻是對生物芯片上放置蛋白點區(qū)域的不同成像，陣列打印效果圖與SPRI視頻每幀圖像中的蛋白點之間可能存在空間映射關(guān)系。結(jié)合重映射的思想，該文提出了基于重映射的自動找點方法。該方法需要先定位陣列打印效果圖上的蛋白點，然后將打印效果圖中蛋白點的坐標(biāo)映射為SPRI視頻中目標(biāo)蛋白點的坐標(biāo)。由于陣列打印效果圖成像清晰，相較于成像圖噪音干擾較少，且只需通過一次映射即可得到目標(biāo)蛋白點坐標(biāo)。因此基于重映射的SPRI視頻自動找點算法運行時間短，且無需人工干預(yù)，支持在嵌入式設(shè)備上運行。在測試實驗中，時長為50分鐘，幀率為1幀每秒，排列大小為48×48的SPRI視頻需要214秒定位并提取每個蛋白點區(qū)域的灰度值。

1 實驗條件與軟件環(huán)境

生物芯片的制備過程可以被簡述為：將與待測物質(zhì)發(fā)生反應(yīng)的蛋白溶液從試劑盒中吸取，并按陣列形式固定在特定金屬芯片上[10-11]。完成生物芯片的制備后對生物芯片進(jìn)行掃描，可得到如圖1(a)所示的芯片的陣列打印效果圖。在SPRI實驗前需要將生物芯片固定在流通池的下方，并將生物芯片上的蛋白陣列區(qū)域放置在CCD相機(jī)的成像區(qū)域內(nèi)，圖1(a)中蛋白陣列外圍正方形黑框代表成像區(qū)域。實驗開始后利用單色光源照射生物芯片，激發(fā)表面等離子共振現(xiàn)象并將待測溶液通入流通池。在激發(fā)表面等離子共振現(xiàn)象后，若通入溶液與芯片上放置蛋白分子發(fā)生反應(yīng)則會引起生物芯片折射率變化并被CCD相機(jī)記錄。圖1(a)中的黑色正方形成像區(qū)域在CCD記錄成像后會被拉伸、壓縮為圖1(b)所示的矩形圖像。

圖1 實現(xiàn)原理

在SPRI實驗中，由CCD相機(jī)拍攝圖像(圖1(b))通常為灰度圖且含有大量噪音。圖1(b)中噪聲主要分為兩種：空間噪聲和時間噪聲?？臻g噪聲是指由于光源分布不均勻造成的成像面上光強分布不均勻的情況。成像視頻常常出現(xiàn)中間亮高，四周亮度低的狀況[12]。時間噪聲包括高頻隨機(jī)噪聲和長期基線漂移。隨機(jī)噪聲主要是由于光源波動、光電探測器熱燥引起，基線漂移通常由環(huán)境溫度變化，光源波動和探測器熱噪聲等引起[12]。以上噪音都會影響基于圖1(b)進(jìn)行自動定位算法的準(zhǔn)確度，導(dǎo)致自動定位算法的準(zhǔn)確度與CCD相機(jī)的成像質(zhì)量相關(guān)，當(dāng)成像質(zhì)量較低時定位蛋白點的準(zhǔn)確度降低。

通過在多次SPRI實驗中對比陣列打印效果圖與成像視頻中蛋白點的成像后發(fā)現(xiàn)，生物芯片上同一個蛋白點在不同成像圖上的圓心坐標(biāo)，寬和高之間存在映射關(guān)系。具體來說，成像視頻中蛋白點相對于打印效果圖中蛋白點的寬度會被拉伸，高度會被壓縮，圓心坐標(biāo)之間存在線性變換。具體的映射參數(shù)取決于當(dāng)前CCD相機(jī)的拍攝參數(shù)。

該文提出的自動找點算法使用C++在Ubuntu上利用Qtcreator開發(fā)，開發(fā)過程中使用opencv3.6依賴庫[13-15]，用于截取圖像、邊緣檢測等圖像處理操作。為驗證自動定位算法的性能，在樹莓派4b(Cortex-A72 1.5 GHz處理器，4 GB)基于Debian的Linux操作系統(tǒng)Raspbian lite(2019-07-10)上運行測試。

2 方法設(shè)計

該文提出了基于陣列打印效果圖的自動找點算法，該算法不直接對拍攝視頻(圖1(b))進(jìn)行處理，而是先對陣列打印效果圖進(jìn)行識別，然后將在效果圖上的蛋白點坐標(biāo)映射為成像視頻中蛋白點的坐標(biāo)。基于以上思路，基于重映射的自動識別方法的處理過程可分為六步，處理流程如圖2所示。第一步截取陣列打印效果圖中的成像區(qū)域。第二步對截取的圖像進(jìn)行邊緣檢測。第三步將上一步中提取的邊緣擬合為橢圓形狀并過濾噪音。第四步將第三步中擬合的橢圓組織為橢圓陣列。第五步需要輸入CCD成像圖，并將上一步中橢圓坐標(biāo)映射為CCD成像圖中目標(biāo)蛋白點坐標(biāo)。第六步修正坐標(biāo)映射后的橢圓點坐標(biāo)，使映射后的橢圓與CCD圖像中的蛋白點重合。該方法中需要輸入的陣列打印效果圖與CCD成像圖分別對應(yīng)圖1(a)與圖1(b)。

圖2 算法處理流程

2.1 截 取

在這一步中需要截取陣列打印效果圖中的視頻成像區(qū)域即圖1(a)中的黑色邊框區(qū)域。由于陣列打印效果圖是對生物芯片的掃描，且在制備生物芯片時必須確定成像區(qū)域的起始點與截止點坐標(biāo)，因此可以使用成像區(qū)域的起始點與截止點坐標(biāo)截取陣列打印效果圖中的視頻成像陣列區(qū)域。

2.2 邊緣檢測與橢圓擬合

在這一步中需要對陣列打印效果圖的截圖進(jìn)行邊緣檢測，然后將提取的蛋白點邊緣擬合為橢圓形狀。常規(guī)邊緣檢測可以使用邊緣算子或其他方法[16-17]。但對于邊緣不清晰的蛋白點成像，可以使用改進(jìn)的Canny邊緣算子進(jìn)行邊緣檢測[18-20]。最后可使用opencv庫中的fitelipse方法將之前檢測的蛋白點邊緣擬合為橢圓。

2.3 陣列識別

陣列識別的目標(biāo)是輸出橢圓矩陣，矩陣中每一個元素代表一個橢圓，記錄了對應(yīng)橢圓的大小、圓心坐標(biāo)等信息。為達(dá)到該目標(biāo)，需要先猜測陣列大小，然后修正上一步中擬合的橢圓，去除非目標(biāo)橢圓，并將目標(biāo)橢圓按陣列方式組織。最后檢查當(dāng)前陣列是否與蛋白點的排列大小相同，若不相同則需要通過陣列修正操作補全缺失橢圓。

2.3.1 構(gòu)建陣列與過濾

為構(gòu)建陣列，首先需要將上一步中擬合橢圓點按圓心縱坐標(biāo)分組。可依據(jù)兩個橢圓點圓心的縱坐標(biāo)之間的差值來判斷兩個橢圓是否處于同一行。若差值接近于0，則說明這兩個橢圓點位于同一行?；谝陨纤悸房蓪⑸弦徊街袛M合的橢圓點按行分組，最后分組的數(shù)量即為陣列的行數(shù)。

完成按行分組后，則需要對每組內(nèi)的橢圓進(jìn)行初步過濾。初步過濾中需要過濾的錯誤橢圓可以被分為兩類：第一類是擬合陣列打印圖中小黑點噪音得到的橢圓，這類橢圓面積遠(yuǎn)小于正常橢圓且接近于0，可以通過設(shè)置面積的閾值進(jìn)行過濾。第二類是蛋白點邊緣不清晰導(dǎo)致擬合一個蛋白點的邊緣得到的多個橢圓。為過濾這類橢圓，需要對組內(nèi)橢圓按圓心的橫坐標(biāo)排序。若兩個橢圓圓心橫坐標(biāo)相近，則可判定這兩個橢圓為同一個蛋白點的不同擬合結(jié)果，則只需要保留其中一個。

完成以上構(gòu)建操作后可以得到橢圓陣列，陣列中每個元素表示一個橢圓。但該陣列的列數(shù)還未確定，每行中的橢圓數(shù)量可能不一致。為求橢圓陣列的列數(shù)需要統(tǒng)計陣列中每行的橢圓數(shù)量并排序，選擇重復(fù)次數(shù)最多的數(shù)量作為當(dāng)前陣列的列數(shù)。

橢圓陣列構(gòu)建完成后，還需要對陣列內(nèi)橢圓進(jìn)行第二次過濾。第二次過濾的目標(biāo)是去除擬合錯誤導(dǎo)致的偏大橢圓。這類橢圓是因為在擬合時錯誤將多個蛋白點擬合為一個橢圓點造成的，對于這類橢圓點可以通過設(shè)立橢圓的寬度的上限[imageWidth/cols]和高度上限[imageHeight/rows]進(jìn)行過濾。imageWidth與imageHeight為CCD視頻圖像的寬度與高度，rows與cols為之前步驟中確立的橢圓陣列的行數(shù)與列數(shù)。

2.3.2 陣列修正

構(gòu)建橢圓陣列后需要檢查當(dāng)前陣列大小與2.3.1節(jié)中計算得到的陣列模式是否一致。若發(fā)現(xiàn)某行缺失橢圓，則可以通過橢圓圓心之間的距離差定位缺失橢圓點編號。在正常情況下，各個橢圓圓心之間的距離是固定的，但會在某個小范圍內(nèi)波動。如果兩個橢圓點中心之間的差距過大，則可以判定兩個橢圓點之間可能存在遺漏橢圓點。如圖3所示，ΔX5與ΔX8明顯大于ΔX1，ΔX2等正常間隔之間的距離。由此可以判斷5號與6號橢圓之間，8號橢圓與9號橢圓之間存在缺失橢圓。

圖3 補全橢圓

定位缺失橢圓點的編號后，可以依據(jù)缺失橢圓點左右兩側(cè)的橢圓點補全缺失橢圓點的大小和圓心坐標(biāo)。如圖3所示，5號橢圓與6號橢圓之間缺失橢圓點A的寬度等于5號橢圓點與6號橢圓寬度的平均值，同理可計算缺失橢圓點A的高度和圓心Y軸坐標(biāo)。缺失橢圓點A圓心的X軸坐標(biāo)等于5號橢圓圓心的X軸坐標(biāo)加上ΔX1，ΔX2，ΔX3，ΔX4的平均值。補全A號橢圓后，按照之前定義的步驟依次補全B和C號橢圓。

2.4 坐標(biāo)映射

其中，offsetx、offsety已在圖1中標(biāo)注，表示蛋白陣列中左上角蛋白點距離起始點在橫軸和縱軸上的差值。ratex、ratey表示CCD成像圖相對于打印效果圖在橫軸和縱軸上的壓縮比。以上參數(shù)的取值和CCD相機(jī)參數(shù)相關(guān)，在SPRI實驗中保證拍攝參數(shù)不變則以上參數(shù)不變。

2.5 自動校準(zhǔn)

映射后的橢圓點可能與CCD成像圖中的蛋白點輪廓不能完全吻合。為此需要對映射后的橢圓點進(jìn)行自動校正。在實驗中CCD相機(jī)采集灰度圖像，因此在成像圖中目標(biāo)蛋白點呈現(xiàn)白色。在理想情況下，映射后的橢圓點與蛋白點輪廓重合，橢圓點所在區(qū)域內(nèi)為白色，橢圓點的重心與圓心重合。當(dāng)映射效果不理想時，重心與圓心之間的差值代表應(yīng)該修正的方向。此時用重心替換橢圓點圓心便可得到修正后的橢圓點。橢圓點的重心計算公式如下：

其中，xc與yc表示重心的橫坐標(biāo)與縱坐標(biāo)，M00表示圖像的0階矩，M10與M01表示圖像的一階矩，其計算方式如下所示：

其中，V(i,j)表示圖像V像素點(i,j)處的灰度值。

在自動校準(zhǔn)后，可以將灰度圖轉(zhuǎn)換為二值化圖，然后使用橢圓點區(qū)域內(nèi)白色像素點數(shù)量與該區(qū)域內(nèi)像素點數(shù)量的比值衡量橢圓點的定位準(zhǔn)確度。在理想情況下白色像素點數(shù)量應(yīng)該約等于該區(qū)域內(nèi)像素點數(shù)量，比值接近于1說明定位準(zhǔn)確度高，比值接近于0說明當(dāng)前準(zhǔn)確度低。

3 實驗結(jié)果與性能評價

通過實驗驗證，使用文中的自動找點方法可以準(zhǔn)確定位視頻成像圖中的每個蛋白點。圖4左側(cè)是對48×48排列模式的成像視頻使用本算法識別后的局部截圖。圖中白圈代表預(yù)測的蛋白點位置，橢圓形白斑為蛋白點的成像。對比后可以發(fā)現(xiàn)白圈基本能圈中每個蛋白點。

在SPRI實驗中，由于相機(jī)的曝光與聚焦設(shè)置會導(dǎo)致CCD相機(jī)在實驗開始的一段時間內(nèi)拍攝圖像接近于空白。此時若使用傳統(tǒng)的自動定位方法將不能定位蛋白點。但由于本方法是對打印效果圖進(jìn)行分析，然后將分析結(jié)果映射變換到CCD成像圖中。通過這種模型，只要保證映射關(guān)系準(zhǔn)確，可以消除視頻圖像質(zhì)量低、雜音多的影響。例如在圖4右圖中成像圖亮度太高使蛋白點輪廓不清晰的前提下，也能定位每個蛋白點的位置。

圖4 找點結(jié)果

為驗證自動找點算法的性能，該文提出的自動找點算法在樹莓派4b的硬件設(shè)備上運行測試。對于時長為50分鐘，幀率為1幀每秒，排列大小為48×48的SPRI視頻，需要花費214秒定位所有蛋白點的位置并提取每幀圖像中每個蛋白點區(qū)域的平均灰度值。

使用自動找點算法定位的蛋白點為目標(biāo)蛋白點的成像。圖5是利用自動找點算法識別的一個蛋白點在SPRI實驗中反應(yīng)強度的變化曲線。圖中橫軸是時間編號(圖像幀的編號)，縱軸是該蛋白點的反應(yīng)強度(蛋白點成像區(qū)域內(nèi)的平均值灰度值減去本次實驗的空白信號)。在一次完整SPRI實驗中會依次通入清洗液，生理鹽水，甘油，清洗液，生理鹽水，測試溶液。不同的溶液會導(dǎo)致該蛋白點的放置區(qū)域內(nèi)出現(xiàn)不同的反應(yīng)強度。通入清洗液時會破壞蛋白質(zhì)分子之間的結(jié)合導(dǎo)致蛋白點放置區(qū)域內(nèi)的折射率降低，反應(yīng)強度降低。生理鹽水是緩沖劑，通入生理鹽水時當(dāng)前蛋白點的反應(yīng)強度代表本次實驗的空白信號。通入甘油時蛋白點的折射率達(dá)到最高，通入甘油用于測試和校準(zhǔn)實驗。在實驗最后會通入樣品溶液，若發(fā)生蛋白分子間的結(jié)合反應(yīng)則會導(dǎo)致折射率明顯提高，使用此時的強度值與通入生理鹽水時強度值之間的差值對照查表，可得樣品溶液中與該蛋白點發(fā)生反應(yīng)物質(zhì)的濃度含量。最終該蛋白點在一輪實驗中的強度值變化如圖5所示。

圖5 局部強度變化曲線

4 結(jié)束語

該文對如何定位SPRI視頻中的蛋白點提出了一種新的解決思路。該算法不直接對含有較多噪音的SPRI視頻進(jìn)行分析，而是通過生物芯片的打印效果圖間接提取生物蛋白點坐標(biāo)。因此能適應(yīng)各種蛋白點的排列模式，適用于噪音較多并且模式固定的SPRI視頻分析，并且支持移植到嵌入式設(shè)備內(nèi)運行。但是該算法的時間開銷存在優(yōu)化空間，這也是今后的研究方向。