一種基于REC.2020高清色域的視頻級顯微高動態(tài)范圍成像方法

鄭馳 BERNAL SalVador Garcia 張克奇 毛磊 劉旭

摘要：高動態(tài)范圍成像已經(jīng)成為數(shù)字顯微鏡發(fā)展的一大趨勢。目前視頻級高動態(tài)范圍顯微成像技術(shù)由于計算復雜度較高，還無法做到實時處理和顯示。提出利用高清電視領(lǐng)域中的REc.2020色域變換，結(jié)合GPu實時加速處理技術(shù)，成功實現(xiàn)了高動態(tài)范圍顯微圖像視頻流的實時顯示，圖像具有良好的色彩還原性和細節(jié)恢復性。實驗結(jié)果表明，設計的算法不僅能夠提供穩(wěn)定的高清、高動態(tài)范圍視頻，其細節(jié)和色彩還原性也有了很大的提高，突破了傳統(tǒng)的高動態(tài)范圍圖像技術(shù)在成像速度和質(zhì)量方面的限制。

關(guān)鍵詞：高動態(tài)范圍（H1）R）;視頻級REc.2020;GPU實時加速處理

中圖分類號：TP37 文獻標志碼：A

引言

近年來，隨著計算機和圖像傳感器制造技術(shù)的迅速發(fā)展，高動態(tài)范圍成像（high dynamicrange，HDR）已成為數(shù)字顯微鏡領(lǐng)域發(fā)展的一大趨勢。盡管圖像傳感器的性能在不斷提高，但是其動態(tài)范圍不足始終制約著數(shù)碼顯微鏡向高清化發(fā)展。目前市場上的顯微圖像傳感器拍攝的圖像會出現(xiàn)曝光過度或者曝光不足的現(xiàn)象，從而導致在某些區(qū)域圖像細節(jié)的缺失。

與數(shù)碼顯微鏡產(chǎn)品發(fā)展類似，電視系統(tǒng)也在向高清、高色彩還原性等方向發(fā)展。2012年8月，ITU整合了日本SuperHi-Vision 8K超高清電視廣播系統(tǒng)與世界主流的4K超高清電視廣播系統(tǒng)技術(shù)規(guī)范，推出了REC.2020超高清電視廣播系統(tǒng)與節(jié)目源制作國際標準。該標準不僅定義了傳統(tǒng)意義上的高清分辨率，也定義了RGB色彩空間向其空間轉(zhuǎn)換的標準。1993年，Mann最先提出高動態(tài)范圍成像的概念，并利用單傳感器采集多曝光圖像，使用相機相應曲線融合多曝光圖像序列，以達到擴展圖像動態(tài)范圍的目的。但是，該方法只能適用于灰度圖像，并不適用于彩色圖像。Debevec和Malik真正實現(xiàn)了現(xiàn)代高動態(tài)范圍技術(shù)。首先，通過光曝光圖像序列恢復出真實場景中的光譜圖，通常利用32 bit浮點數(shù)表達每1個像素點。然后，采用色調(diào)映射技術(shù)將32 bit的數(shù)值映射到8 bit，這樣傳統(tǒng)的顯示裝置就可以顯示高動態(tài)范圍圖像。在單傳感器方法的基礎(chǔ)上，2011年，Tocei提出并實現(xiàn)了一種多傳感器方法，通過使用分光棱鏡和耦合器，實現(xiàn)多傳感器同時工作，并進行高動態(tài)范圍合成，但是處理速度非常慢，不足以達到實時處理的效果。

在顯微鏡領(lǐng)域，由于分光和多傳感器方法需要增加和修改顯微鏡光學系統(tǒng)而沒有被采用，也沒有出現(xiàn)相應的商業(yè)化產(chǎn)品;反而是單傳感器方案，由于陜速圖像傳感器的出現(xiàn)和計算機處理速度的加快而被采用，目前市場上只有國外的基恩士和浩視的產(chǎn)品具有相類似的功能。2013年，本文作者提出一種基于GPU實時加速的高動態(tài)范圍成像算法，實現(xiàn)了動態(tài)顯示高動態(tài)范圍成像。

本文優(yōu)化了GPU實時加速處理技術(shù)，實現(xiàn)了實時生成高動態(tài)范圍視頻，同時引入REC.2020高清色域變換提升算法的色彩還原性。利用參數(shù)可調(diào)的局部色調(diào)映射技術(shù)實時顯示高動態(tài)范圍視頻。實驗結(jié)果表明，本文提出的方法得到的高動態(tài)范圍視頻質(zhì)量比傳統(tǒng)方法得到的圖像質(zhì)量要高，圖像細節(jié)和色彩還原性都得到了較大的提升。同時由于GPU實時加速處理技術(shù)的應用，本文的方法需要的處理時間低，可以達到視頻級高動態(tài)范圍成像效果。

1高動態(tài)范圍顯微成像技術(shù)

視頻級的高動態(tài)范圍成像利用一個相機穩(wěn)定地采集多幅曝光圖像，形成圖像序列。利用高動態(tài)范圍光譜合成技術(shù)和色調(diào)映射技術(shù)進行處理和顯示高動態(tài)范圍視頻，做到實時觀測和成像。本文采用高動態(tài)范圍視頻成像的4個步驟：（1）相機標定;（2）多曝光圖像序列采集;（3）構(gòu)建高動態(tài)范圍光譜圖;（4）色調(diào)映射光譜圖以顯示高動態(tài)范圍視頻。

1.1相機標定

相機標定主要是利用相機采集不同曝光時間的圖像序列，以標定出相機的像素值與真實的高動態(tài)光譜圖之間的曲線關(guān)系，便于后續(xù)基于所采集到的多曝光圖像序列構(gòu)建高動態(tài)光譜圖。

1.2多曝光圖像序列采集

采集多曝光圖像序列，并保存到計算機的CPU中是非常耗時間的。同時相機需要一定的穩(wěn)定時間以適應新的不同的曝光時間。為了實現(xiàn)實時采集和穩(wěn)定采集，穩(wěn)定時間設定為這樣我們將該窗口內(nèi)所有的像素點用上述方法進行色調(diào)映射，以保證其可以被普通的顯示設備顯示。

2基于GPu實時加速技術(shù)

GPU實時加速技術(shù)是整個算法的核心內(nèi)容，也是實現(xiàn)實時高動態(tài)范圍成像的關(guān)鍵。根據(jù)13中介紹的高動態(tài)范圍光譜圖構(gòu)建方式，本文提出一種新的高動態(tài)范圍GLSL算法核心，將相機采圖、實時處理和合成結(jié)合在一起，如圖1所示。該方法實現(xiàn)在相機采圖過程中，實時構(gòu)建高動態(tài)范圍光譜圖。完成高動態(tài)范圍光譜圖的構(gòu)建之后，將該光譜圖輸入到色調(diào)映射流程中進行映射，以保證可以在傳統(tǒng)的顯示設備上顯示高動態(tài)范圍視頻和圖像，如圖2所示。

通過實驗，采集2幅不同曝光時間的圖像可以做到擴展動態(tài)范圍和實時性的平衡。通過調(diào)節(jié)相機的穩(wěn)定時間，可以在一個循環(huán)內(nèi)穩(wěn)定地采集2幅圖像，并作為紋理輸入到顯卡GPU中的顯存中。然后頂點操作是將圖像的4個角點作為紋理的頂點，這樣可以保留圖像的分辨率信息。片段操作是將構(gòu)建高動態(tài)范圍光譜圖的算法作為內(nèi)核并行地運用到紋理的每一個點，最終實現(xiàn)并行計算和輸出。

3實驗結(jié)果分析

3.1實驗設備

為了展示GPU實時加速處理的計算效率，本文采用Intel i7-4790處理器，運行Windows10（64位）系統(tǒng)，顯卡采用NVidia GeForce GTX1060。實驗用的顯微鏡為寧波永新光學的NM900金相顯微鏡，并配以NEXCAM-T16攝像頭，其采圖分辨率最大可達4648x3506。該相機在不同分辨率下幀率也不相同，分別為6.0@4648x3506，15@2304x1750，30@1536x1168。本文的相機的分辨率為1536x1168，采集幀率為30幀/s。在HDR的模式下，由于需要同時采集長短曝光時間的圖像，然后輸入到GPU內(nèi)存中，所以實時顯示幀率達到14.55幀/s，如圖3所示。

3.2成像質(zhì)量評價方法

本文提出的算法的效果與2015年前作者發(fā)表的算法的成像效果做了實驗對比。通過對比信噪比、色差和高動態(tài)質(zhì)量評價等參數(shù)，結(jié)果顯示本文提出的算法不僅可以實現(xiàn)視頻級的實時高動態(tài)范圍成像，同時在成像質(zhì)量和色彩還原性方面也有了一定程度地提升。

3.2.2色差

色差是處理后的圖像與原始圖像在色彩空間的距離，兩者之間的距離越大說明兩者的色差越大。高動態(tài)范圍成像技術(shù)由于采用色調(diào)映射技術(shù)，色差也會出現(xiàn)在映射之后的圖像中。本文采用Lab色彩空間來衡量高動態(tài)范圍處理后的圖像與未處理過的圖像之間的色差。

首先將圖像IRGB由RGB空間變換到Lab空間，得到變換后的圖像ILab。然后計算圖像在Lab空間上的平均歐式距離CDiff其表達式為

3.3實驗結(jié)果

本文選取常用的金相樣品進行實驗，金屬電路板上的電阻。為了驗證本文提出的新的高動態(tài)成像算法的效果，實驗選取了3個成像模式進行比較：自動曝光模式、作者提出的HDR算法和本文算法。觀測圈中的區(qū)域可得，圖像在自動曝光模式下會出現(xiàn)曝光過度從而導致有些區(qū)域的細節(jié)無法拍清楚。而之前的HDR整體亮度不足，同時會存在局部模糊的現(xiàn)象。新的算法在保持整體亮度的同時，去除了模糊的噪聲。由于使用了REC.2020色域變換，新算法在色彩還原性上比之前的算法更接近于樣品本身的顏色。

首先實驗選取了一塊電路板上的電阻表面作為觀測場景。該場景表面的高低差比較大。除了電阻表面的區(qū)域是清楚的，其余區(qū)域由于顯微鏡景深不足的問題而導致模糊情況發(fā)生。由圖4（a）中可見圈中的場景出現(xiàn)了過曝的情況而導致在該區(qū)域缺少細節(jié)。圖4（b）和圖4（c）的兩種高動態(tài)范圍成像方法可以恢復出細節(jié)，但是新方法的色差相比較之前的方法提升了33.5%，圖4（d）中橫坐標分為信噪比、色差、高動態(tài)質(zhì)量評價，縱坐標是通過計算得出的數(shù)值。

4結(jié)論

本文提出一種基于REC.2020高清色域的視頻級顯微高動態(tài)范圍成像方法。REC.2020高清色域以其高清和高色彩還原性而被廣泛應用于高清電視領(lǐng)域。將REC.2020色域變換引入到高動態(tài)范圍成像技術(shù)中，可以使色調(diào)映射之后的圖像顏色更接近于人眼觀測的顏色。由于高動態(tài)范圍成像技術(shù)的算法復雜度要求比較高，僅利用CPU處理無法達到視頻級成像。GPU實時加速處理技術(shù)利用并行計算的方式，全面提高算法的整體速度，做到實時處理、顯示，可滿足用戶實時觀測高動態(tài)范圍圖像的要求。實驗結(jié)果表明，本算法在兼顧算法實時性的前提下，恢復了處理后圖像的原始細節(jié)，提高了色彩還原性和圖像質(zhì)量，使其色彩和紋理更加豐富。本方法對于陜速的高動態(tài)成像方法具有一定的指導意義，為后續(xù)基于多傳感器高動態(tài)范圍成像技術(shù)的發(fā)展和顯微三維重建提供了有力的技術(shù)支撐。