Bayer模式圖像復(fù)原技術(shù)的研究與發(fā)展

別業(yè)楠

1 引言

隨著影像技術(shù)的迅速發(fā)展和廣泛使用，彩色影像已成為人們?nèi)粘Ｉ詈涂茖W(xué)研究中一項(xiàng)重要的技術(shù)。目前，基于彩色圖像的數(shù)字成像技術(shù)已被廣泛應(yīng)用于交通實(shí)時(shí)監(jiān)控、安防系統(tǒng)、光學(xué)遙感、醫(yī)療監(jiān)護(hù)、汽車立體倒車影像等多個(gè)領(lǐng)域。近十年來(lái)，國(guó)內(nèi)外學(xué)者和產(chǎn)業(yè)界都對(duì)這一問(wèn)題進(jìn)行了深入的探討。然而，彩色圖像的捕捉過(guò)程極易受各種因素影響，導(dǎo)致圖像質(zhì)量出現(xiàn)不同程度的下降，還原降質(zhì)圖像的真實(shí)色彩對(duì)后續(xù)的圖像重建工作至關(guān)重要。為了節(jié)省硬件成本和設(shè)計(jì)成本，大多數(shù)現(xiàn)代彩色數(shù)碼相機(jī)都只配備了一個(gè)單傳感器來(lái)獲取圖像。單傳感器捕獲的Bayer模式圖像每個(gè)像素處只有R（紅色）、G（綠色）、B（藍(lán)色）3種顏色中的一種，要得到一副完整的彩色原始圖像，需要對(duì)Bayer圖像進(jìn)行復(fù)原技術(shù)處理，復(fù)原技術(shù)算法的處理結(jié)果直接關(guān)系到彩色數(shù)字圖像的質(zhì)量，所以研究高效的復(fù)原技術(shù)算法，仍具有重要的實(shí)用價(jià)值。

2 Bayer模式圖像及其應(yīng)用

通常情況下，單個(gè)圖像傳感器捕獲的圖像是灰度圖像，想要獲得彩色圖片則需要3個(gè)圖像傳感器，每個(gè)傳感器對(duì)特定的波長(zhǎng)敏感，用以測(cè)量3種顏色的分量，然后將3種顏色疊加在一起，合成一張擁有3種顏色的彩色原始圖像，這是理想彩色圖像的成像方法。然而，傳感器的定位并不簡(jiǎn)單，傳感器可以放置在一個(gè)平面上，進(jìn)入相機(jī)的光線在每個(gè)像素中分開(kāi)，并投射到每個(gè)光譜傳感器上，這種解決方案成本高昂，并導(dǎo)致組件之間一些相位的延遲和占用3倍的儲(chǔ)存空間。另一種方法則是將3個(gè)圖像傳感器堆疊在一起，例如Foveon相機(jī)的結(jié)構(gòu)，但由于光線須穿透3層硅，導(dǎo)致曝光時(shí)間增加[1]。

因此，在實(shí)際應(yīng)用過(guò)程中，出于對(duì)硬件和設(shè)計(jì)成本的考慮，大部分彩色數(shù)字照相機(jī)都是利用1個(gè)影像感應(yīng)器來(lái)捕捉彩色影像中的各個(gè)象素。這種相機(jī)被稱為單傳感器數(shù)碼相機(jī)，傳感器部件一般為光電耦合部件（CCD），其傳感原理依賴于光子撞擊硅時(shí)產(chǎn)生的電子—空穴對(duì)，或者互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）有源像素傳感器，其中傳感器包含1個(gè)光電探測(cè)器和1個(gè)有源放大器來(lái)測(cè)量光的強(qiáng)度[2]。因此需要在傳感器前面放置1層RGB有序分布的濾色器陣列（CFA），捕獲RGB 3種顏色交叉排列的圖像。

Bayer CFA濾色陣列格式發(fā)明于1976年，是目前最為常見(jiàn)且經(jīng)典的1種濾色陣列[3]，它使用五邊形網(wǎng)格對(duì)綠色帶進(jìn)行采樣，而紅色和藍(lán)色采用矩形網(wǎng)格進(jìn)行采樣（如圖1所示），每個(gè)2×2的陣列模塊里有2個(gè)綠色濾色器，1個(gè)紅色濾色器和1個(gè)藍(lán)色濾色器，其中綠色濾色器處于對(duì)角線位置。由于綠色的光譜范圍更加接近人眼的光譜響應(yīng)波段，因此綠色濾波片的數(shù)量是紅色和藍(lán)色濾色器數(shù)量的2倍。此外，在人類的視網(wǎng)膜中心，也存在著一系列的錐形體細(xì)胞，這保證了重建后的彩色影像的清晰程度達(dá)到最高[4]。大多數(shù)數(shù)碼相機(jī)都采用了這種結(jié)構(gòu)，例如佳能EOS 500D、奧林巴斯E—450、Lumix DMC—FS12、FS62和FS42、索尼Alpha230、330和380等[5]。

3 Bayer模式圖像復(fù)原技術(shù)

獲得Bayer模式圖像后，可以通過(guò)算法，重建圖像采樣點(diǎn)中缺失的顏色分量，得到三通道彩色圖片，這個(gè)過(guò)程就稱作Bayer復(fù)原技術(shù)，具體流程如圖2所示，其結(jié)果被稱為重建圖像或復(fù)原技術(shù)圖像[6]。復(fù)原技術(shù)算法的優(yōu)劣與彩色攝像機(jī)采集到的彩色圖像的優(yōu)劣有著密切的關(guān)系，同時(shí)還會(huì)對(duì)后續(xù)的攝像機(jī)進(jìn)行圖像處理。

Bayer格式圖像的復(fù)原技術(shù)算法根據(jù)其色彩還原效果和算法復(fù)雜度大致可以分為4類：

①基于插值的復(fù)原技術(shù)算法

最鄰近插值算法、雙線性插值法[7]、三次插值法[8]等是發(fā)展初期常用的3種算法，此類算法運(yùn)算速度較快，計(jì)算實(shí)現(xiàn)簡(jiǎn)單，可以用在實(shí)時(shí)性要求較高的系統(tǒng)中，但是由于忽略了不同顏色通道之間的相關(guān)性，樣本色彩中的所有信息都沒(méi)有被使用。其次，在圖象的高頻部分，采用雙線性插值進(jìn)行的平均運(yùn)算，會(huì)產(chǎn)生不正確的色彩和模糊。

彩色圖像復(fù)原技術(shù)中1個(gè)常用的假設(shè)是顏色分量之間的比率比顏色分量更平滑。在恢復(fù)技術(shù)中，要獲得高品質(zhì)的復(fù)原技術(shù)，必須充分考慮色彩信道間的相關(guān)關(guān)系。Wang等[9]提出了1種新的基于梯度校正的雙線性內(nèi)插算法，通過(guò)雙線性內(nèi)插來(lái)實(shí)現(xiàn)紅、藍(lán)2個(gè)點(diǎn)的插補(bǔ)，并通過(guò)紅、藍(lán)2種顏色的空間梯度來(lái)進(jìn)行校正。但該方法存在著方向性差、邊界模糊、虛影等問(wèn)題。

沿邊緣方向進(jìn)行插值能夠較好的改善邊緣和拐角處的偽影，它是在雙線性插值算法的基礎(chǔ)之上發(fā)展起來(lái)的。根據(jù)邊沿方向估計(jì)的不同，有許多種不同基于邊緣方法的變體，這些算法使用梯度、拉普拉斯算子或雅可比矩陣作為水平和垂直邊緣分類器，然后沿著選定的方向插值綠色圖像。例如，Hibbard等人[10]利用一階導(dǎo)數(shù)，對(duì)以取樣點(diǎn)為中心的3×3區(qū)的綠色通道進(jìn)行了縱向和橫向梯度的計(jì)算，并依據(jù)梯度估計(jì)邊緣方向。Laroche和Prescott[11]在采樣點(diǎn)為中心的5×5區(qū)域內(nèi)利用二階偏導(dǎo)數(shù)作為梯度的近似值。而Chen等人[12]則利用相鄰像素在8個(gè)方向上的相關(guān)性來(lái)加權(quán)插值。Kakarala and Baharav使用雅可比矩陣決定每個(gè)像素上插值的方向，計(jì)算要求相對(duì)較低，得到的圖像很大程度上不受模糊和混疊的影響[13]。邊緣方向性插值算法考慮了圖像中顏色變化的區(qū)域和色彩邊界的情況，因此較好解決了雙線性插值中的問(wèn)題，但該算法在圖像的色彩變化密集區(qū)域會(huì)出現(xiàn)梯度算子方向性判斷失誤，容易在圖像紋理密集區(qū)域出現(xiàn)失真。

為了對(duì)比多種插值算法的復(fù)原效果，可以選取多張彩色圖像退化為Bayer格式圖像。然后使用不同的插值算法對(duì)其進(jìn)行色彩還原，并計(jì)算原始圖像與復(fù)原圖像的峰值信噪比（PSNR）如圖3所示。

②基于頻率域的算法

Alley等[15]指出，任意Bayer圖案的圖象可以用1個(gè)亮度成分和2個(gè)色度成分的結(jié)合來(lái)表達(dá)。Lavarene等人采用適當(dāng)?shù)恼{(diào)制和低通濾波器估計(jì)色度，然后重建亮度分量。通過(guò)從亮度的低頻區(qū)域提取邊緣信息，將局部自適應(yīng)納入估計(jì)中[16]。相反，Dubois建議使用互補(bǔ)的非對(duì)稱濾波器估計(jì)色度，并引入并在此基礎(chǔ)上采用最小二乘法來(lái)設(shè)計(jì)這類模型的濾光片[17]。Dubois后來(lái)把這個(gè)模型擴(kuò)展到任何濾色器傳感器模式[18]。

③基于小波理論的算法

這種方法要求對(duì)紅、綠、藍(lán)色、亮度等圖像進(jìn)行子頻分析。Gunturk等人提出了一種新的投影方法替代交替投影算法，它把原來(lái)插值的紅、綠、藍(lán)3種圖象分割成不同的頻段，并根據(jù)綠色圖像的子帶迭代更新紅色和藍(lán)色圖像的高頻子帶，用合成濾波器組重建后，將觀測(cè)數(shù)據(jù)插入到顏色分量對(duì)應(yīng)位置的“觀測(cè)”約束上進(jìn)行投影。他們觀察到，當(dāng)使用適當(dāng)?shù)男〔▽?duì)顏色值進(jìn)行小波分解時(shí)，顏色分量的高頻子帶是高度相關(guān)的，而顏色之間的差異主要存在于最粗的分辨率上[19]。Lu等人提供了對(duì)這種方法的嚴(yán)格分析，通過(guò)求解二次約束最優(yōu)問(wèn)題，提高了運(yùn)算代價(jià)，對(duì)交替投影法進(jìn)行了擴(kuò)充，可以在單步中獲得與凸集投影算法相同的結(jié)果，在多相域中實(shí)現(xiàn)線性濾波，該算法使用無(wú)需迭代的一步法降低了計(jì)算復(fù)雜度，提高了計(jì)算效率[20]。Li在中也提出了與Gunturk等人的方法類似的方法，其中使用了不同的分析濾波器組，并描述了迭代階段的停止準(zhǔn)則[21]。在另外一種方法中，Menon等[22]通過(guò)對(duì)亮度成分的小波分析，估算了橫向和縱向的插值權(quán)重。

④基于稀疏表示的去馬賽克算法

由于字典學(xué)習(xí)在近年來(lái)的快速發(fā)展，基于稀疏表示的去馬賽克算法引起學(xué)者的廣泛關(guān)注。系數(shù)表達(dá)是指在1個(gè)超完備字典中，盡量用最小數(shù)目的原子來(lái)表達(dá)，從而得到1個(gè)更加簡(jiǎn)潔的信號(hào)表達(dá)形式，從而重構(gòu)出丟失的象素值。Mairal等[23]提出了1種基于稀疏表達(dá)的圖象復(fù)原算法，它采用了1種改進(jìn)的K—SVD方法，對(duì)完整字典和局部自適應(yīng)字典進(jìn)行了學(xué)習(xí)和訓(xùn)練，并將2個(gè)字典結(jié)合起來(lái)，從而達(dá)到最后的效果。實(shí)驗(yàn)結(jié)果證明，該方法具有良好的恢復(fù)效果，但運(yùn)算量大。隨后，Yin等人[24]提出了1種基于殘差圖像重構(gòu)和稀疏表示的圖像復(fù)原算法。該算法首先采用插值法產(chǎn)生G平面和2個(gè)色差平面，然后使用自適應(yīng)字典和稀疏表達(dá)算法對(duì)最后得到的圖像進(jìn)行重建，得到的重建圖像的邊緣和細(xì)節(jié)要比中間的圖像更加豐富。Li等人[25]通過(guò)調(diào)節(jié)再分配的近端束方法來(lái)解決最小化相互一致性問(wèn)題，解決了常見(jiàn)CFA的最優(yōu)設(shè)計(jì)問(wèn)題。盡管基于稀疏表達(dá)的算法具有更好的性能，但是它的復(fù)雜性和對(duì)字典的完整程度難以掌握，因此它在實(shí)際應(yīng)用中的局限性很大。

4 Bayer復(fù)原技術(shù)的發(fā)展趨勢(shì)

隨著科學(xué)技術(shù)的快速發(fā)展，圖像傳感器的面積越來(lái)越大，捕獲的像素越來(lái)越多，對(duì)Bayer圖像復(fù)原技術(shù)的性能和實(shí)時(shí)性提出了更高的要求?，F(xiàn)有的復(fù)原計(jì)數(shù)算法所產(chǎn)生的圖像中，諸如邊緣、紋理等部分仍然存在著模糊、虛影等問(wèn)題。所以，對(duì)有效的復(fù)原技術(shù)進(jìn)行深入的研究，確保得到高品質(zhì)的彩色圖像，仍有很大的實(shí)際應(yīng)用價(jià)值。

經(jīng)過(guò)近幾年的發(fā)展與完善，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在數(shù)據(jù)學(xué)習(xí)方面顯示出良好的性能，卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展極大地提高了計(jì)算機(jī)視覺(jué)應(yīng)用的性能。這有助于降低半導(dǎo)體設(shè)備或電子系統(tǒng)所需的集成水平，從而降低成本和功耗。

Wang在復(fù)原技術(shù)中運(yùn)用3級(jí)神經(jīng)網(wǎng)絡(luò)，將有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并利用訓(xùn)練得到的學(xué)習(xí)權(quán)重和偏移參數(shù)對(duì)復(fù)原過(guò)程進(jìn)行處理，盡管效果有限，但為神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原技術(shù)中的應(yīng)用提供了依據(jù)[26]。Gharbi等人提出了1個(gè)含有15個(gè)卷積層的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將復(fù)原技術(shù)在基準(zhǔn)數(shù)據(jù)集上的精度提高到一個(gè)新的水平[27]。Tan等人將簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)改為殘差學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)用于復(fù)原技術(shù)處理，首先利用1種有效的插值算法得到初始插值結(jié)果，產(chǎn)生包含不需要顏色偽影的粗略圖像，在此基礎(chǔ)上，利用3個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行一般、平滑和粗糙紋理區(qū)域的處理，并利用加權(quán)插值進(jìn)行最終的融合，得到了較好的圖像[28]。Niu和 Ouyang等人[29]提出了3個(gè)不同的分枝的卷積網(wǎng)，它們分別還原了綠色、紅綠和藍(lán)綠通道差。通過(guò)降低紅色及藍(lán)色通道的還原難度，提升了CFA圖像的重建速度。

除了將CNN應(yīng)用于Bayer模式圖像的復(fù)原外，Chandra等人還將CNN應(yīng)用于基于Bayer圖像的手勢(shì)識(shí)別訓(xùn)練[30]。自1995年，Nowlan和Platt發(fā)表了CNN在手部姿勢(shì)識(shí)別方面的第1個(gè)應(yīng)用以來(lái)[31]，過(guò)去的幾年里，CNN被廣泛應(yīng)用于手勢(shì)識(shí)別領(lǐng)域，但使用Bayer圖像進(jìn)行手勢(shì)識(shí)別CNN訓(xùn)練的工作幾乎不存在。Chandra等人在實(shí)驗(yàn)中，使用偽Bayer圖像組成一個(gè)預(yù)先訓(xùn)練的CNN，以對(duì)真實(shí)Bayer圖像中的手部姿勢(shì)進(jìn)行分類。圖5所示的2種方法中，一個(gè)CNN可以從零開(kāi)始訓(xùn)練，也可以由一個(gè)預(yù)訓(xùn)練的CNN進(jìn)行逐步訓(xùn)練。實(shí)驗(yàn)結(jié)果表示，完整或者部分的CNN可以集成在CMOS傳感器和圖像信號(hào)處理（ISP）中，簡(jiǎn)化嵌入式系統(tǒng)的片上系統(tǒng)（SoC）方案。

結(jié)果表明，與以往的插值算法相比，采用卷積神經(jīng)網(wǎng)絡(luò)重構(gòu)的圖像質(zhì)量得到了很大的改善，表現(xiàn)出了目前最好的效果。然而CNN通常使用監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練，這通常需要大量訓(xùn)練樣本。訓(xùn)練樣本的建立不僅需要大量人力和時(shí)間，還需要相應(yīng)的系統(tǒng)來(lái)獲取和標(biāo)記數(shù)據(jù)。并且由于底層硬件設(shè)備在輸出圖像上集成了ISP功能，所以對(duì)于最終用戶來(lái)說(shuō)Bayer圖像通常是隱藏且不容易獲得的。因此，建立Bayer圖像的數(shù)據(jù)集是非常困難的，這是CNN用于訓(xùn)練Bayer圖像復(fù)原技術(shù)的一個(gè)重要的挑戰(zhàn)。

5 結(jié)語(yǔ)

由于國(guó)內(nèi)外學(xué)者對(duì)Bayer圖像復(fù)原技術(shù)的研究日益深入，各種恢復(fù)方法層出不窮，對(duì)于彩色圖像的質(zhì)量需求也在不斷提高，這將有利于Bayer圖像復(fù)原技術(shù)的發(fā)展。隨著產(chǎn)學(xué)研用的深度融合，Bayer圖像復(fù)原技術(shù)必將得到進(jìn)一步的快速提升，這將深入推動(dòng)基于Bayer圖像復(fù)原技術(shù)的成像技術(shù)在更大范圍內(nèi)的應(yīng)用與推廣。

10.19599/j.issn.1008-892x.2022.03.012

參考文獻(xiàn)

[1] Hubel PM，Liu J，Guttosch RJ.Spatial frequency response of color image sensors：Bayer color filters and Foveon X3[C].// Sensors and Camera Systems for Scientific，Industrial，and Digital Photography Applications V.USA：SPIE.2004：402—407.

[2] Hirakawa K，Wolfe PJ.Advancing the digital camera pipeline for mobile multimedia：Key challenges from a signal processing perspective[C].//IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE.2008：5332—5335.

[3] Bayer BE.Color imaging array：USA，US3971065 A[P].1976—07—20.

[4] 張峰.數(shù)碼相機(jī)中Bayer格式數(shù)字圖像的降噪與顏色插值算法的研究[D]. 浙江：浙江大學(xué).2012.

[5] Menon D，Calvagno G.Color image demosaicking：An overview[J].Signal Processing：Image Communication.2011，26（8-9）：518—533.

[6] 劉賀欽.數(shù)字圖像傳感器顏色插值算法研究[J].小型微型計(jì)算機(jī)系統(tǒng).2007，28（8）：1482—1485.

[7] Ramanath R，Snyder WE，Bilbro GL，et al.Demosaicking methods for Bayer color arrays[J].Journal of Electronic imaging.2002，11（3）：306—315.

[8] Li JJ，Randhawa S.Colour filter array demosaicking using cubic spline interpolation[C].//2007 IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE，2007：865—868.

[9] Wang D，Yu G，Zhou X，et al.Image demosaicking for Bayer-patterned CFA images using improved linear interpolation[C].//2017 Seventh International Conference on Information Science and Technology （ICIST）.USA：IEEE，2017：464—469.

[10] Hibbard RH.Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients：EP，US5382976 A[P].1995—01—17.

[11] Laroche C.Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients：US，US5373322 A[P].1994—12—13.

[12] Chen X，He L，Jeon G，et al.Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking[J].IEEE Transactions on Circuits and Systems for Video Technology.2014，25（8）：1271—1282.

[13] Kakarala R，Baharav Z.Adaptive demosaicing with the principal vector method[J].IEEE Transactions on Consumer Electronics.2002，48（4）：932—937.

[14] Dubois E.The sampling and reconstruction of time-varying imagery with application in video systems[J].Proceedings of the IEEE.1985，73（4）：502—522.

[15] Alleysson D，Susstrunk S，Hérault J.Linear demosaicing inspired by the human visual system[J].IEEE Transactions on Image Processing.2005，14（4）：439—449.

[16] De Lavarène BC，Alleysson D，Durette B，et al.Efficient demosaicing through recursive filtering[C].//2007 IEEE International Conference on Image Processing.USA：IEEE.2007，（2）：189—192.

[17] Dubois E.Filter design for adaptive frequency-domain Bayer demosaicking[C].//2006 International Conference on Image Processing.USA：IEEE.2006：2705—2708.

[18] Dubois E.Color filter array sampling of color images：Frequency-domain analysis and associated demosaicking algorithms[M]. Single-Sensor Imaging：CRC Press.2018：203—232.

[19] Gunturk BK，Altunbasak Y，Mersereau RM.Color plane interpolation using alternating projections[J].IEEE transactions on image processing.2002，11（9）：997—1013.

[20] Lu YM，Karzand M，Vetterli M.Demosaicking by alternating projections： Theory and fast one-step implementation[J].IEEE Transactions on Image Processing.2010，19（8）：2085—2098.

[21] Li X.Demosaicing by successive approximation[J].IEEE Transactions on Image Processing.2005，14（3）：370—379.

[22] Menon D，Calvagno G.Demosaicing based onwavelet analysis of the luminance component[C].//2007 IEEE International conference on image processing.USA：IEEE.2007：181—184.

[23] Mairal J，Elad M，Sapiro G.Sparse representation for color image restoration[J].IEEE Transactions on image processing.2007，17（1）：53—69.

[24] Yin J，Sun G，Zhou X.Demosaicing and Super-resolution for Color Filter Array via Residual Image Reconstruction and Sparse Representation [J].Computer Science.2013，82（82）：433—437.

[25] Li J，Bai C，Lin Z，et al.Optimized color filter arrays for sparse representation-based demosaicking[J].IEEE Transactions on Image Processing.2017，26（5）：2381—2393.

[26] Wang Y Q.A multilayer neural network for image demosaicking[C].//2014 IEEE International Conference on Image Processing （ICIP）.USA：IEEE.2014：1852—1856.

[27] Gharbi M，Chaurasia G，Paris S，et al.Deep joint demosaicking and denoising[J].ACM Transactions on Graphics 2016，35（6）：1—12.

[28] Tan D S，Chen W Y，Hua K L.DeepDemosaicking：Adaptive image demosaicking via multiple deep fully convolutional networks[J].IEEE Transactions on Image Processing.2018，27（5）：2408—2419.

[29] Yan N，Ouyang J.Cross-channel correlation preserved three-stream lightweight CNNs for demosaicking.arXiv e-prints.2019.

[30] Chandra M，Lall B.A Novel Method for CNN Training Using Existing Color Datasets for Classifying Hand Postures in Bayer Images[J].SN Computer Science.2021，2（2）：1—10.

[31] Nowlan S J，Platt J C.A convolutional neural network hand tracker[J].Advances in neural information processing systems.1995：901—908.