CMOS圖像傳感器微透鏡平移算法的研究與實現(xiàn)

姚洪濤，魏 巍，谷元保

（長春理工大學 系統(tǒng)芯片與集成系統(tǒng)研究室，吉林 長春130022）

CMOS圖像傳感器微透鏡平移算法的研究與實現(xiàn)

姚洪濤，魏 巍，谷元保

（長春理工大學 系統(tǒng)芯片與集成系統(tǒng)研究室，吉林 長春130022）

本文介紹了幾種較為經(jīng)典的基于CMOS（Complementary Metal Oxide Semiconductor）圖像傳感器的微透鏡平移算法，針對其不足，提出了一種基于最小串擾的改進算法，并且在CMOS圖像傳感器光學仿真平臺上進行了仿真測試及驗證，該算法在對微透鏡平移的基礎(chǔ)上解決了因為平移量的計算不精確和計算量過大的問題，提高了CMOS圖像傳感器成像質(zhì)量。

CMOS圖像傳感器；微透鏡平移；像素串擾；模塊分組

目前，CMOS圖像傳感器以其功耗小、噪聲低、靈敏度高及動態(tài)范圍廣等特性已被廣泛地應用于各個領(lǐng)域[1]。隨著半導體制造技術(shù)的提高，高分辨率CMOS圖像傳感器也受到各行各業(yè)的青睞。然而在CMOS圖像傳感器分辨率的不斷提高，集成的像素單元不斷增加的同時，通過微透鏡陣列入射到像素內(nèi)部光電二極管面積上的光照強度卻持續(xù)減弱，從而引起整個 CMOS圖像傳感器靈敏度和成像質(zhì)量的下降。

1 平移原因

CMOS圖像傳感器微透鏡陣列簡化原理圖如圖1所示。光線通過CMOS圖像傳感器上方的鏡頭照射到微透鏡陣列上，位于微透鏡中心位置的光線幾乎是垂直照射，而在微透鏡陣列邊緣的部分，光線以斜入射方式進入像素單元，照射到像素內(nèi)部的金屬層上面，減小了入射到像素內(nèi)部光吸收區(qū)域的光照強度，如圖1所示。

圖1 CMOS圖像傳感器陣列簡化圖

通過平移微透鏡可以減少這種情況的發(fā)生，如圖2所示。

圖2 CMOS圖像傳感器微透鏡平移原因

為了防止靈敏度的下降以及串擾的上升，人們開發(fā)了BSI和SmartFSI技術(shù)[2]，但是不論何種技術(shù)，都需要通過平移微透鏡，來增大入射到光電二極管光吸收區(qū)域的光照強度。文中提出了一種簡單可靠地微透鏡平移算法，可適用于不同主入射角情況下的微透鏡平移，可以很好的解決因光線折射而引起的CMOS圖像傳感器圖像成像質(zhì)量下降的問題。

2 微透鏡平移算法介紹

2.1 擬合平移函數(shù)算法

該算法主要是通過CMOS圖像傳感器幾個采樣點的主入射光線的特征值，去計算幾個采樣點的微透鏡平移量，進而去擬合一個平移函數(shù)。然后通過該平移函數(shù)去計算其余微透鏡的平移量，從而達到平移整個微透鏡陣列的目的[3]，該方法雖然較為簡單，但是卻存在一個精確性不高的問題。因為該算法的平移函數(shù)是通過幾個采樣點的平移量估算出來的，在估算的時候，不得不面臨一個誤差的問題，并且現(xiàn)在的微透鏡陣列擁有的像素個數(shù)不斷增多，已經(jīng)達到了五千萬以上，一個很小的誤差在經(jīng)過千萬次以上的積累以后，會造成一個較為巨大的誤差。

圖3 基于擬合平移函數(shù)的微透鏡平移算法流程圖

2.2 平面坐標計算法

該算法是通過對微透鏡陣列進行坐標化，取位于中心位置的像素點作為坐標系的原點，然后分別計算在X軸和Y軸方向的微透鏡平移量，然后通過計算出來的X軸和Y軸的微透鏡平移量來計算位于其他位置的微透鏡平移量。如上圖所示，我們首先計算位于X軸和Y軸上面的像素的平移量，比如 pixel（m，0）、pixel（k、0）、pixel（0，n）和 pixel（0，1），假 設pixel（0，1）像素的平移量為▽S1，pixel（k，0）的像素平移量為▽S2，則 pixel（k，1）的像素平移量為，同理可計算出其他任意位置的微透鏡平移量[4]。但是該算法也依然存在一個缺點。因為在計算位于斜對角微透鏡平移量是通過它本身在X軸和Y軸投影的像素平移量的平方和去計算的，這本身就存在一個明顯的誤差，同時一般鏡頭的CRA特性為非線性變化，這種誤差就更加的明顯了。

圖4 基于平面坐標計算的微透鏡平移算法流程圖

2.3 通過光軸來進行微透鏡平移

該方法是通過CMOS圖像傳感器邊緣像素單元與位于微透鏡陣列中心位置光軸之間的距離來確定微透鏡的平移量[5]。該方法雖然可以較為準確的確定單個微透鏡的平移量，但是在實際的foundry廠加工的時候，由于精度過高，生產(chǎn)工藝無法達到，所以沒辦法運用到實際當中。

2.4 平移像素結(jié)構(gòu)內(nèi)的金屬層

平移像素結(jié)構(gòu)內(nèi)部的金屬層，盡量減小金屬層對光照強度的影響[6]，該方法雖可達到的一定的效果，但是造價昂貴，同時會犧牲一部分的像素性能，不易于CMOS圖像傳感器大規(guī)模的生產(chǎn)使用。

3 基于像素陣列對稱的模塊分組

隨著現(xiàn)代CMOS圖像傳感器像素個數(shù)的不斷增多，單個的去計算每個像素結(jié)構(gòu)的微透鏡平移量，計算量過于巨大，在這個背景條件下，人們不得不尋找在保證平移精度的基礎(chǔ)上，去減緩計算量。由于，便提出了微透鏡平移算法的模塊分組算法。CMOS圖像傳感器像素陣列一般是嚴格對稱的結(jié)構(gòu)，在接受光照的時候，也是嚴格對稱的，于是我們可以按照下圖所示的方法，對微透鏡陣列進行分組，如圖5所示。

圖5 CMOS圖像傳感器微透鏡分塊方法

圖5當中每個數(shù)字代表一個模塊，我們在平移微透鏡的時候，可以只平移除對角線以外8個模塊當中的任意一個，然后按照相應的對稱法則，不需另加計算，就可以平移其余7個模塊，這樣大大的減少了因平移每一個微透鏡所帶來的較大的計算量。每個模塊的大小，可由下面的公式計算得出：Block Size=INT（Delta×Npix/（2×s）），模塊的大小，就是指模塊內(nèi)行數(shù)或者是列數(shù)的總和。Delta就是微透鏡或者是微透鏡間距之間的改變量。Npix是像素排列當中行或者列的數(shù)目。使用這個INT函數(shù)，是為了保證整個像素陣列都可以得到平移。對于一般的圖像傳感來說，一般的模塊大小為4到10個行/列。但隨著近年來，顯示設備上像素數(shù)目的不斷增多，模塊的大小，也有一定的增加。

該模塊分組在可以確保精簡計算量的同時，由于模塊邊緣不是平行存在的，避免了布洛克邊界效應的影響。利用了在整體微透鏡陣列平移量計算完成時，我們可以隨機抽查其他模塊微透鏡的平移量是否精確。

在單個模塊內(nèi)部計算微透鏡平移量的時候，我們采用基于最小串擾的CMOS圖像傳感器微透鏡平移算法，像素結(jié)構(gòu)當中像素之間的距離要比與之對應的微透鏡之間的距離要小。比如說像素之間的距離為7.8 um，微透鏡之間的距離為7.82 um，那么微透鏡中心，便可移動 0.02 um，對于720*576的像素陣列來說，微透鏡在水平方向和豎直方向的平移量為14.4 um和11.52 um。該平移范圍基本覆蓋了整個像素結(jié)構(gòu)的靈敏區(qū)域。然后接下來，我們采用RGB三基色的單色光去照射CMOS圖像傳感器，讀取R，G1，G2和B通道的信號值[13]。算出模塊內(nèi)部像素之間的串擾和靈敏度。G1和G2的值相當于像素內(nèi)部靈敏度的分布，而R和B的值，便相當于不同像素之間的串擾。由于相比起靈敏度，串擾對圖像的質(zhì)量影像更大，所以在模塊內(nèi)部微透鏡平移的時候，我們采用串擾最小最為平移的標準。串擾標準定義為：

具體平移量計算如下：

圖6 單個微透鏡平移原理圖

在上面的坐標系中，我們規(guī)定，物距在光學系統(tǒng)坐標原點左邊為正，右邊為負；像面在光學系統(tǒng)原點的右邊為正，左邊為負。指定光軸向所參考的光軸方向順時針旋轉(zhuǎn)為正，逆時針旋轉(zhuǎn)為負。坐標軸上方的高度為正，下方為負。

由圖中可知：x1=-（T/2+t1）

上式當中的i和j為在y軸和z軸上面距離光軸的微透鏡數(shù)目，從空間任意一點 P點（x1，y1，z1）發(fā)出的光線，經(jīng)過微透鏡上面的B點折射。B點的透鏡參數(shù)為，其中l(wèi)1，m1和n1為入射光線的方向矢量的坐標：

B點處法線的方向余弦為：

由上面的入射光線矢量 r（l1，m1，n1）和法線矢量 n（l2，m2，n2）梯度積可知入射角的余弦值為：

由幾何光學知識可知，反射光線矢量r`可由入射光線矢量和法線矢量表示：

由上可知：

其中θ是折射光線與法線的夾角，有斯涅耳定律可知：

其中，n是微透鏡陣列組的折射率

同理可知，折射線的方向余弦為：

計算上面的方程組，便可得出y3和z3的值，其中x3=t2，得出C點坐標之后，可進一步計算其距離微透鏡邊緣之間的距離。

4 測試結(jié)果

我們在平行光的照射下，在主入射角為25度的時候，利用3種算法計算得出的平移量，利用FDTD仿真軟件，首先建立光學仿真的像素模型[14-15]，然后對微透鏡陣列進行平移，抽取同樣位置的微透鏡進行測試，得出的平移量進行仿真，并比較計算結(jié)果，測試微透鏡光接收強度[9-12]，仿真結(jié)果如圖8所示。

圖7 平移原則

圖8 仿真結(jié)果

由仿真結(jié)果可以看出，在相同的位置，相比起其他兩種算法，本文當中提出的算法，可以較好的平移微透鏡，使單個像素接受更多的光照。

5 結(jié)束語

通過上面的測試結(jié)果與分析，本文當中提出的算法，可以在保證平移精度的情況下，通過對微透鏡陣列進行模塊分組，較好的減小了由于微透明平移計算所帶來的計算量。與其他平移算法相比，也不需要擬合平移函數(shù)，減小了由此帶來的誤差。

[1]Eric R.Fossum.CMOS Image Sensor：Electronic Camera-on-A-Chip [J].IEEE Transactions on Electron Devices,1997,44（10）:1689-1698.

[2]Nobukazu Teranishi，Hisashi Watanabe，Takehiko Ueda，et al.Evolution of optical structure in image Sensors.Image[R]. Japan:Sensor Business Unit,Industrial Devices Company. Panasonic Corporation1 Kotari-Yakemachi,Nagaokakyo, 2010.

[3]TadaoINOUE，Hiroshi DAIKU.Method for calculating shift amount of image pickup element and image pickup elemen: US,0262611 A1[P].2012-10-18.

[4]GennadiyA，Agranov.Circularsymmetricalmicrolens/color filter array hift and digital lens shading corection:US，0030379 A1[P].2007-02-08.

[5]HitoshiMiyano，Saitama-ken.Solid-stateimage pickup device having microlenses each with displaced optical axis:US，005610390A[P].1997-03-11.

[6]Clifford I，Drowley，Scottsdale，et al.Microkens for use with a solid-state image sensor and a non-telecentric taking lens: US，0165097[P].2004-08-24.

[7]JeffRaynor，Edinburgh.Solid state image sensors and microlens arrays:US，6884985[P].2005-04-26.

[8]LEE Yi-Chi，LU Mei-Ju，CHENG Wei-Cheng，et al.Pixel structure:US，0070644 A1[P].2015-03-12.

[9]Wu-Cheng Kuo，Wei-Chieh Chiang，Ren-JieLin，et al.CF/ ML shift optimization for small pixel CMOS image sensor through FDTD simulation [R].Taiwan:VisEra Technologies Company and Semiconductor Manufacturing Company，2010.

[10]Cl′emenceMorneta，J′er′omeVaillanta，Thomas Decrouxa. Didier heraulta and isabelle schanenb.evaluation of color error and noise on simulated images[J].SPIE 2010，7537（1）: 75370Y-75370Y-12.

[11]J′er′omeVaillantaandFlavienHirigoyenab.Optical simulation for CMOS imager microlensoptimization[J].Proc Spie，2004，200-210.

[12]ScottP.Campbell，ThousandOsks，RichardH.et al.Optimization of alignment among elem-ents in an image sensor:US，0061951 A1[P].2005-03-24.

[13]Jér o?meVaillant*，ThomasDecroux，Emilie Huss，et al. Versatile method for optical performances characte-rization of off-axisCMOS pixels with microlens radial shift[J]. Proceedings of SPIE，2008:681707-681711.

[14]Bum-sukKlm，Kyoung-sikMoon，Yun-hoJang，etal.CMOS image sensor layout capable of removing difference between gr and gb sensitivities and method of laying out the cmos image sensor:US，0072281 A1[P].2009-03-19.

[15]Takashi Abe，RyojiSuzuki，YoshiharuKudoh，Solid-state image device，method ofmanufacturing the same and camera mule: US，0273779 A1[P].2007-11-29.

A microlensshifting of algorithm research and implementation for CMOS image sensor

YAO Hong-tao，WEI Wei，GU Yuan-bao
（The Resrarch Lab of System Chip and System Integration，Changchun University of Science and Technology，Changchun 130022，China）

This paper presents severalclassicmicrolens shifting of algorithms based on CMOS image sensor.A new microlens shifting of algorithm is proposed based on the deficiency of the typicalmicrolens shifting of algorithm and has been made a test on the CMOS image sensor optical simulation platform.The test results demonstrate that it hasovercoming the problems of inaccurate shiftting offsetand excessive computing，andfinalyimprovingimage quality of CMOS image sensor.

CMOS image sensor；microlens shifting；crosstalk of pixel；group modules

TN366

A

1674－6236（2016）23-0190-04

2015-11-09稿件編號：201511079

姚洪濤（1973—），男，吉林長春人，碩士，副教授。研究方向：集成電路與芯片設計、數(shù)字圖像處理。