雙CMOS仿生3D視覺傳感器電路設計

施建盛，梁發(fā)云，何 輝

(1.南昌大學裸眼立體技術與虛擬現實研究中心，江西南昌330031;2.南昌興亞光電科技發(fā)展有限公司，江西南昌330031)

雙CMOS仿生3D視覺傳感器電路設計

施建盛1，2，梁發(fā)云1，2，何 輝1，2

(1.南昌大學裸眼立體技術與虛擬現實研究中心，江西南昌330031;2.南昌興亞光電科技發(fā)展有限公司，江西南昌330031)

針對目前3D相機中出現的圖像數據易丟失、左右圖像同步難等問題，提出一種可精確采集左右格式立體對圖像的仿生3D傳感器實現方法，可為仿生3D傳感器的光路系統(tǒng)的檢驗及目標物三維重建提供精確三維坐標信息。為更好協(xié)調3D傳感器在光信號處理中的點像素同步，采用現場可編程門陣列處理雙OV3640圖像傳感器各信號，初始化后在像素時鐘的準確控制下采集圖像數據并完成輸出圖像格式轉換、緩存、左右格式立體對圖像拼接及輸出顯示驗證。結果表明，3D傳感器工作可靠、集成度高、體積小，可精確采集左右格式立體對圖像。

光信號處理;雙CMOS;仿生3D傳感器;現場可編程門陣列;立體對圖像

裸眼3D技術是不佩戴眼鏡的新型顯示技術，通過特制的光學器件把具有視差的立體對圖像分別傳送到對應的左右眼來獲得立體效果［1-2］。雙目仿生3D傳感器是裸眼3D顯示的前提基礎，質量優(yōu)良的圖像片源可明顯減輕觀看者的不適度及疲勞感。

然而，目前國內市場上尚無法購買到雙CMOS形式3D傳感器，而且市面上的3D照相機由于是兩只鏡頭與傳感器的簡單組合，采集到的左右圖像數據容易出現丟幀或非同步等現象。光路系統(tǒng)中的光線折射方式也是影響圖像質量的重要因素之一，搭配精確的光路系統(tǒng)可明顯增強立體圖像顯示效果［3］。但是由上述方法得到的三維坐標信息精度低，很難檢驗后期所設計的仿生視覺光路效果，即使有后續(xù)的軟件算法彌補也會造成很大匹配失真，使觀看者產生眩暈或疲勞感。

數字信號處理(DSP)和現場可編程門陣列(FPGA)［4］是圖像采集常用控制器件，但DSP難同步雙傳感器圖像數據，而FPGA的并行處理方式使各程序模塊之間同時進行［5-6］，使用Verilog HDL硬件編程語言在時序精確控制下完成最終左右格式立體對圖像拼接。電路板集成的EPCS芯片可固化圖像采集程序，能作為各種3D產品的一個獨立模塊連接使用，可廣泛應用與3D照相機、車載立體視覺［7］、安防等領域。

1 雙目視覺圖像獲取及重建原理

人類的雙眼能完成絕大多數的外界信息獲取任務，只有使用雙眼時人們才能感受到物體的遠近及深度感，這是因為左右眼獲取的圖像存在細微的差異，這種差異被稱為視差。雙眼所獲取的圖像信息經過大腦處理后能得到該物體的三維結構，憑借經驗能感知到大概距離。雙攝像頭立體視覺圖像采集系統(tǒng)正是模仿人眼的這一特殊功能，通過兩個攝像頭分別模擬人的左右眼對目標物體進行拍攝，獲得兩幅有略有差異的圖像，為后續(xù)的立體匹配和測距提供視頻源。

如圖1所示為雙OV3640傳感器在同一水平面上的理想模型，圖2為對應攝像機坐標系。對空間任意物體上的M(x，y，z)特征點在左右傳感器中的圖像坐標分別為:ML=(XL，YL)和MR=(XR，YR)，易知YL=YR，則視差D=XL-XR。

圖1 雙OV3640立體視覺成像模型

圖2 攝像機坐標系

根據三角幾何關系，以及基線B、焦距f可求得該特征點在攝像機坐標系下的空間坐標(z為距離)為

該坐標數據隱含視差立體成像的深度信息，可用于快速重建物體表面坐標［8-9］，以此驗證近景與遠景的視覺匹配度，也可為虛擬場景的觸摸操作提供準確的空間信息。分析重建坐標的精度，保證視覺空間與三維物理坐標空間的重合精度，通過重建過程中的誤差因素分析，建立三維坐標復現精度模型，并由此來檢驗3D傳感器的光路模型的效果。

2 總體設計

2.1 3D傳感器硬件設計

3D傳感器在硬件上需滿足嵌入式系統(tǒng)要求，體積小、集成度高。如圖3所示，其外部引腳接口及連接方式如下:IIC_SCL和IIC_SDA是I2C總線的時鐘和數據線;CAM_RST是硬件復位;CAM_HREF是行掃描信號;CAM_VSYNC是場掃描信號;CAM_CLK是傳感器工作時鐘;CAM_D［7∶0］是8位數據線，即選用傳感器的高8位Y［9∶2］，低2位省去，用作自動對焦功能的電壓及地管腳。在硬件電路上PWDN引腳直接接地，復位管腳CAM_RST通過外部連線接3.3 V I/O口高電平。由一片24 MHz晶振直接提供工作時鐘，不采用系統(tǒng)時鐘分頻方式，避免軟件帶來的誤差影響。I2C時鐘線和數據線各接一個1 kΩ的上拉電阻，采用最高速度400 kHz。為匹配FPGA I/O擴展口電平，由電壓調整器芯片LDO調整傳感器I/O口電壓DOVDD(2.8 V)，其余兩路工作電壓分別為模擬電壓AVDD(2.8 V)、核心電壓DVDD(1.5 V)。FB為磁珠，可以有效地抑制電磁干擾。

2.2 3D傳感器初始化

寄存器設置決定了傳感器工作參數及狀態(tài)，首先將寄存器0X3012［7］位置高進行軟件復位，將傳感器初始化為圖像最大分辨率QXGA(2 048×1 536)、幀率為15 f/s模式。CMOS傳感器中的 0X3100，0X3301，0X3304，0X3400，0X3404寄存器主要用于設置圖像輸出格式，定義的0X3020～0X3027及0X3088～0X308B等寄存器主要用于圖像輸出分辨率。

左右傳感器使用的是獨立的I2C協(xié)議，保證了各自傳感器寄存器數據正常寫入。I2C協(xié)議一次只能發(fā)送8位數據，而傳感器的寄存器地址為16位?？稍谙劝l(fā)送高8位，緊接著發(fā)送低8位的情況下能將數據正確配置到傳感器中的E2PROM，使其正確識別并工作。一個完整的32位發(fā)送過程為:器件ID 0X78+寄存器高8位+寄存器低8位+該寄存器所配數據。針對以上時序關系編寫I2C發(fā)送程序，在程序下載之前需對該模塊進行軟件仿真，保證程序部分理論上無誤。如圖4仿真所示，以第一組發(fā)送數據:0X78301280(iic_dat)為例，首先賦值給中間變量sdo。go信號啟動，隨即sd_count開始計數，每個時鐘sdo向iic_sdat賦值一位bit并產生iic_ clk信號，直至全部發(fā)送完成END信號為高。

圖3 3D傳感器硬件接口及連接圖

圖4 MODELSIM仿真圖(截圖)

2.3 立體對圖像獲取

雙傳感器在完全相同的狀態(tài)下，在同一時刻對同一目標場景所捕捉到的圖像信息稱為立體對圖像，包括左右格式和上下格式兩種。假如出現圖像數據丟失或非同步，將會出現重建三維場景所需的坐標信息精度低甚至錯誤問題。本研究采用時鐘精確時序控制方式，如圖5所示傳感器正常工作后，以各自像素時鐘PCLK為主控時鐘控制圖像采集及轉換模塊。為防止左右傳感器圖像數據沖突，匹配兩端時鐘的FIFO各自獨立，先分別存至兩個單獨RAM，通過行、場掃描信號控制，先左后右逐行取出并拼接成左右格式立體對圖像［10-11］。

圖5 立體對圖像采集框架圖

3 實驗驗證

3.1 傳感器工作情況驗證

由于本3D傳感器為圖像采集功能，為降低成本沒有設計外部存儲器，驗證顯示時以片內資源搭建各存儲器。鑒于此，立體對圖像以RGB332，分辨率為176×72 (單幅分辨率為88×72)顯示驗證。

將傳感器配置為分辨率176×144、圖像輸出格式bgbg…./grgr….排列的Raw、30 fp/s模式，組合曝光、色彩飽和度、清晰度、白平衡等總共182組寄存器按照一定順序依次初始化。輸出的12 MHz像素時鐘控制圖像格式轉換，轉換后RGB格式分辨率為88×72。為此對傳感器的配置過程、單傳感器行/場控制信號、3D傳感器的行控制信號及像素時鐘信號一一驗證。數字示波器驗證結果分別如圖6～圖9所示。

圖6 完整的32位數據發(fā)送(截圖)

分辨率設置決定了后續(xù)圖像采集、格式轉換、緩存、立體對圖像拼接的正確性，對它的驗證尤為重要。圖10為Quartus II 9.1內置邏輯分析儀Singnal Tap II的在線測試圖，其中data［7∶0］為8位數據輸出，data［10∶8］從低位到高位依次為CAM_VSYNC，CAM_HREF，CAM_ PCLK信號，分辨率為所設的176×144(即B0×90)。通過寄存器0X3600將CAM_VSYNC，CAM_HREF，CAM_ PCLK都設置成高電平輸出有效。

圖7 HREF/VSYNC信號(截圖)

圖8 3D傳感器的HREF信號(截圖)

圖9 3D傳感器的PCLK信號(截圖)

圖10 Singnal Tap II在線測試圖(截圖)

3.2 立體對圖像顯示驗證

上述驗證皆正確，可進行最后拼接輸出實驗。硬件電路板設計的RGB332 VGA權電阻網絡D/A接口僅用于顯示驗證，在數字模擬轉換環(huán)節(jié)分別選取OV3640 RGB字節(jié)的高位比特數據，顯示器其他區(qū)域填黑。如圖11所示，為EPCS芯片固化程序后的小分辨率立體對圖像。S4鍵按下后開始圖像的采集及轉換，4個綠色LED燈顯示連續(xù)的行控制信號計數效果，最終會有一幅分辨率為176×72的立體對圖像顯示在液晶屏上。最終實驗說明3D傳感器工作良好，可精確采集并拼接成左右格式立體對圖像。

圖11 立體對圖像VGA顯示

4 小結

在雙目立體視覺獲取及重建基本原理基礎上，提出了采用FPGA處理雙CMOS視覺傳感器的新型仿生3D傳感器硬件實現方法并通過軟件驗證，為仿生3D傳感器的光路系統(tǒng)的檢驗提供精確三維坐標信息。使用FPGA易同步雙傳感器之間的數據采集、格式轉換、緩存拼接等，時鐘控制各模塊時序精確進行，可達到對點像素的操作。最終VGA顯示實驗證明3D傳感器電路板可精確采集左右格式立體對圖像。

［1］FUKUSHIMA T，TORIIM，UKAIK，et al.The relationship between CA/C ratio and individual differences in dynamic accommodative responseswhile viewing stereoscopic images［J］.Journal of Vision，2009 (9):21-13.

［2］梁發(fā)云，鄧善熙，楊永躍.自由立體顯示器的視覺特性測量與研究［J］.儀器儀表學報，2006，27(10):1350-1353.

［3］NARUSE T，KANEKO T，YAMASHITA A，et al.3-D measurement of objects in water using fish-eye stereo camera［C］//Proc.19th IEEE International Conference on Image Processing(ICIP).Orlando:IEEE Press，2012:2773-2776.

［4］邸麗霞，張彥軍，洪應平.基于FPGA的高速圖像數據采集存儲系統(tǒng)設計［J］.電視技術，2013，37(13):49-52.

［5］王香云.基于FPGA的小波去噪的硬件實現［J］，激光技術，2013，37(6):786-790.

［6］ZICARIP.Efficient and high performance FPGA-based rectification architecture for stereo vision［J］.Microprocessors and Microsystems，2013(37):1144-1154.

［7］FRANCISCO R M，QIW，QIN Z.Design parameters for adjusting the visual field of binocular stereo cameras［J］.ScienceDirect Biosystems Engineering，2010(105):59-70.

［8］YOSHIDA T，FUKAO T.Dense 3D reconstruction using a rotational stereo camera［C］//Proc.IEEE/SICE International Symposium on System Integration(SII).Kyoto:IEEE Press，2011:985-990.

［9］BATZM，RICHTER T，GARBASJU，etal.High dynamic range video reconstruction from a stereo camera setup［J］.Signal Processing: Image Communication，2014(29):191-202.

［10］梁發(fā)云，鄧善熙，楊永躍.立體圖像視頻格式及其轉換技術研究［J］.儀器儀表學報，2005，26(12):1233-1238.

［11］王愛紅，王瓊華，李大海.立體顯示中立體深度與視差圖獲取的關系［J］.光學精密工程，2009，17(2):433-437.

Design of Biom imetic 3D Vision Sensor Circuit w ith Double CMOS

SHI Jiansheng1，2，LIANG Fayun1，2，HE Hui1，2
(1.3D＆VR Research Centre，Nanchang University，Nanchang 330031，China; 2.Nanchang PROPERASLAOPTOELEC Sci－Tech Dev Co.，Ltd.，Nanchang 330031，China)

In order to solve current problems of 3D camera like too small central figure in the pictures，close shot and distant view are seriousmismatch that caused by lens'and sensors'notmeeting the requirements of bionic vision，a kind ofmethod is put forward that can collect stereo pair format image with biomimetic 3D sensor preciselywhich can provide a good video source for Naked-eye3D display equipment.To better coordinate the 3D sensor pixel synchronization in optical signal processing，field programmable gate array is used to process double OV3640 image sensor's signal，image data is collected and the format conversion，cache，stereo pair format images'mosaic of output image are fufilled after initialization，and output display is validated under the accurate control of the pixel clock.The results show that the 3D sensor is reliable，high integration and small size，which can collect left and right format stereo pair images accurately.

optical signal processing;double CMOS;biomimetic 3D sensor;FPGA;stereo pair images

TP212.9

A

?? 薇

2014-04-22

【本文獻信息】施建盛，梁發(fā)云，何輝.雙CMOS仿生3D視覺傳感器電路設計［J］.電視技術，2014，38(23).

科技部創(chuàng)新基金項目(13C26213603102);江西省教育廳產學研項目(GJJ11001)

施建盛(1988—)，碩士研究生，主研3D傳感器、嵌入式系統(tǒng)等;梁發(fā)云(1970—)，博士，副教授，碩士生導師，主研裸眼立體與虛擬現實技術。