數(shù)字視頻控制芯片的設(shè)計

張連舉，李向超，莊圣賢

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都610031;2.鄭州鐵路職業(yè)技術(shù)學(xué)院，河南 鄭州450052)

隨著CMOS工藝制造技術(shù)和超大規(guī)模集成電路設(shè)計技術(shù)的發(fā)展，COMS圖像傳感器的品質(zhì)已經(jīng)達(dá)到CCD傳感器水平，由于CMOS傳感器在功耗、集成度、體積、價格等各方面有著CCD傳感器無法比擬的優(yōu)越性，因此CMOS圖像傳感器越來越多地應(yīng)用在拍照手機(jī)、計算機(jī)攝像頭、門禁系統(tǒng)、智能家居、超市監(jiān)控、倒車影像、公交門控等領(lǐng)域，并且需求量日漸增長。

目前的主流數(shù)字視頻系統(tǒng)［1］大多是基于PC機(jī)或者DSP［2］為圖形處理核心的解決方案。隨著實時處理的數(shù)據(jù)量越來越大，以及對視頻設(shè)備要求小型化、應(yīng)用場合多樣化，以DSP或PC這些通用處理器為控制核心的設(shè)計難以滿足應(yīng)用的需求，數(shù)字視頻產(chǎn)品越發(fā)要求采用具備更高性能和專用的器件來構(gòu)建，例如在視頻監(jiān)控系統(tǒng)［3-4］中采用基于FPGA的處理結(jié)構(gòu)。為了實時處理大量數(shù)據(jù)，提高數(shù)字視頻的圖像質(zhì)量，使設(shè)備小型化，滿足更廣泛的適用場合，本文設(shè)計了一款數(shù)字視頻專用控制芯片，速度快、體積小、功耗低、集成度高、使用標(biāo)準(zhǔn)CMOS技術(shù)。

1 芯片結(jié)構(gòu)與設(shè)計

1.1 芯片內(nèi)部架構(gòu)

圖1為該設(shè)計控制芯片的原理圖，其內(nèi)部結(jié)構(gòu)包括芯片工作方式配置寄存器、數(shù)據(jù)采集接口、外緩存控制接口、圖形陣列顯示接口、外存儲器控制接口。

圖1 視頻控制芯片原理圖

1.2 芯片工作方式配置

芯片的工作方式配置寄存器由兩部分組成:一部分為芯片配置寄存器，包含采集視頻分辨率配置、圖形陣列顯示分辨率配置;另外一部分為攝像頭初始化參數(shù)配置寄存器，包含曝光寄存器、白平衡寄存器、自動增益控制寄存器等。

芯片的工作方式由CSC，CDA，SCL與on/off四線進(jìn)行控制配置，采用八位三相式傳輸標(biāo)準(zhǔn)，傳輸時序見圖2，具體步驟如下:

1)on/off持續(xù)拉低，CSC由高拉低，表示寄存器配置開始。

2)CDA在SCL下降沿進(jìn)行數(shù)據(jù)采樣或輸出數(shù)據(jù)，第一個八位相傳輸控制命令字，0x01為寫寄存器，0x02為讀寄存器;第二個八位相傳輸寄存器地址;第三個八位相，若控制命令字為寫寄存器，則通過CDA采集數(shù)據(jù)，若控制命令字為讀寄存器，則將相對應(yīng)地址寄存器內(nèi)容通過CDA輸出。

3)CSC由低拉高，指定地址的八位寄存器被配置完成或者讀取數(shù)據(jù)成功，循環(huán)上述1)～3)步驟，可以完成所有寄存器的配置或者讀取。

圖2 寄存器配置時序

1.3 數(shù)據(jù)采集接口

芯片工作方式配置完成后，拉高芯片使能引腳on/off，芯片開始進(jìn)行視頻采集;首先將芯片工作方式配置過程中寫入的參數(shù)調(diào)整數(shù)據(jù)通過SCL與SDA以標(biāo)準(zhǔn)的SCCB［5］(串行攝像頭控制)協(xié)議完成對數(shù)字?jǐn)z像頭的初始化任務(wù);當(dāng)完成對攝像頭的初始化后，通過引腳P_clk，V_ync，H_ync，D15～D0進(jìn)行幀視頻數(shù)據(jù)的采集，首先檢測場信號V_ync，若V_ync由高變低，表示一幀圖像采集的開始;若V_ync由低變高，則一幀圖像采集結(jié)束。在一幀圖像開始采集過程中，通過檢測行信號，若H_ync為高，則視頻數(shù)據(jù)有效，在P_clk時鐘上升沿對視頻數(shù)據(jù)進(jìn)行采集;若H_ync為低，則視頻數(shù)據(jù)無效，不進(jìn)行視頻數(shù)據(jù)采集，進(jìn)入等待狀態(tài)，具體采集時序見圖3。

圖3 視頻采集時序

1.4 外緩存控制接口

1幀大小為320×240的視頻圖像，Bayer［6］格式為150 kbyte，RGB格式為225 kbyte;1幀1 280×960視頻圖像是320×240圖像的4倍，每幀視頻數(shù)據(jù)量都非常龐大，僅依靠芯片內(nèi)部緩存無法完全存儲，必須由外部存儲器進(jìn)行暫存，以備后續(xù)數(shù)據(jù)處理。

本芯片外部緩存接口為SDRAM［7］，其最大容量為12行地址位×12列地址位×16數(shù)據(jù)位。此接口共占用38個引腳，其中CLK為輸出時鐘引腳;CKE，CS，RAS，CAS，WE為命令控制位引腳，BA1，BA0為片選引腳;LDQM，UDQM為輸入輸出屏蔽引腳、DQ0～DQ15為數(shù)據(jù)輸入輸出引腳;A0～A11為地址引腳。接口時序完全依照SDRAM接口時序要求設(shè)計，操作模式為順序單觸發(fā)讀寫、手動預(yù)充電、CL(讀數(shù)據(jù)延遲)潛伏期為3個時鐘周期、tRCD(行命令到列命令延遲)為3個時鐘周期、8個時鐘周期的自刷新，其時序狀態(tài)圖如圖4所示。

圖4 SDRAM控制器狀態(tài)流程圖

1.5 外轉(zhuǎn)存儲控制接口

在視頻采集過程中，對外存儲器容量有很大的要求，比如進(jìn)行采集格式為640×480的數(shù)字視頻，按照30 f/s的速度存儲，1 min無壓縮視頻至少需要約264 Mbyte存儲空間，若采集更大分辨率的視頻，則需更大的存儲空間，因此需要對視頻數(shù)據(jù)進(jìn)行處理后進(jìn)行存儲。本芯片外轉(zhuǎn)存儲接口設(shè)計為基于SPI［8］協(xié)議的外轉(zhuǎn)存儲接口，可以方便地與其他壓縮處理電路通信，將采集得到的數(shù)字視頻經(jīng)過H.264或者JEPG2000格式進(jìn)行壓縮，存儲到外存中。

此接口共占用5個引腳，C_SPI為使能控制引腳、MISO為主進(jìn)從出引腳、MOSI為主出從進(jìn)引腳、SS為片選引腳、SCK為時鐘引腳。

1.6 圖形陣列顯示控制接口

圖形陣列顯示控制器可以將采集到的視頻圖像實時顯示在監(jiān)視器上，進(jìn)行實時監(jiān)控與觀察。本芯片圖形陣列顯示控制接口依據(jù)VGA工業(yè)標(biāo)準(zhǔn)進(jìn)行時序設(shè)計，通過芯片工作方式配置中的分辨率配置參數(shù)，可通過320×240，640×480，1 240×960的分辨率在TFT LCD上顯示。

芯片中該接口共占用27個引腳，R8～R0為紅色數(shù)據(jù)引腳、G8～G0為綠色數(shù)據(jù)引腳、B8～B0為藍(lán)色數(shù)據(jù)引腳、Hync為行信號引腳、Vync為場引腳。

1.7 數(shù)據(jù)處理模塊

數(shù)字?jǐn)z像頭采集來的視頻數(shù)據(jù)均為Bayer格式數(shù)據(jù)，因此為了在RGB格式的液晶屏幕上進(jìn)行顯示，需要將Bayer轉(zhuǎn)化為RGB數(shù)據(jù)格式后，然后傳送到圖形陣列數(shù)據(jù)寄存器中，為了快速進(jìn)行轉(zhuǎn)換，這里采用3×3模板的雙線性插值的算法進(jìn)行轉(zhuǎn)化。其中硬件電路實現(xiàn)(見圖5)的關(guān)鍵在根據(jù)行列奇偶進(jìn)行選擇累加次數(shù)、加數(shù)與被加數(shù)。

圖5 雙線性插值硬件結(jié)構(gòu)

1)待插值點所在行列均為偶數(shù)時，有

2)待插值點所在行為偶數(shù)、列為奇數(shù)時，有

3)待插值點所在行為奇數(shù)、列為偶數(shù)時，有

4)待插值點所在行為奇數(shù)、列為奇數(shù)時，有

2 RTL級建模與FPGA硬件驗證

2.1 芯片的RTL級模型

整個芯片設(shè)計都是基于硬件描述語言Verilog［9］編寫完成的，采用自下而上的設(shè)計方法，先規(guī)劃整個芯片結(jié)構(gòu)，劃分為基本模塊，然后設(shè)計每一個基本模塊，往上設(shè)計總體模塊，頂層采用原理圖方式，將底層模塊構(gòu)成頂層模塊，整體芯片仿真部分信號時序如圖6所示。

2.2 芯片的FPGA硬件驗證

將設(shè)計的芯片RTL級模型，在ISE12.4軟件上進(jìn)行綜合、布局布線后下載到Spartan-3E系列XC3S500E-4PQ208C開發(fā)板上，系統(tǒng)測試時鐘為50 MHz，外圍器件選用型號如下:SDRAM為Hynix HY57V641620G，存儲容量為4×1 M×6 bit;數(shù)字?jǐn)z像頭豪威OV7620;圖形顯示監(jiān)視器為HannStar HSDO50IDW1 5 in(1 in=2.54 cm)TFT LCD。最終FPGA硬件驗證成功，如圖7為開發(fā)板驗證過程中抓取的視頻截圖。

圖6 芯片功能時序仿真圖(截圖)

圖7 FPGA開發(fā)板驗證采集圖(截圖)

3 結(jié)束語

本文設(shè)計了一款數(shù)字視頻控制芯片，集成度高、性能穩(wěn)定、功耗低，采用單片外設(shè)存儲緩存，減少了芯片對外圍器件的需求，節(jié)約了硬件電路板的面積，降低了成本。在FPGA硬件驗證過程中，ISE12.4中綜合的最大時鐘頻率138.447 MHz，芯片能應(yīng)用于最大分辨率為1 280×960的數(shù)字視頻系統(tǒng)中。另外，芯片有多種工作模式可選，并具有攝像頭參數(shù)調(diào)整寄存器，可以在惡劣的環(huán)境下獲得較好的視頻圖像質(zhì)量。

［1］陳君城.數(shù)字視頻監(jiān)控系統(tǒng)及其應(yīng)用［J］.電氣控制，2011(4):40-42.

［2］田書成，程永強(qiáng)，黃英男.基于DSP的視頻監(jiān)控系統(tǒng)硬件設(shè)計［J］.電子設(shè)計工程，2009，17(11):84-88.

［3］熊文彬，蔣泉，曲建軍，等.基于FPGA實時的視頻顯示系統(tǒng)［J］.液晶與顯示，2011，26(1):92-95.

［4］劉松，付揚(yáng)，郭培源.基于FPGA的數(shù)字視頻監(jiān)控系統(tǒng)設(shè)計［J］.電視技術(shù)，2010，34(3):92-98.

［5］廣州周立功單片機(jī)發(fā)展有限公司.I2C總線規(guī)范［EB/OL］.［2012-09-28］.http://www.Zlgmcu.Com.

［6］LI X.Demosaicing by successive approximation［J］.IEEE Trans.Image Processing，2005，14(3):370-379.

［7］ZHU J Y，LIU P L，ZHOU D J.An SDRAM controller optimized for high definition video coding application［C］//Proc.ISCAS 2008.Seattle，WA:IEEE Press，2008:3518-3521.

［8］ZHANG Jianlong，WU Chunyun，ZHANG Wenjing.The design and realization of a comprehensive SPI interface controller［C］//Proc.2011 Second International Conference on MACE.［S.l.］:IEEE Press，2011:4529-4532.

［9］夏聞宇.Verilog數(shù)字系統(tǒng)設(shè)計教程［M］.2版.北京:北京航空航天大學(xué)出版社，2008.