基于低功耗SoC的微型圖像采集系統(tǒng)設(shè)計

胡錦 謝立紅 鄒望輝 張磊 胡嘯東

摘 ???要：針對低成本和低功耗的物聯(lián)網(wǎng)SoC芯片發(fā)展要求，基于SMIC 55 nm CMOS工藝，以低功耗開源處理器RI5CY的SoC芯片為平臺，結(jié)合片內(nèi)含有DSP與A/D轉(zhuǎn)換功能的低電壓CMOS圖像傳感器OV7725，設(shè)計并實現(xiàn)了一款基于開源 RISC_V指令集架構(gòu) SoC 芯片的圖像采集控制系統(tǒng).文中介紹了圖像采集控制系統(tǒng)的結(jié)構(gòu)，并詳細(xì)闡述基于AHB總線的圖像采集控制器的設(shè)計.控制器采用一種改進的異步FIFO來實現(xiàn)不同時鐘域的同步設(shè)計，具有小面積和低功耗的特點.通過Modelsim仿真、DC綜合以及 FPGA 驗證，結(jié)果表明：該系統(tǒng)實現(xiàn)了視頻圖像數(shù)據(jù)的采集和傳輸，操作流程簡單，易于軟件調(diào)試，支持應(yīng)用最高帶寬可達37 MB/s. SoC芯片系統(tǒng)的時鐘主頻為200 MHz，芯片總面積為3 250 × 3 648 μm2，總功耗僅為24.419 mW.

關(guān)鍵詞：圖像采集;SoC;RISC_V;異步FIFO

中圖分類號：TP368????????????????????????????文獻標(biāo)志碼：A

Design of Miniature Image Acquisition System

Based on Low Power System on Chip

HU Jin1，XIE Lihong1，ZOU Wanghui1，ZHANG Lei2，HU Xiaodong3

（1. School of Physics and Electronics，Hunan University，Changsha 410082，China;

2. Institute of Computing Technology of Chinese Academy of Sciences，Beijing 100080，China;

3. Netforward Shenzhen，Shenzhen 518057，China）

Abstract： Based on the development requirements of low-cost and low-power Internet SoC chip， an image acquisition and control system is designed and implemented based on open source RISC_V instruction set architecture SoC chip and SMIC 55nm CMOS process， which uses the low-power open source processor RI5CY SoC chip as a platform and combined with the Low-Voltage CMOS Image Sensor OV7725 with the integrated DSP and A/D conversion chip inside. This paper introduces the block diagram of the image acquisition and control system， and describes a design of image acquisition controller based on AHB bus in detail. An improved asynchronous FIFO with low power and small area is used to realize the synchronous design of different clock domains. According to the?results of Modelsim simulation， DC synthesis and FPGA verification shows that the system realizes the video image data acquisition and transmission，which operation flow is simple and easy to debug， and the maximum of the data transmission bandwidth come up to 37MB/s. The chip total area is 3250 μm x 3648 μm and power consumption is only 24.419 mW.

Key words： image acquisition;Soc;RISC_V;asynchronous FIFO

隨著互聯(lián)網(wǎng)技術(shù)、信息處理技術(shù)以及物聯(lián)網(wǎng)技術(shù)的發(fā)展，以微處理器為核心的片上系統(tǒng) （SoC），由于成本低、體積小、集成度高、功耗低等[1]優(yōu)點，逐漸成為當(dāng)今集成電路的主流，為集成電路產(chǎn)業(yè)提供了廣闊市場和發(fā)展機遇[2].目前常見的圖像采集系統(tǒng)大多基于PC機的圖像視頻采集卡，雖然性能上清晰度高、運算精度大，但成本較高、體積和功耗都較大，不適合應(yīng)用在便攜式電子產(chǎn)品中.嵌入式技術(shù)發(fā)展給圖像采集提供了新平臺，但單純應(yīng)用ARM或DSP等嵌入式平臺由于其存儲容量有限、處理速度低、擴展性較差的特點，不能滿足當(dāng)前圖像采集系統(tǒng)的帶寬需求.SoC系統(tǒng)芯片結(jié)合了這些優(yōu)勢，為需要實時性強和處理速度快的數(shù)據(jù)信息系統(tǒng)實現(xiàn)提供了較好的解決方案.

文獻[3]利用單片機控制和USB數(shù)據(jù)采集技術(shù)等實現(xiàn)了視頻數(shù)據(jù)的采集和傳輸，但數(shù)據(jù)傳輸速率為8～10 Mbps，難以完整采樣和存儲30 fps、640×480像素大小的視頻圖像.

文獻[4]采用FPGA作為圖像采集主控芯片，能較好實現(xiàn)圖像數(shù)據(jù)的采樣和傳輸，但操作流程繁瑣，系統(tǒng)較為復(fù)雜，對于軟件人員來說難以設(shè)計和調(diào)試，其功耗也相對較高.本文針對微型電子設(shè)備的應(yīng)用場合，基于RISC_V指令集架構(gòu)的開源處理器PULPino[5]，設(shè)計了一款低功耗的圖像采集控制系統(tǒng)，實現(xiàn)了CMOS圖像傳感器圖像數(shù)據(jù)的輸出、采集、存儲.圖像數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)ANN （Artificial Neural ?Networks）加速器中進行智能識別、圖像處理或通過圖像顯示器進行顯示，該圖像采集系統(tǒng)操作流程簡單，易于軟件調(diào)試.

1 ??系統(tǒng)設(shè)計方案

本設(shè)計選用OmniVision公司小型CMOS圖像傳感器OV7725為SoC芯片提供數(shù)字視頻信號，針對當(dāng)前物聯(lián)網(wǎng)智能芯片的圖像采集與處理需求，設(shè)計方案如下：

1）基于低功耗RISC_V的開源處理器PULPino（Parallel Ultra Lower Power）平臺.

2）利用掛載在SOC系統(tǒng)APB總線上的I2C控制器與CMOS圖像傳感器OV7725進行信息交互，對圖像傳感器編程配置.

3）根據(jù)圖像采集系統(tǒng)的應(yīng)用場景，設(shè)計SoC系統(tǒng)圖像采集控制器，實現(xiàn)在控制信號的控制下正確采集圖像數(shù)據(jù)，并將圖像數(shù)據(jù)通過AHB總線存儲至LPDDR（Low Power Double Date Rate SDRAM）.

4）基于LATCH 的異步FIFO實現(xiàn)圖像采集時

鐘域與系統(tǒng)時鐘域的同步，能高效率利用總線和緩解控制器長期占用總線，提高整個SoC的工作效率.

5）圖像傳感器[6]輸出圖像的最大分辨率為640 × 480 （VGA），最大刷新率為60 fps.若圖像輸出格式為RGB/YUV格式，則每個像素點為兩個字節(jié)，因此實際最大帶寬需求為（2 Byte × 640 × 480 × 60 ） /106 = 37 MB/s.而AHB總線帶寬為主頻×位寬，即200 MHz × 4 Byte = 800 MB/s，滿足視頻圖像采集帶寬需求.

1.1 ??SoC低功耗設(shè)計

SoC平臺采用big-little core平臺來實現(xiàn)能耗充分利用，大小核時鐘頻率分別為200 MHz和80 MHz，根據(jù)具體應(yīng)用場景可利用軟件算法動態(tài)切換大小核.基于RISC_V指令集的處理器核RI5CY采用哈佛存儲器結(jié)構(gòu)，具有4級流水線，同時擴展的硬件循環(huán)指令、乘累加、高級算術(shù)指令為并行超低功耗提供理論依據(jù).除了指令實現(xiàn)低功耗外，RI5CY處理器核具有正常工作模式和睡眠模式，在睡眠功能使能后，處理器在空閑時進入睡眠模式，中斷和事件均會喚醒處理器.但中斷喚醒處理器后，處理器先處理中斷服務(wù)處理程序，處理完畢后若處理器空閑將再次進入睡眠模式，只有事件才能將處理器核永久喚醒，故動態(tài)功耗較低.系統(tǒng)中各外設(shè)IP模塊均具有獨立的門控時鐘控制，可通過關(guān)閉不必要的外設(shè)IP達到系統(tǒng)功耗最低.在本圖像采集系統(tǒng)設(shè)計中，相比于基于register的FIFO設(shè)計，采用基于latch的設(shè)計也有效降低了功耗和面積.

1.2 ??圖像采集系統(tǒng)總體結(jié)構(gòu)

圖像采集系統(tǒng)主要由圖像傳感器OV7725、camera capture 控制器、I2C控制器、ANN加速器以及連接在menctrl 控制器上的LPDDR組成，如圖1所示.系統(tǒng)工作原理為：系統(tǒng)上電后，系統(tǒng)MCU利用I2C模塊使用標(biāo)準(zhǔn)SCCB（Serial Camera Control Bus）協(xié)議對圖像傳感器寄存器進行配置，設(shè)置工作方式.打開圖像采集控制器使能，系統(tǒng)圖像采集控制器對圖像數(shù)據(jù)信號進行采集，通過異步FIFO進行數(shù)據(jù)緩沖和同步兩側(cè)不同的數(shù)據(jù)傳輸速率，camera capture控制器以幀為單位將圖像數(shù)據(jù)寫至內(nèi)存.寫完一幀圖像數(shù)據(jù)之后觸發(fā)中斷，隨后CPU對中斷進行處理.

1.3 ??圖像采集控制器設(shè)計

圖像采集控制器主要實現(xiàn)圖像傳感器輸出數(shù)據(jù)的采集，并與系統(tǒng)進行通信和交互.圖像采集控制器分為以下模塊：總線接口模塊（AHB MASTER模塊和 AHB Slave （CSR模塊））、采樣與同步模塊（Camera Capture ）組成，結(jié)構(gòu)如圖2所示.CSR（Control Status Register）模塊作為總線的Slave接口，接收系統(tǒng)控制配置.通過配置可在內(nèi)存中設(shè)定三個數(shù)據(jù)區(qū)（ZONE1/2/3）用于存儲采集的圖像數(shù)據(jù).圖像采集模塊 （Camera Capture）以幀為單位對圖像傳感器輸出的原始圖像數(shù)據(jù)進行采集，通過AHB MASTER模塊將圖像數(shù)據(jù)寫入相應(yīng)的存儲區(qū).每當(dāng)完成一幀的數(shù)據(jù)采集并寫入存儲區(qū)后，CSR模塊的狀態(tài)寄存器會記錄DATA_OK，并向CPU發(fā)中斷請求.CPU對采集到數(shù)據(jù)進行消費后清除狀態(tài)寄存器對應(yīng)的DATA_OK標(biāo)志.每個數(shù)據(jù)區(qū)大小為一幀，控制器按ZONE1到ZONE3的固定順序查找可用數(shù)據(jù)區(qū)，若全部的數(shù)據(jù)區(qū)均不可寫，則產(chǎn)生錯誤中斷.

1.3.1 ??CSR （Control Status Register）模塊

CSR模塊主要為軟硬件交互接口模塊，用于CPU對圖像采集控制器的訪問和寄存器的配置.根據(jù)具體應(yīng)用場景，設(shè)計了以下寄存器（部分略）：

BASE_ADDR_ZONE1/2/3 ： 內(nèi)存中設(shè)置的三個數(shù)據(jù)區(qū)（ZONE1/2/3）基地址寄存器，AHB MASTER模塊根據(jù)該基地址和低位偏移對存儲器進行訪問.

RQCNT：此寄存器用于記錄接收緩沖異步FIFO中的有效條目數(shù).

RQTH：用于設(shè)置接收緩沖滿閾值，當(dāng)接收緩沖中的有效條目數(shù)大于或等于該閾值時，則記錄在狀態(tài)寄存器并向CPU發(fā)中斷請求.

IntEn：該寄存器用來設(shè)置各中斷使能.

Ctrl：控制寄存器.包括數(shù)據(jù)采集使能信號、場、行同步信號電平配置等控制信號.

1.3.2 ??Camera Capture模塊

Camera Capture模塊主要包括圖像傳感器采集接口模塊、異步控制信號同步模塊以及接收數(shù)據(jù)緩存FIFO模塊，其結(jié)構(gòu)框圖如圖3所示.

寄存器的配置與圖像控制信號及數(shù)據(jù)信號之間為異步事件，因此需要硬件保證在切換控制寄存器中的控制信號時以一幀數(shù)據(jù)為邊界.Vsync、href有效電平極性的切換只有在數(shù)據(jù)采樣使能無效時才能軟件配置，故只需保證切換數(shù)據(jù)采樣使能時以幀為邊界.具體實現(xiàn)的電路圖如圖4所示.

數(shù)據(jù)采樣使能開啟前需要先配置場、行信號的有效極性，數(shù)據(jù)采樣使能開啟后，電路只在Vsync有效時對采樣使能寄存器進行更新（圖4中帶使能的觸發(fā)r_CaptureEnTrue）.該信號同時作用于采樣數(shù)據(jù)接收使能信號（c_WrRcvData-En），硬件上保證正在接口傳輸?shù)拇藥瑘D像數(shù)據(jù)被忽略，從下一幀圖像數(shù)據(jù)開始采集.同理，電路保證了關(guān)閉數(shù)據(jù)采樣使能信號時正在采集的這幀數(shù)據(jù)被采集完，下一幀圖像數(shù)據(jù)開始被忽略.數(shù)據(jù)采樣使能信號、行、場控制信號形成新一幀圖像數(shù)據(jù)開始標(biāo)志，并輸出至AHB MASTER模塊復(fù)位索引地址.此時，上一幀圖像數(shù)據(jù)采集完畢并存儲至相應(yīng)的數(shù)據(jù)區(qū)中，新一幀圖像數(shù)據(jù)采集開始.

基于Latch的跨時鐘域異步FIFO模塊是數(shù)據(jù)緩沖操作的核心.圖像傳感器的圖像數(shù)據(jù)采集基于數(shù)據(jù)幀的突發(fā)操作，為提高總線利用率和傳輸速率，設(shè)計了8 × 128的接收數(shù)據(jù)緩沖FIFO.將像素圖像數(shù)據(jù)拼湊齊16Byte后使FIFO寫使能有效，以便總線產(chǎn)生（INCR4）突發(fā)請求.由于并不需要在像素時鐘下拍拍連續(xù)寫數(shù)據(jù)，故本設(shè)計中的FIFO采用Latch陣列實現(xiàn)，能有效減小芯片面積和功耗.設(shè)計中還采用N+1位格雷碼計數(shù)器模塊來產(chǎn)生空滿標(biāo)志，在減小亞穩(wěn)態(tài)出現(xiàn)概率的同時避免算術(shù)運算，提高了FIFO的速度.

1.3.3 ??AHB MASTER模塊

AHB MASTER 模塊是AHB總線的master接口模塊，該模塊用于發(fā)起對存儲器的訪問.針對圖像采集系統(tǒng)的應(yīng)用場景，只需要發(fā)起對存儲器的寫操作.總線地址寬度和數(shù)據(jù)寬度均為32位，并支持總線提前中止傳輸（Early Burst Termination）.模塊采用狀態(tài)機實現(xiàn)，狀態(tài)流程圖如圖5所示.

IDLE狀態(tài)：狀態(tài)機的初始狀態(tài).在該狀態(tài)下，若接收緩存FIFO不空而且沒有協(xié)議錯，則跳轉(zhuǎn)至REQBUS狀態(tài);若接收緩存FIFO不空，但有協(xié)議錯，讀取FIFO的數(shù)據(jù).若FIFO為空，不進行操作.

REQBUS狀態(tài)：發(fā)起總線請求.該狀態(tài)下總線請求信號mHBUSREQ信號有效，并等待仲裁器授權(quán)總線使用權(quán).若總線申請成功，則跳轉(zhuǎn)至REQESND狀態(tài).

REQSEND狀態(tài)：命令和數(shù)據(jù)發(fā)送狀態(tài).該狀態(tài)會維持至傳輸正常完成或傳輸提前中止.在圖像采集模塊中，設(shè)置四位Flitv發(fā)送指示，其中FIFO中的每32位對應(yīng)Flitv中的一位.若某位為1，則表示該32位數(shù)據(jù)未發(fā)送.當(dāng)狀態(tài)機進入REQSEND狀態(tài)時，若Flitv發(fā)送指示全為1，則總線的突發(fā)請求為INCR4;若突發(fā)操作被EBT（Early Burst Termination），MASTER會繼續(xù)發(fā)起總線請求.此時若Flitv發(fā)送指示只有一個1表明EBT后剩余一個32位數(shù)據(jù)未發(fā)送，此時發(fā)起SINGLE總線突發(fā)請求.若Flitv發(fā)送指示包含多個1表明EBT后剩余多個32位數(shù)據(jù)未發(fā)送，此時發(fā)起INCR總線突發(fā)請求.

ENDDATA狀態(tài)：最后數(shù)據(jù)發(fā)送狀態(tài).此狀態(tài)中傳輸正常結(jié)束，讀取FIFO中的數(shù)據(jù).當(dāng)mHREADY有效時，狀態(tài)機返回至IDLE狀態(tài).

2 ??仿真與驗證

圖像采樣控制器的設(shè)計使用Verilog HDL 語言實現(xiàn).為驗證其功能的正確性，分別進行了系統(tǒng)級的功能仿真驗證和FPGA驗證.在仿真驗證中，編寫了模擬CMOS傳感器OV7725的行為功能模型（BFM），構(gòu)建了軟硬件驗證平臺，利用Modelsim SE-64 10.2環(huán)境進行功能仿真，并利用Synopsys綜合工具DC （Design Compile）進行綜合，最后利用FPGA進行板級驗證.

圖6所示的是圖像采集模塊的仿真圖，可以看出，當(dāng)圖像采集系統(tǒng)使能后，當(dāng)前幀數(shù)據(jù)被忽略，圖像數(shù)據(jù)從新一幀開始采集.場信號有效后，行信號有效，圖像采集模塊在像素時鐘信號pclk上升沿進行圖像信號（data）的采集.

AHB Master總線寫數(shù)據(jù)至存儲器仿真圖如圖7所示.采集模塊將采集的圖像數(shù)據(jù)緩存于異步FIFO中，然后將第一幀圖像數(shù)據(jù)存在CSR設(shè)置的在存儲器LPDDR基址2202000的數(shù)據(jù)區(qū).當(dāng)寫完一幀數(shù)據(jù)后，圖像采樣模塊產(chǎn)生DATAOK_ZONE1（2/3）中斷.

仿真結(jié)果表明，該視頻圖像采集系統(tǒng)能夠很好地實現(xiàn)圖像數(shù)據(jù)的采集和數(shù)據(jù)傳輸.

利用Synopsys公司的Design Compile工具，采用SMIC 55nm CMOS工藝庫文件，在系統(tǒng)時鐘為200 MHz時對整個SoC芯片進行綜合.由綜合結(jié)果得到芯片功耗報告如表1所示，其中芯片的總功耗僅為24.419 mW，動態(tài)功耗為23.804 mW.

為了減小芯片面積和功耗，本文采用了基于Latch的FIFO設(shè)計，并在相同工藝下分別對基于Register的FIFO和基于Latch的改進FIFO的SoC芯片系統(tǒng)進行綜合，分別得到總功耗與含有FIFO的圖像采集模塊面積并進行比較，對比結(jié)果如表2所示.

FPGA驗證環(huán)境[7]包括Xilinx公司的7系列ARTIX-7 FPGA核心板和帶有LPDDR及FLASH的擴展板.其中ARTIX-7 FPGA核心板由FPGA芯片XC7A100T +128 Mb QSPI FLASH組成，擴展板包含F(xiàn)PGA IO擴展口、數(shù)據(jù)和控制信號接口、LPDDR、CMOS圖像傳感器OV7725以及FLASH芯片.

為驗證圖像采樣模塊的正確性，使用Xilinx的工具Vivado產(chǎn)生網(wǎng)表和bitstream文件，并用JTAG下載器下載至FPGA芯片XC7A100T中.利用連接在SoC系統(tǒng)中SPIMaster上的SPI顯示屏進行圖像顯示.如圖8所示的為FPGA圖像采集驗證結(jié)果.

FPGA時鐘管理模塊提供給SoC系統(tǒng)時鐘為50 MHz，板級提供給圖像傳感器OV7725的系統(tǒng)輸入時鐘為30 MHz.在I2C模塊配置圖像傳感器后，圖像采集系統(tǒng)穩(wěn)定采樣并在較少CPU干預(yù)下實現(xiàn)數(shù)據(jù)存儲至LPDDR，數(shù)據(jù)傳輸帶寬為30 MB/s，滿足圖像視頻的傳輸速率要求.由顯示屏顯示結(jié)果可以得到，圖像采集系統(tǒng)采樣正確并存儲數(shù)據(jù)信息，圖像顯示效果較好且無失真.

3 ??結(jié) ??語

本文針對物聯(lián)網(wǎng)SOC芯片圖像采集的特定應(yīng)用，設(shè)計并實現(xiàn)了圖像采集控制系統(tǒng).該圖像采集控制系統(tǒng)通過采集圖像傳感器的數(shù)據(jù)和控制信號，并通過改進的異步FIFO，實現(xiàn)了不同時鐘域的數(shù)據(jù)傳輸.仿真和驗證結(jié)果表明，該設(shè)計能很好地采樣圖像數(shù)據(jù)，并利用總線在較少CPU干預(yù)的情況下，以幀為單位將數(shù)據(jù)高效率傳輸至內(nèi)存.由顯示屏顯示圖像的驗證結(jié)果可以得出，該采集系統(tǒng)采集的圖像質(zhì)量好，畫面清晰，并具有操作過程簡單、靈活、方便等優(yōu)點，驗證了該設(shè)計的可行性.

參考文獻

[1] ???MITIC M，STOJCEV M，STAMENKOVIC A Z M. An overview of on-chip buses[J]. Facta universitatis - series： Electronics and Energetics，2006，19（3）：405—428.

[2] ??DUTT N，JANTSCH A，SARMA S. Toward smart embedded systems： A self-aware system-on-chip（SoC） perspective[J]. ACM Transactions on Embedded Computing Systems，2016，15（2）：1—27.

[3] ???商婷婷. 基于MSP430的網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)的設(shè)計[J]. 電子設(shè)計應(yīng)用，2007（9）：110—111.

SHANG T T. Design of networked video surveillance system based on MSP430[J]. Electronic Design Application，2007（9）：110—111. （In Chinese）

[4] ???周泉，馬俊，董亞男，等. 基于低功耗微控制器的圖像采集系統(tǒng)設(shè)計[J]. 電子測量技術(shù)，2014，37（3）：77—81.

ZHOU Q，MA J，DONG Y N，et al. Design of image acquisition system based on low power microcontroller[J]. Electronic Measurement Technology，2014，37（3）： 77—81. （In Chinese）

[5] ??ZIMMER M，BROMAN D，SHAVER C，et al. FlexPRET： A processor platform for mixed-criticality systems[C]// IEEE Real-time & Embedded Technology & Applications Symposium. IEEE，2014：101—110.

[6] ???OmniVision Technologies Inc.OV7725 color CMOS VGA （640×480） CAMERACHIPTM sensor omni Vision ■ with OmniPixel2TM technology，advanced information datasheet[R]. California： ALLDATASHEET，2007，Version 1.4. https：//www.alldatasheet.net/view.jsp？Searchword=OV7725.

[7] ???李列文，桂衛(wèi)華，胡小龍. 一種基于FPGA的低功耗、容錯狀態(tài)機設(shè)計方法[J]. 湖南大學(xué)學(xué)報（自然科學(xué)版），2010，37（6）：77—82.

LI L W，GUI W H，HU X L. Low power consumption based on FPGA design method of fault tolerant state machine[J]. Journal of Hunan University（Natural Sciences），2010，37（6）： 77—82.（In Chinese）