智能攝像系統(tǒng)視頻采集模塊的嵌入式結(jié)構(gòu)

李 歡，師 衛(wèi)，王 昊

（太原理工大學(xué)信息工程學(xué)院實(shí)驗(yàn)室，太原030024）

智能攝像系統(tǒng)視頻采集模塊的嵌入式結(jié)構(gòu)

李 歡，師 衛(wèi)*，王 昊

（太原理工大學(xué)信息工程學(xué)院實(shí)驗(yàn)室，太原030024）

介紹的是智能相機(jī)的實(shí)時(shí)視頻采集模塊的嵌入式結(jié)構(gòu)，可實(shí)現(xiàn)實(shí)時(shí)監(jiān)控。嵌入式結(jié)構(gòu)用賽靈思ML-507平臺(tái)來進(jìn)行開發(fā)。平臺(tái)包含Virtex-5 FXT FPGA設(shè)備，F(xiàn)PGA結(jié)構(gòu)中內(nèi)嵌PowerPC440處理器，旋轉(zhuǎn)變焦（PTZ）攝像機(jī)和VGA監(jiān)視器與該平臺(tái)連接。接口使用板上VGA輸入視頻編解碼器和DVI發(fā)射器芯片。芯片的控制寄存器用嵌入式PowerPC440處理器配置。應(yīng)用軟件用C語言編寫。完成了視頻的采集、傳輸、顯示，分辨率為640像素×480像素。連接與處理能力高，消耗的FPGA資源占18%，剩下的FPGA資源足夠?qū)崿F(xiàn)視頻處理應(yīng)用的開發(fā)。

嵌入式結(jié)構(gòu)；智能攝像系統(tǒng)；賽靈思ML-507平臺(tái)；視頻采集模塊

實(shí)時(shí)圖像和視頻的處理算法是非常消耗資源的［1-3］。傳統(tǒng)的PC或者基于DSP的系統(tǒng)，在大多數(shù)情況下，不適合運(yùn)用這些受實(shí)時(shí)條件約束的算法。在可用的視頻幀速率下工作時(shí)，這些系統(tǒng)不能實(shí)現(xiàn)所需或者預(yù)期的高性能。因此，常常需要設(shè)計(jì)專用的嵌入式結(jié)構(gòu)。圖像和視頻處理算法的結(jié)構(gòu)體系需要處理大量的實(shí)時(shí)數(shù)據(jù)，因此，大多數(shù)系統(tǒng)都需有并行處理的基本特性。近來，嵌入式系統(tǒng)設(shè)計(jì)中基于FPGA的應(yīng)用變得日漸突出，F(xiàn)PGA有豐富的邏輯資源［4］。FPGA處理能力非常高，并且在很多應(yīng)用和標(biāo)準(zhǔn)下都能實(shí)現(xiàn)編程［5-6］?，F(xiàn)在的FPGA資源非常多，并且很容易就能完成許多處理操作［7-11］。

本文設(shè)計(jì)了一個(gè)可實(shí)時(shí)采集視頻的嵌入式結(jié)構(gòu)，它是智能攝像系統(tǒng)的一個(gè)重要組成部分。

1 智能攝像系統(tǒng)

智能攝像機(jī)捕捉圖像或視頻流，把他們轉(zhuǎn)換成數(shù)字模式，處理和編譯實(shí)時(shí)獲取的數(shù)據(jù)，并且做出明智的決策。它捕捉呈現(xiàn)出的高級(jí)場(chǎng)景，并且對(duì)感知到的信息進(jìn)行實(shí)時(shí)分析［12-13］。智能攝像系統(tǒng)的框圖如圖1所示。

圖1 智能攝像系統(tǒng)的框圖

智能攝像機(jī)包含一個(gè)可以在視頻監(jiān)控區(qū)域捕捉實(shí)時(shí)視頻的視頻攝像機(jī)，同樣，它有一個(gè)通信接口來傳輸和顯示處理結(jié)果。為了從視頻流中提取信息，需要挑選一個(gè)圖像和視頻采集模塊。它儲(chǔ)存著應(yīng)用所需的視頻數(shù)據(jù)。圖像和視頻采集模塊從提取到的視頻中獲取數(shù)據(jù)，將其提供給特定應(yīng)用的數(shù)據(jù)處理單元，數(shù)據(jù)處理單元根據(jù)應(yīng)用需要的算法來依次處理數(shù)據(jù)，并為攝像機(jī)提供必要的控制信號(hào)來繼續(xù)捕捉監(jiān)控區(qū)域的視頻。我們已經(jīng)為智能攝像系統(tǒng)的圖像和視頻采集模塊設(shè)計(jì)了一個(gè)嵌入式結(jié)構(gòu)。下一節(jié)來詳細(xì)地說明設(shè)計(jì)過程。

2 視頻采集的嵌入式結(jié)構(gòu)

在硬件設(shè)計(jì)中的流程為：（1）、分析需求；（2）確定方案；（3）、分析設(shè)計(jì)各硬件模塊；（4）交付廠家制板；（5）、焊接元器件；（6）、調(diào)試模塊；（7）解決出現(xiàn)的問題。

嵌入式結(jié)構(gòu)的設(shè)計(jì)基于賽靈思ML-507平臺(tái)，它提供了功能豐富的通用評(píng)價(jià)和開發(fā)平臺(tái)，包括板上存儲(chǔ)器和行業(yè)標(biāo)準(zhǔn)的連接接口，還提供了一個(gè)通用的嵌入式應(yīng)用開發(fā)平臺(tái)。外形如圖2所示。

圖2 ML-507平臺(tái)外形

結(jié)構(gòu)特性如下：

（1）XC5VFX70TFFG1136；

（2）DDR2 SODIMM（256 Mbyte）小型雙面引腳內(nèi)存；

（3）ZBT SRAM（1 Mbyte）：8兆零總線周轉(zhuǎn)期靜態(tài)存儲(chǔ)器，其分時(shí)特性具有一定智能性，能使芯片分時(shí)與用戶的系統(tǒng)相適應(yīng)；

（4）Linear Flash（32 Mbyte）：線性閃存；

（5）System ACE?CF technology（CompactFlash）：由2部分組成：一個(gè)是ACE控制器，另一個(gè)就是用于存儲(chǔ)的CF卡（由2部分組成：一是CF卡控制器，二是CF卡仲裁器。CF卡控制器不僅用來檢測(cè)和維護(hù)CF卡設(shè)備的狀態(tài)，而且還處理所有的CF設(shè)備的訪問總線周期及提煉和執(zhí)行CF命令（如軟復(fù)位、讀/寫段）等。CF卡仲裁器決定微處理器和配置JTAG控制器哪一個(gè)來訪問CF卡的數(shù)據(jù)緩沖）；

（6）Platform Flash：每兆比特配置的成本最低，每兆比特的面積最小，利用VO20和FS48封裝縮小了配置器件所占用的電路板空間，一個(gè)配置存儲(chǔ)器系列，密度范圍介于1 Mbyte和32 Mbyte之間，簡(jiǎn)化了生產(chǎn)流程，并且降低了庫存成本，可多存儲(chǔ)50%的位，允許使用密度更小、成本更低的配置存儲(chǔ)器，在系統(tǒng)可編程性，簡(jiǎn)化了生產(chǎn)流程和電路板測(cè)試，輕松實(shí)現(xiàn)現(xiàn)場(chǎng)升級(jí)，SelectMAP模式（PDF）通過突發(fā)增量為8 bit的比特流來縮短FPGA配置時(shí)間，寬密度范圍和靈活性，提高了器件的高密度范圍內(nèi)的有效配置存儲(chǔ)器密度；

（7）SPI Flash：串行外圍設(shè)備接口是一種常見的時(shí)鐘同步串行通信接口；

（8）JTAG programming interface：JTAG編程接口；

（9）external clocking（2 differential pairs差分線對(duì)）：外部時(shí)鐘；

（10）USB（2）：主機(jī)和外圍連接；

（11）PS/2（2）：連接鼠標(biāo)和鍵盤；

（12）RJ-45：10/100/1000MbpsRJ45接口網(wǎng)卡；

（13）RS-232（Male）：串行通信端口，相連于產(chǎn)生兼容RS232規(guī)范信號(hào)的電路。RS232標(biāo)準(zhǔn)定義邏輯“1”信號(hào)相對(duì)于地為-3 V～-15 V，而邏輯“0”相對(duì)于地為+3 V～+15 V；

（14）Audio In（2）：音頻輸入，連接麥克風(fēng)；

（15）Audio Out（2）：音頻輸出，連接放大器、數(shù)字式的音頻輸出、壓電揚(yáng)聲器；

（16）Rotary encoder：旋轉(zhuǎn)編碼器；

（17）Video Input：視頻輸入；

（18）Video（DVI/VGA）output：DVI或VGA接口的視頻輸出，VGA模擬信號(hào)的傳輸比較麻煩，首先是將電腦內(nèi)的數(shù)字信號(hào)轉(zhuǎn)換為模擬信號(hào)，將信號(hào)發(fā)送到LCD顯示器，而顯示器再將該模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，形成畫面展示在大家面前，中間的信號(hào)丟失嚴(yán)重，雖然可以通過軟件的方法修復(fù)部分畫面，但是隨著顯示器的分辨率越高畫面就會(huì)越模糊。一般模擬信號(hào)在超過1 280像素×1 024像素分辨率以上的情況下就會(huì)出現(xiàn)明顯的誤差，分辨率越高越嚴(yán)重而DVI數(shù)字接口可以直接將電腦信號(hào)傳輸給顯示器，中間幾乎沒有信號(hào)損失，不過在800像素×600像素這種分辨率下，和模擬信號(hào)的效果幾乎沒有差別，所以許多人覺得DVI接口沒用處。但是在1 280像素×1 024像素以上分辨率的情況下，DVI數(shù)字接口的優(yōu)勢(shì)就表現(xiàn)出來了，畫面依舊清晰可見，而VGA接口則出現(xiàn)字跡模糊的現(xiàn)象。DVI接口最高可以提供8 Gbit/s的傳輸率，實(shí)現(xiàn)1 920像素×1 080像素/60 Hz的顯示要求，高分辨率不僅能在3D電影特效泛濫的今天提供最佳電影畫質(zhì)，更是3D圖形制作者的基本要求，因此DVI接口的普及將會(huì)是數(shù)字時(shí)代發(fā)展的必然趨勢(shì)；

（19）Single-ended and differential I/O expansion：?jiǎn)味撕筒罘諭/O接口擴(kuò)展；

（20）GPIO DIP：通用可編程IO接口的DIP撥碼開關(guān)控制8個(gè)LED燈，來表明系統(tǒng)的狀態(tài)是Error還是OK，還控制著5個(gè)按鈕，GPIO提供通用I/O端口支持，當(dāng)配置為輸入，用戶能檢測(cè)到狀態(tài)為輸入，當(dāng)配置為輸出，用戶能把驅(qū)動(dòng)狀態(tài)控制為輸出，還能在不同事件、中斷生成模式下產(chǎn)生EDMA的事件及CPU中斷。

（21）MII，GMII，RGMII，and SGMII Ethernet PHY interfaces：媒體獨(dú)立接口，它是IEEE-802.3定義的以太網(wǎng)行業(yè)標(biāo)準(zhǔn)。它包括一個(gè)數(shù)據(jù)接口，以及一個(gè)MAC和PHY之間的管理接口，應(yīng)用于以太網(wǎng)硬件平臺(tái)的MAC層和PHY層之間的接口，是LXT972A芯片上接口。

（22）PCI Express?edge connector（x1 Endpoint）：點(diǎn)對(duì)點(diǎn)串行連接口，卡片邊沿聯(lián)接器：與從一側(cè)或兩側(cè)延伸到印刷電路板邊緣的引線盤或“插指”相配，以完成與電路板元件相連接的矩形連接器；

（23）GTP：SFP（1000Base-X）：1 000M SFP光模塊；

（24）GTP：SMA（RX and TX differential pairs）：SMA（RX和TX差分對(duì)）；

（25）GTP：SGMII：串行千兆媒體獨(dú)立接口；

（26）GTP：SATA（dual host connections）：SATA（雙主機(jī)連接）是一種電腦總線，主要功能是用作主板和大量存儲(chǔ)設(shè)備（如硬盤及光盤驅(qū)動(dòng)器）之間的數(shù)據(jù)傳輸之用；

（27）GTP clock synthesis chips：時(shí)鐘合成芯片；

（28）Header for second serial port：二級(jí)串行端口頭；

（29）Second Platform Flash PROM（32 Mbit）for large device：大型設(shè)備的二級(jí)閃存；

（30）Mictor trace port：集成式跟蹤端口；

（31）BDM debug port：BDM調(diào)試端口；

（32）Soft touch port：軟接觸端口；

平臺(tái)的Virtex-5 FXT設(shè)備有一個(gè)內(nèi)嵌Powre PC440處理器的核心［14］。PowrePC440處理器集成了32 kbyte指令和32 kbyte數(shù)據(jù)緩存，在550 MHz時(shí)鐘頻率下有高達(dá)1 100 DMI/S(Dhrystone Million Instructions Executed Per Second)的運(yùn)算能力。有支持硬件加速的APU（輔助處理器單元）接口，還有縱橫式交換矩陣可實(shí)現(xiàn)很高的數(shù)據(jù)吞吐量。有多端口存儲(chǔ)控制器MPMC，利用MPMC不需要進(jìn)行初始化、刷新等操作，將MPMC配置成DDR2 SDRAM控制器即可，利用基本的I/O讀寫函數(shù)對(duì)相應(yīng)的地址進(jìn)行讀寫。視頻采集模塊在Virtex-5 FPGA邏輯中應(yīng)用，與必需的板上外圍設(shè)備連接，如圖3所示。

圖3 開發(fā)平臺(tái)的設(shè)置

采用TV5735芯片將視頻從PAL轉(zhuǎn)換成VGA制式，它在模擬和數(shù)字通道接收隔行或逐行掃描的視頻輸入和圖形輸入，如NTSC/PAL制式，1 080 pixel，1 080 pixel/720 pixel，以及SXGA等。轉(zhuǎn)化成VGA格式后先進(jìn)行編碼，將VGA信號(hào)、立體聲音頻信號(hào)編碼，通過JPEG壓縮方式對(duì)各信號(hào)進(jìn)行壓縮，成為數(shù)據(jù)流，傳輸?shù)揭曨l處理平臺(tái)，經(jīng)過處理后傳輸給解碼器，解碼器接收TS流，解壓輸出VGA信號(hào)、音頻信號(hào)，然后傳輸給VGA監(jiān)視器。

本設(shè)計(jì)中圖像數(shù)據(jù)與主應(yīng)用程序分開存儲(chǔ)，在擴(kuò)展ROM區(qū)使用容量大的SDRAM芯片，用來存儲(chǔ)程序中需要使用的聲音和圖像數(shù)據(jù)；在主ROM區(qū)存放主應(yīng)用程序，使用的是Flash芯片，由于Flash芯片耗電少，體積小，非易失存儲(chǔ)，并且有總線重寫入功能，容易進(jìn)行程序的升級(jí)和修改，所以得到了廣泛的應(yīng)用。

本設(shè)計(jì)通過實(shí)時(shí)DDR2存儲(chǔ)器和FPGA邏輯，使從攝像機(jī)到監(jiān)視器的視頻流動(dòng)變得容易。MT47H64M16HR-3E芯片封裝較小（FBGA-84），有利于硬件平臺(tái)的調(diào)試，并且與很多廠商生產(chǎn)的容量不同的DDR2芯片都可以做到管腳-管腳間的完全兼容，因此選用該芯片作為本次設(shè)計(jì)的DDR2存儲(chǔ)器芯片。MT47H64M16HR-3E芯片作為DDR2存儲(chǔ)器，主要完成的任務(wù)為：（1）完成顯示緩存；（2）對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)和恢復(fù)；（3）可以存儲(chǔ)視頻解碼模塊輸出的數(shù)字視頻數(shù)據(jù)；（4）存儲(chǔ)編碼過程中產(chǎn)生的中間數(shù)據(jù)；（5）存儲(chǔ)需要在內(nèi)核中運(yùn)行的代碼；（6）圖像數(shù)據(jù)臨時(shí)搬移、壓縮處理系統(tǒng)運(yùn)行代碼的中間數(shù)據(jù)等都要使用DDR2存儲(chǔ)器。

設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)如圖4所示。它包括一個(gè)Xilinx ML-507 FPGA電路板，一個(gè)索尼旋轉(zhuǎn)變焦（PTZ）攝像機(jī)［15］，一個(gè)從PAL制到VGA的轉(zhuǎn)換器［16］和一個(gè)來顯示視頻輸出的VGA監(jiān)視器。

圖4 視頻采集的系統(tǒng)結(jié)構(gòu)

智能攝像系統(tǒng)需要模擬攝像機(jī)與FPGA電路板的接口技術(shù)。ML-507的VGA IN端口使用了這種技術(shù)。根據(jù)傳入視頻的分辨率和幀率，片上視頻解碼芯片寄存器使用IIC總線［17］。通過使用IIC總線控制器的底層設(shè)備驅(qū)動(dòng)程序來實(shí)現(xiàn)。

ML-507板子的DVI OUT端口通過IIC總線配置片上視頻顯示控制器芯片寄存器［18］，然后與DVI監(jiān)視器連接。應(yīng)用軟件用C語言編寫，然后在Xilinx提供的獨(dú)立的軟件平臺(tái)上運(yùn)行［19］。根據(jù)需要會(huì)使用已經(jīng)開發(fā)出的應(yīng)用程序編程接口API，同時(shí)也使用軟件平臺(tái)提供的一些應(yīng)用程序編程接口API［20］。在嵌入式結(jié)構(gòu)的片上外圍設(shè)備中有視頻解碼器（VDEC），Xilinx提供IP的顯示控制器（DC），比如多端口存儲(chǔ)寄存器（MPMC）［21］，數(shù)字時(shí)鐘管理器（DCM）［22］，Xilinx平臺(tái)工作室（XPS）IIC控制器，同時(shí)還有一些Xilinx Spartan-3A DSP視頻啟動(dòng)工具包［23］的IP。

除了IP的多樣性，本架構(gòu)還使用2種總線協(xié)議。當(dāng)連接數(shù)量可選的PLB控制器時(shí)，128 bit的處理器局部總線協(xié)議為其提供了基本結(jié)構(gòu)，它是整個(gè)處理器局部總線PLB系統(tǒng)的一部分。PLB通常連接高速外設(shè)、DMA存儲(chǔ)控制器，是片內(nèi)的高速數(shù)據(jù)通道。第2種總線是存儲(chǔ)控制器接口（MCI），當(dāng)PowerPC440微處理器與FPGA邏輯中的軟件存儲(chǔ)控制器傳輸信息時(shí)，它為其提供了接口。根據(jù)這些總線接口，外圍核心的詳細(xì)描述如下：

（1）XPC IIC CONTROLLER為許多應(yīng)用普遍的設(shè)備提供低速兩線串行總線接口，它可以實(shí)現(xiàn)的功能有多路控制操作，動(dòng)態(tài)的IIC控制器邏輯，信號(hào)濾波。XPS中斷控制器采用PLB接口，可以提供多達(dá)32個(gè)中斷輸入源、產(chǎn)生中斷輸出信號(hào)。

（2）視頻輸入核心

視頻輸入外圍設(shè)備核心提供了與模擬器件AD9980視頻解碼芯片的接口。AD9980能夠?qū)⒛M信號(hào)數(shù)字化，用于對(duì)復(fù)合視頻和RGB圖像信號(hào)的采集，包含帶1.25 V基準(zhǔn)的三態(tài)ADC，鎖相環(huán)（PLL），增益、偏置、箝位控制均可編程。AD9880盡可能近的靠近VGA連接器，長的連線可能會(huì)受到更多的板上或其它外部噪聲影響，靠近AD9880的地方放置75 Ω的匹配電阻。在匹配電阻和AD9880之間過長的線路會(huì)增加發(fā)射，導(dǎo)致信號(hào)惡化。這個(gè)外圍核心從輸入芯片中獲取輸入信號(hào)，暫存這些信號(hào)并把這些視頻信號(hào)聚合到同一標(biāo)準(zhǔn)的總線中，通過總線與其他IP連接，然后進(jìn)行處理。

（3）數(shù)據(jù)使能核心

數(shù)據(jù)使能外圍核心可為模擬流媒體提供可產(chǎn)生數(shù)據(jù)使能信號(hào)的設(shè)備。數(shù)據(jù)使能信號(hào)標(biāo)記有效視頻的起始位置，有效視頻需要寫到外部存儲(chǔ)器。核心通過評(píng)估輸入的水平同步信號(hào)和垂直同步信號(hào)來實(shí)現(xiàn)標(biāo)記，這兩種信號(hào)與基于VGA協(xié)議的前、后沿時(shí)鐘周期共同作用。PowerPC440處理器通過基于清晰度的PLB接口將邊緣值寫入碼塊。本地總線PLB接口提供3個(gè)64位數(shù)據(jù)總線和1個(gè)32 bit地址與指令緩存和數(shù)據(jù)緩存連接，其中的1個(gè)64 bit總線連接到指令緩存單元，另外2個(gè)64 bit總線連接到數(shù)據(jù)緩存單元，1個(gè)用來支持讀操作，1個(gè)用來支持寫操作。

（4）視頻幀核心

視頻幀外圍核心可實(shí)現(xiàn)幀緩存器中視頻幀的存儲(chǔ)。它將視頻數(shù)據(jù)寫入MPMC存儲(chǔ)控制器的視頻幀緩沖控制器（VFBC）端口。

（5）幀視頻核心

幀視頻外圍核心用于從存儲(chǔ)器中讀出視頻幀。它為顯示控制器外圍核心提供的像素時(shí)鐘頻率為25.175 MHz，這樣就可將頻率為60 Hz，分辨率為640像素×480像素的數(shù)字視頻顯示到DVI/VGA監(jiān)視器上。

（6）顯示控制器核心

顯示控制器外圍核心可與Chrontel CH7301C DVI發(fā)射器裝置連接。它把產(chǎn)生的輸出數(shù)據(jù)傳輸?shù)酵獠恳曨l設(shè)備核心，并把視頻數(shù)據(jù)的格式轉(zhuǎn)換成顯示控制器所能顯示的格式。

（7）多端口存儲(chǔ)控制器（MPMC）

MPMC是支持DDR2 SDRAM的可參數(shù)化存儲(chǔ)控制器。MPMC上有1到8個(gè)端口可用來訪問存儲(chǔ)器。它可與DDR2 SDRAM連接。視頻緩沖控制器（VFBC）是視頻數(shù)據(jù)的專用接口，也是MPMC的一個(gè)重要組成部分。它應(yīng)用于視頻應(yīng)用中，在此視頻應(yīng)用中，硬件可對(duì)2D數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)操作。無論外部存儲(chǔ)事件的大小和結(jié)構(gòu)是怎樣，VFBC都可用自定義的IP來讀寫2D數(shù)據(jù)。它具有先入先出的異步獨(dú)立接口，可實(shí)現(xiàn)寫數(shù)據(jù)輸入、命令輸入和讀數(shù)據(jù)輸出的操作。

3 硬件設(shè)計(jì)流程及需要注意問題

在高速電路中，當(dāng)信號(hào)的頻率大于30 MHz時(shí)，信號(hào)失真會(huì)比較嚴(yán)重，同時(shí)當(dāng)信號(hào)的互連時(shí)延比信號(hào)邊沿反轉(zhuǎn)時(shí)間的20%還要大時(shí)，信號(hào)導(dǎo)線出現(xiàn)傳輸線效應(yīng)，這個(gè)時(shí)候就不能忽略傳輸時(shí)延了，因?yàn)樗鼤?huì)對(duì)電路的性能產(chǎn)生較大的影響，考慮到這些，電路板設(shè)計(jì)時(shí)應(yīng)該注意以下方面：

（1）模塊化設(shè)計(jì)，為了縮短信號(hào)線的長度，相互聯(lián)系多的原件盡可能的就近放置。

（2）設(shè)計(jì)多層電路板，集成度越高，布線的密度越大，干擾就越強(qiáng)，所以多層設(shè)計(jì)是減小干擾的必要手段。

（3）地線盡可能近的打孔，接入地層，電源線的寬度也要加寬。

（4）手工布線。

本設(shè)計(jì)使用protel99se設(shè)計(jì)電路原理圖，進(jìn)行PCB版設(shè)計(jì)。設(shè)計(jì)的是6層板，分別是頂層，底層，中間層1是地線層，中間層2和中間層4是信號(hào)層，中間層3是電源層。器件布局是很繁瑣的一項(xiàng)任務(wù)，但也是最重要的，需要考慮到晶振盡可能靠近器件，同時(shí)也要考慮高頻走線。

4 操作系統(tǒng)移植

把Linux系統(tǒng)嵌入到PowerPC處理器的流程如下：

圖5 視頻采集的系統(tǒng)結(jié)構(gòu)

建立宿主機(jī)的開發(fā)環(huán)境，其中有Linux系統(tǒng)，移植所需packages，交叉編譯工具。然后及時(shí)Norflash啟動(dòng)然后就是內(nèi)核的移植與編譯。

（1）Linux系統(tǒng)選用的是 Ubuntu8.10（32-bit x86）系統(tǒng)，原因：開源的的自由軟件，方便；Debian的軟件包管理系統(tǒng)，方便刪除和安裝程序及軟件。

（2）移植中需要的軟件包：JDK、Git、所需的庫文件。在Ubuntu中通過#sudo apt-get install Libname可獲得常用軟件。

（3）用交叉編譯工具生成操作系統(tǒng)和Bootloader核心：下載交叉編譯工具鏈→解壓→設(shè)置系統(tǒng)環(huán)境變量。

（4）編寫B(tài)ootloader程序，然后下載到Norflash上，然后就是系統(tǒng)上電，然后是執(zhí)行程序系統(tǒng)啟動(dòng)。

Bootloader會(huì)設(shè)置中斷控制器、寄存器；對(duì)內(nèi)存、CPU、數(shù)據(jù)和指令的指針和緩存進(jìn)行初始化；關(guān)閉串行端口和中斷當(dāng)啟動(dòng)的時(shí)候，構(gòu)造、設(shè)置參數(shù)。

（5）內(nèi)核移植與編譯

解壓下載的 Linux內(nèi)核（tar命令）→ 修改Makefile文件（make menuconfig命令）→配置內(nèi)核選項(xiàng)→下載內(nèi)核到PTZ攝像機(jī)→測(cè)試啟動(dòng)→驗(yàn)證文件系統(tǒng)等是否運(yùn)行正常。

（6）根文件系統(tǒng)的制作

根文件系統(tǒng)的作用是：提供對(duì)目錄和文件的數(shù)據(jù)緩存、分層組織形式，控制對(duì)設(shè)備、數(shù)據(jù)文件的存取，對(duì)文件存取權(quán)限進(jìn)行控制。一般情況下它包括的目錄有：/dev設(shè)備文件，/proc內(nèi)核情況的映射，/etc系統(tǒng)配置文件存放，/lib共享函數(shù)庫，/boot引導(dǎo)加載程序使用的靜態(tài)文件，/sbin系統(tǒng)程序，/mnt其他磁盤系統(tǒng)掛接點(diǎn)，/bin基本應(yīng)用程序，/usr其他工具以及用戶程序的存放處等目錄。文件系統(tǒng)構(gòu)建過程：

5 結(jié)果與結(jié)論

從PTZ攝像機(jī)中采集RGB模擬格式的實(shí)時(shí)視頻，將采集到的視頻轉(zhuǎn)化成幀，并且通過多端口存儲(chǔ)控制器（MPMC）緩存到DDR2 SDRAM存儲(chǔ)器中。存儲(chǔ)的幀轉(zhuǎn)換成分辨率為640像素×480像素的VGA格式，并且在VGA顯示器上顯示。本架構(gòu)使用的是Xilinx ML-507 FPGA板子。該平臺(tái)有性能極高的嵌入式處理模塊，先進(jìn)的串行連接能力，創(chuàng)新的信號(hào)處理能力，還有可以大幅提高邏輯、嵌入式與DSP應(yīng)用的整體系統(tǒng)設(shè)計(jì)效率的開發(fā)工具。系統(tǒng)實(shí)時(shí)性強(qiáng)、圖像處理效果良好，并具有設(shè)計(jì)簡(jiǎn)單、應(yīng)用靈活等特點(diǎn)［24］。

設(shè)計(jì)的采集視頻幀的完整設(shè)置如圖6所示。

圖6 本設(shè)計(jì)的完整設(shè)置

視頻采集模塊的嵌入式結(jié)構(gòu)是設(shè)計(jì)任何圖像和視頻處理的應(yīng)用的前提，這些應(yīng)用使用了智能攝像機(jī)。在本設(shè)計(jì)中根據(jù)個(gè)體化原則，以信息流的方式傳輸視頻幀，緩存到外部DDR2 SDRAM存儲(chǔ)器中，然后通過FPGA結(jié)構(gòu)中的硬件核心實(shí)現(xiàn)在VGA顯示器上的實(shí)時(shí)顯示。Xilinx Virtex-5 FX FPGA設(shè)備上的嵌入式PowerPC440處理器用來配置機(jī)載外圍設(shè)備。

本設(shè)計(jì)所有設(shè)備的利用率如圖7。從所有設(shè)備的利用率中可以明顯看出，除了PowerPC440處理器，F(xiàn)PGA消耗的資源大約占18%。用剩下的FPGA資源來實(shí)現(xiàn)實(shí)時(shí)視頻處理的應(yīng)用，綽綽有余。

圖7 在設(shè)計(jì)中利用的全部裝置

6 小結(jié)

賽靈思嵌入式開發(fā)工具包的設(shè)計(jì)工具可以用來開發(fā)集成結(jié)構(gòu)中所需的硬件和軟件。一些賽靈思廠家提供的IPs可自定義，這樣就可設(shè)計(jì)出FPGA結(jié)構(gòu)中的硬件模型。嵌入式PowerPC440處理器中的IIC總線控制器具有底層設(shè)備驅(qū)動(dòng)功能，因此可配置芯片的控制寄存器。從設(shè)備的利用率中可以看出，由于采用了基于視頻采集模型的嵌入式結(jié)構(gòu)，使得剩余的FPGA資源足夠?qū)崿F(xiàn)任何處理實(shí)時(shí)視頻的應(yīng)用。本設(shè)計(jì)給出了系統(tǒng)各個(gè)模塊的硬件連接圖，系統(tǒng)軟件設(shè)計(jì)流程圖［25］，使用的是有線網(wǎng)絡(luò)接口，可以考慮開發(fā)無線網(wǎng)絡(luò)。可以采用給Linux內(nèi)核打補(bǔ)丁的方式實(shí)現(xiàn)Android內(nèi)核的移植。

參考文獻(xiàn)：

［1］Kehtarnavaz N，Gamadia M.Real-Time Image and Video Process?ing［M］.From Research to Reality，Morgan&Claypool Pub，2006，13（1）：5-8.

［2］Jahne B.Practical Handbook on Image Processing for Scientific and Technical Applications［M］.CRC Press，2004，2（3）：10-31.

［3］Bovik A L.The Essential Guide to Video Processing［J］.Elsevier Pub，2009，18（9）：28-77.

［4］關(guān)珊珊，周潔敏.基于Xilinx FPGA的SPI Flash控制器設(shè)計(jì)與驗(yàn)證［J］.電子器件，2012，35（2）：106-110.

［5］Maxfield C M.The Design Warrior’s Guide to FPGAs［M］.Elsevi?er Pub，2004，23（6）：56-97.

［6］Wilson P R.Design Recipes for FPGAs［M］.Elsevier Pub，2007，53（29）：89-95.

［7］Rodolfo P，Caccamo M.Real-Time Management of Hardware and Software Tasks for FPGA-Based Embedded Systems［C］//IEEE Transactions on Computers，2007，56（12）：1666-1680.

［8］Draper B A，Bohm A P W，Chawathe M.Accelerated Image Pro?cessing on FPGAs［C］//IEEE Trans on Image Processing，2003，86（21）：1543-1551.

［9］Batlle J，Marti I，Ridao P，et al.A New FPGAlDSP-Based Parallel Architecture for Real-Time Image Processing［J］.Journal of Real-Time Imaging，2002，8（5）：345-356.

［10］Balinas J，Lazaro J L，Espinosa F.Efficient Smart CMOS Camera Based on FPGAs Oriented to Embedded Image Processing［J］. Sensors，2011，11（3）：2282-2303.

［11］Maclean W.An Evaluation of the Suitability of FPGAs for Embed?ded Vision Systems［R］.Computer Society Conference Computer Vision and Pattern Recognition，2005，11（9）：131-131.

［12］Wolf W，Ozer B，Lv T.Smart Cameras as Embedded Systems［J］. IEEE Computer Society，2002，35（9）：48-53.

［13］Broers H，Caarls W，Jonker P.Architecture Study for Smart Cam?eras［C］//Proceedings of EOS Conference on Industrial Imaging and Machine Vision，2005，58（51）：39-49.

［14］http://www.xilinx.com/ml507［EB/OL］.

［15］http://www.pro.sony.eu/bizllang/en/eu/product/ptzcams/evi-d70p/overview［EB/OL］.

［16］http://www.mygica.com/pa/v2vpro.asp［EB/OL］.

［17］http://www.xilinx.com/productslintellectual-property/xps_iic.htm［EB/OL］.

［18］http://www.chrontel.comlproducts17301.htm［EB/OL］.

［19］http://www.xilinx.com/supportldocumentation/user guides/ug200. pdf［EB/OL］.

［20］http://www.xilinx.com/tools/sdkhtm［EB/OL］.

［21］http://www.xilinx.comlproducts/ipcenter/mpmc.htm［EB/OL］.

［22］http://www.xilinx.comlsupportldocumentationlip_doc umentation?ldcm_module.pdf［EB/OL］.

［23］http://www.xilinx.comlproducts/devkits/HW-V4SX35-VIDEOSK-US.htm［EB/OL］.

［24］馮偉昌，林玉池，何冬.基于FPGA的雙通道實(shí)時(shí)圖像處理系統(tǒng)［J］.傳感技術(shù)學(xué)報(bào)，2010，23（8）：70-74.

［25］曹理發(fā)，尹勇，劉恒輝，基于ARM和DSP的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.電子器件，2009，32（1）：219-223.

李 歡（1988-），女，碩士研究生，主要研究方向?yàn)殡娮优c通信系統(tǒng)，嵌入式系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)與研究；

師 衛(wèi)（1956-），碩士生導(dǎo)師，主要研究方向?yàn)榍度胧较到y(tǒng)、軟件設(shè)計(jì)等；

王 昊（1989-），男，碩士研究生，主要研究方向?yàn)樾畔⑴c通信工程技術(shù)。

An Embedded Architecture for Implementation of a Video Acquisition Module of a Smart Camera System

LI Huan，SHI Wei*，WANG Hao
（Laboratory of Information Engineering Institute，Taiyuan University of Technology，Taiyuan 030024，China）

Presenting an embedded architecture for realtime video acquisition module，realtime monitoring of a smart camera is realized.The Xilinx ML-507 platform has been used to develop the proposed embedded architec?ture.The platform contains a Virtex-5 FX FPGA device having PowerPC 440 processor embedded in the FPGA fab?ric itself.A Pan-Tilt-Zoom（PTZ）camera and a VGA monitor have been interfaced with the platform.This interfac?ing uses on-board VGA input video codec and DVI transmitter chips.The control registers of these chips are config?ured using the embedded PowerPC 440 processor.The application software is written in C language.It completes the acquisition，transmission，display whose resolution is 640 pixel×480 pixel of video.Its connecting and process?ing capability is high，F(xiàn)PGA resource consumption accounts for 18%，so the rest of the FPGA resources is sufficient for the development of video processing applications.

embedded architecture；smart camera system；Xilinx ML-507 platform；video acquisition module

TN919.8

A

1005-9490（2016）06-1353-07

6430

10.3969/j.issn.1005-9490.2016.06.015

2015-11-21 修改日期：2015-12-20