基于FPGA的高速圖像數(shù)據(jù)采集存儲(chǔ)系統(tǒng)設(shè)計(jì)

邸麗霞，張彥軍，洪應(yīng)平

(中北大學(xué)a.電子測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室;b.儀器科學(xué)與動(dòng)態(tài)測(cè)試教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051)

責(zé)任編輯:魏雨博

在電子信息時(shí)代，聲音和圖像已經(jīng)成為人們獲取信息的兩種主要途徑，尤其是一些大型設(shè)備儀器在測(cè)試以及運(yùn)行過(guò)程中的圖像工況信息檢測(cè)已經(jīng)成為檢測(cè)或校驗(yàn)設(shè)備正常工作的一種重要手段，利用實(shí)時(shí)監(jiān)測(cè)的圖像信息可以更好地了解設(shè)備儀器的工作狀態(tài)，并且在設(shè)備儀器發(fā)生故障時(shí)，便于查找故障點(diǎn)，減小排查故障難度。因此，如何將監(jiān)測(cè)的圖像工況信息實(shí)時(shí)采集、存儲(chǔ)并在事后回讀、解碼以恢復(fù)當(dāng)時(shí)的圖像，已經(jīng)成為現(xiàn)代測(cè)試技術(shù)研究的一個(gè)重要領(lǐng)域。

現(xiàn)在的高頻攝像機(jī)輸出的圖像數(shù)據(jù)傳輸速度快，存儲(chǔ)容量龐大，普通的邏輯處理單元已經(jīng)無(wú)法滿足要求，而功耗低、處理速度高的FPGA(現(xiàn)場(chǎng)可編程邏輯陣列)的出現(xiàn)，為高速、大容量圖像數(shù)據(jù)的采集、存儲(chǔ)提供了全新的設(shè)計(jì)方案。FPGA的并行性以及靈活的可配置性有利于圖像數(shù)據(jù)的采集、存儲(chǔ)設(shè)計(jì)，同時(shí)解決了數(shù)據(jù)量龐大、可靠性、精度小以及速度不匹配等問(wèn)題［1］。

1 總體方案設(shè)計(jì)

本文針對(duì)圖像信號(hào)傳輸?shù)奶攸c(diǎn)，設(shè)計(jì)了模擬高頻圖像信號(hào)輸出的水平同步、垂直同步以及時(shí)鐘信號(hào)，即圖像信號(hào)源模塊。輸出的圖像信號(hào)源通過(guò)電纜傳輸?shù)綀D像采集存儲(chǔ)模塊進(jìn)行數(shù)據(jù)的采集、存儲(chǔ)，并對(duì)圖像數(shù)據(jù)采集存儲(chǔ)裝置進(jìn)行相應(yīng)的系統(tǒng)控制操作。在系統(tǒng)記錄完畢所需圖像信號(hào)數(shù)據(jù)后，監(jiān)控讀數(shù)模塊將存儲(chǔ)的圖像數(shù)據(jù)讀取并送至控制計(jì)算機(jī)存盤(pán)、解碼以進(jìn)行閉環(huán)檢測(cè)與校驗(yàn)。系統(tǒng)總體框圖如圖1所示。

圖1 系統(tǒng)總體框圖

2 圖像信號(hào)源模塊設(shè)計(jì)

在該圖像數(shù)據(jù)采集存儲(chǔ)測(cè)試系統(tǒng)中，圖像信號(hào)源模擬高頻攝像機(jī)輸出，為數(shù)據(jù)采集存儲(chǔ)模塊提供高速圖像信號(hào)數(shù)據(jù)，包括幀同步信號(hào)、行同步信號(hào)、像素同步時(shí)鐘以及圖像數(shù)據(jù)［2］，這些信號(hào)均從標(biāo)準(zhǔn)Camera Link接口送出，通過(guò)LVDS接口發(fā)送至圖像數(shù)據(jù)采集存儲(chǔ)裝置，圖像信號(hào)源發(fā)送數(shù)據(jù)時(shí)序如圖2所示。

圖2 圖像信號(hào)源發(fā)送數(shù)據(jù)時(shí)序圖

圖2中Vsync為幀同步信號(hào)，電平模式，高電平有效;Hsync為行同步信號(hào)，脈沖模式，上升沿有效;CLK為像素同步時(shí)鐘，脈沖模式;Data為8 bit圖像數(shù)據(jù)，標(biāo)準(zhǔn)Camera Link接口在CLK的上升沿將數(shù)據(jù)發(fā)送，LVDS接口在CLK的下降沿將數(shù)據(jù)接收，CLK為常運(yùn)行模式。每個(gè)Vsync有效期內(nèi)有480個(gè)Hsync有效信號(hào)，第0～479個(gè)Hsync有效;每個(gè)Hsync有效期內(nèi)有640個(gè)有效圖像數(shù)據(jù)位。按照上述時(shí)序計(jì)算，每秒鐘的圖像數(shù)據(jù)量為30.72 Mbyte，即圖像采集存儲(chǔ)模塊需將上述高碼流的數(shù)據(jù)完整準(zhǔn)確采集并存儲(chǔ)到Flash存儲(chǔ)模塊中。

3 圖像信號(hào)采集存儲(chǔ)模塊設(shè)計(jì)

在本圖像信號(hào)采集存儲(chǔ)測(cè)試系統(tǒng)中，圖像信號(hào)采集存儲(chǔ)模塊是本系統(tǒng)的核心。圖像信號(hào)經(jīng)LVDS接口轉(zhuǎn)變?yōu)槠胀–MOS電平信號(hào)進(jìn)入中控邏輯單元，F(xiàn)PGA解碼模塊根據(jù)圖像信號(hào)的幀同步(Vsync)、行同步(Hsync)、像素同步時(shí)鐘(CLK)解碼得到圖像數(shù)據(jù);存儲(chǔ)模塊上電后由中控邏輯單元控制擦除Flash memory，等待記錄圖像數(shù)據(jù);接著，在3個(gè)控制信號(hào)的作用下采集高碼流、大容量數(shù)據(jù)，并將數(shù)據(jù)存儲(chǔ)到Flash存儲(chǔ)模塊中;存儲(chǔ)完畢后，存儲(chǔ)模塊接受監(jiān)控讀書(shū)裝置的讀書(shū)請(qǐng)求，將存儲(chǔ)的圖像數(shù)據(jù)回傳至控制計(jì)算機(jī)進(jìn)行存盤(pán)以供分析。因此，針對(duì)大容量、高碼流的圖像數(shù)據(jù)進(jìn)行了高速緩存FIFO和Flash高速數(shù)據(jù)寫(xiě)入設(shè)計(jì)。采集存儲(chǔ)模塊功能框圖如圖3所示。

3.1 高速緩存FIFO設(shè)計(jì)

傳統(tǒng)設(shè)計(jì)常采用“乒乓型”方式或雙口RAM方式作為高速數(shù)據(jù)傳輸系統(tǒng)的高速緩存方式。在現(xiàn)代數(shù)字電子系統(tǒng)設(shè)計(jì)中，F(xiàn)IFO存儲(chǔ)器以其數(shù)據(jù)傳輸率高、可處理大量數(shù)據(jù)流、可匹配具有不同傳輸率的數(shù)字系統(tǒng)而得到了廣泛使用。在本系統(tǒng)中，選擇合適的高速緩存芯片對(duì)于提高圖像數(shù)據(jù)采集存儲(chǔ)測(cè)試系統(tǒng)性能很重要。

圖3 采集存儲(chǔ)模塊功能框圖

作為高速緩存芯片，F(xiàn)IFO的如下兩個(gè)重要指標(biāo)可以作為選擇芯片型號(hào)的參考信息［3］:FIFO的寬度，即FIFO一次讀寫(xiě)操作的數(shù)據(jù)位;FIFO的深度，即FIFO可存儲(chǔ)多少個(gè)N bit的數(shù)據(jù)(若寬度為N)。本設(shè)計(jì)中的圖像數(shù)據(jù)采集存儲(chǔ)測(cè)試系統(tǒng)中，中控邏輯單元對(duì)圖像信號(hào)源解碼后，得到的圖像數(shù)據(jù)量為30.72 Mbyte/s，所以選用一種具有很高的讀寫(xiě)速度、能夠可靠進(jìn)行寫(xiě)入讀出操作的外部FIFO用于高速圖像數(shù)據(jù)的緩存至關(guān)重要。對(duì)本設(shè)計(jì)中的緩存數(shù)據(jù)進(jìn)行分析，如下:

1)本設(shè)計(jì)中，4 Gbyte K9WBG08U1M型Flash接口極限寫(xiě)入速率可達(dá)到40 Mbyte/s，產(chǎn)于IDT公司的64 k×18 bit IDT72V285，其讀寫(xiě)速度可達(dá)到65 Mbyte/s，選用該產(chǎn)品可以達(dá)到高速緩存的目的，可靠寫(xiě)入讀出。

2)根據(jù)設(shè)計(jì)時(shí)序，可計(jì)算出FIFO的讀寫(xiě)信號(hào)周期為25 ns，而IDT72V285的讀寫(xiě)周期最小為10 ns，可實(shí)現(xiàn)25 ns的讀寫(xiě)周期。

3)當(dāng)IDT72V285寫(xiě)使能有效，且FIFO滿無(wú)效時(shí)，在寫(xiě)時(shí)鐘上升沿，將8 bit數(shù)據(jù)寫(xiě)入FIFO中;當(dāng)FIFO非空(空標(biāo)志無(wú)效)，且讀使能有效時(shí)，在讀時(shí)鐘上升沿，將8 bit數(shù)據(jù)從FIFO中讀出，整個(gè)時(shí)序控制簡(jiǎn)捷高效，便于邏輯實(shí)現(xiàn)。

3.2 高速數(shù)據(jù)寫(xiě)入Flash時(shí)序設(shè)計(jì)

在本設(shè)計(jì)中，大容量數(shù)據(jù)存儲(chǔ)模塊選用4 Gbyte K9WBG08U1M型Flash芯片，該芯片以頁(yè)為單位進(jìn)行數(shù)據(jù)的讀寫(xiě)，以塊為單位進(jìn)行數(shù)據(jù)的擦除，因此需要3類(lèi)地址:Column Address，列地址;Page Address，頁(yè)地址;Block Address，塊地址。K9WBG08U1M的地址和命令需在I/O［7∶0］上傳遞，占用8 bit的數(shù)據(jù)寬度，它的寫(xiě)入過(guò)程包含2個(gè)步驟:第1步是通過(guò)I/O端口將數(shù)據(jù)寫(xiě)入每一頁(yè)的寄存器內(nèi)的數(shù)據(jù)加載階段;第2步則是頁(yè)編程階段，即在芯片內(nèi)部，將數(shù)據(jù)從頁(yè)寄存器內(nèi)部傳輸?shù)酱鎯?chǔ)單元中。

由于1片4 Gbyte的K9WBG08U1M型Flash由2片2 Gbyte的K9F8G08UOM型Flash組成，故在本設(shè)計(jì)中，選擇K9WBG08U1M的交錯(cuò)式雙平面(Interleave two_plane)方式，即在2片2 Gbyte的K9F8G08UOM型Flash之間交錯(cuò)地寫(xiě)數(shù)據(jù)。中控邏輯單元首先控制Flash存儲(chǔ)模塊讀取8 kbyte數(shù)據(jù)，寫(xiě)到第1片K9F8G08UOM(chip#1)頁(yè)寄存器中，接著發(fā)送頁(yè)編程命令到chip#1，因此時(shí)chip#1在進(jìn)行頁(yè)編程，處于忙狀態(tài)，而第2片K9F8G08UOM(chip#2)處于等待狀態(tài)，故FPGA可控制發(fā)送數(shù)據(jù)及頁(yè)編程命令到chip#2;chip#1完成頁(yè)編程后，即可轉(zhuǎn)換到chip#2進(jìn)行頁(yè)編程操作，如此反復(fù)進(jìn)行下去［4］。K9WBG08U1M的接口寫(xiě)入速率極限可達(dá)40 Mbyte/s，在邏輯設(shè)計(jì)過(guò)程中，不考慮Flash芯片的頁(yè)編程時(shí)間，采用交錯(cuò)式雙平面并行寫(xiě)入的方式，在400 μs的時(shí)間內(nèi)可寫(xiě)入16 kbyte數(shù)據(jù)，滿足輸入碼率(30.72 Mbyte/s)要求。

當(dāng)采集存儲(chǔ)模塊中控邏輯單元判斷到控制信號(hào)1起作用后，對(duì)Flash存儲(chǔ)芯片進(jìn)行全空間擦除，同時(shí)將無(wú)效塊地址存儲(chǔ)到FPGA內(nèi)部所建RAM存儲(chǔ)器中;控制信號(hào)2起作用后，開(kāi)始進(jìn)行數(shù)據(jù)寫(xiě)入操作;控制信號(hào)3起作用后停止向存儲(chǔ)模塊寫(xiě)入數(shù)據(jù)。在交錯(cuò)式雙平面頁(yè)編程過(guò)程中，一次最大寫(xiě)時(shí)間(實(shí)測(cè)Tmax=130 μs)內(nèi)，寫(xiě)入數(shù)據(jù)4 kbyte，寫(xiě)入數(shù)據(jù)速度約31 Mbyte/s，其中包括4 kbyte數(shù)據(jù)的寫(xiě)入時(shí)間以及2個(gè)Plane之間的切換時(shí)間1 μs，還有7個(gè)命令字的寫(xiě)入時(shí)間，充分考慮到寫(xiě)操作中的時(shí)間需要，進(jìn)行寫(xiě)入速率的計(jì)算，時(shí)間計(jì)算如下:

(4 087+7)×31 ns+1 μs=128 μs(4 kbyte 數(shù)據(jù))

1 000 000/124 ×4/1 024 Mbyte/s=31.50 Mbyte/s

系統(tǒng)接口處的圖像信號(hào)源輸出數(shù)據(jù)的碼流為30.72 Mbyte/s，小于31.50 Mbyte/s，所以，該 Flash 存儲(chǔ)模塊對(duì)于圖像接口處的數(shù)據(jù)能夠可靠接受、緩存并存儲(chǔ)，確保大容量數(shù)據(jù)從緩存中讀取后完整準(zhǔn)確地寫(xiě)入Flash模塊中。Flash存儲(chǔ)模塊工作時(shí)序流程圖如圖4所示。

4 監(jiān)控讀數(shù)模塊設(shè)計(jì)

圖像數(shù)據(jù)采集存儲(chǔ)完畢后，需要將數(shù)據(jù)進(jìn)行完整準(zhǔn)確的回讀以對(duì)其進(jìn)行解碼和校驗(yàn)。一般情況下，大部分的存儲(chǔ)模塊與監(jiān)控讀數(shù)模塊之間采用的是RS－422、RS－485等串行數(shù)據(jù)接口傳輸標(biāo)準(zhǔn)，而由于傳輸過(guò)程中噪聲、電磁干擾、功耗、成本等方面的影響，傳輸速度和距離是成反比的，例如，422接口標(biāo)準(zhǔn)中傳輸碼率和傳輸長(zhǎng)度的乘積不能大于10的8次冪。同時(shí)，由于數(shù)據(jù)傳輸碼率低，對(duì)于大容量數(shù)據(jù)的讀取需要相當(dāng)長(zhǎng)的時(shí)間，且傳輸距離一般都在幾十米以上或者更遠(yuǎn)，此時(shí)以上所說(shuō)的串行數(shù)據(jù)接口標(biāo)準(zhǔn)傳輸速度已經(jīng)不能滿足要求［5］。

圖4 Flash存儲(chǔ)模塊工作時(shí)序流程圖

充分考慮到速度和距離的要求，本設(shè)計(jì)提出使用基于LVDS總線的低電壓差分傳輸方式［5］。這種傳輸方式可滿足高速數(shù)據(jù)下的短距離傳輸，但由于其在普通雙絞線上的傳輸損耗隨信號(hào)頻率的平方根成正比增加，因此，LVDS在遠(yuǎn)程傳輸應(yīng)用中受限。在此，需于數(shù)據(jù)發(fā)送端對(duì)信號(hào)進(jìn)行驅(qū)動(dòng)，以增強(qiáng)信號(hào)，同時(shí)，在接收端通過(guò)均衡補(bǔ)償信號(hào)遠(yuǎn)程傳輸?shù)膿p耗。

該監(jiān)控讀數(shù)模塊通過(guò)USB與PC機(jī)相連，在此選用了CYPRESS公司研制的EZUSBFX2系列CY7C68013作為USB接口芯片，監(jiān)控讀數(shù)模塊主控邏輯單元接收到PC機(jī)指令后，向圖像數(shù)據(jù)采集存儲(chǔ)模塊發(fā)出讀書(shū)請(qǐng)求脈沖，采集存儲(chǔ)模塊實(shí)時(shí)判斷該請(qǐng)求，通過(guò)LVDS向監(jiān)控讀數(shù)模塊發(fā)送有效數(shù)據(jù)，在監(jiān)控讀數(shù)模塊讀書(shū)請(qǐng)求無(wú)效時(shí)，發(fā)送無(wú)效數(shù)據(jù)至監(jiān)控讀數(shù)模塊，以保證LVDS總線收發(fā)端處于不間歇通訊狀態(tài)。監(jiān)控讀數(shù)模塊主控單元收到有效數(shù)據(jù)后，實(shí)時(shí)寫(xiě)入內(nèi)部FIFO，而USB控制芯片CY7C68013則實(shí)時(shí)判斷監(jiān)控讀數(shù)模塊中控單元內(nèi)部FIFO的半滿信號(hào)，半滿后即讀數(shù)據(jù)至PC機(jī)，以此來(lái)實(shí)現(xiàn)整個(gè)接口的協(xié)調(diào)、有序、高速、高效。數(shù)據(jù)長(zhǎng)線讀取傳輸框圖如圖5所示。

5 系統(tǒng)測(cè)試結(jié)果

圖5 數(shù)據(jù)讀取傳輸框圖

在調(diào)試完畢該系統(tǒng)的軟硬件功能之后，對(duì)系統(tǒng)總體功能進(jìn)行綜合測(cè)試。由高速視頻攝像頭向該高速圖像數(shù)據(jù)采集存儲(chǔ)測(cè)試系統(tǒng)發(fā)出圖像數(shù)據(jù)(數(shù)據(jù)碼流為30.72 Mbyte/s)，經(jīng)采集存儲(chǔ)后，由監(jiān)控讀數(shù)模塊通過(guò)LVDS總線讀回圖像數(shù)據(jù)，利用控制計(jì)算機(jī)的解碼軟件對(duì)圖像數(shù)據(jù)進(jìn)行解碼，解碼后圖像如圖6所示。

圖6 綜合測(cè)試下的解碼圖像(截圖)

6 結(jié)論

基于FPGA的高速圖像數(shù)據(jù)采集存儲(chǔ)測(cè)試系統(tǒng)達(dá)到了對(duì)高碼流、大容量圖像數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、數(shù)據(jù)解碼及校驗(yàn)的系統(tǒng)測(cè)試功能。該系統(tǒng)針對(duì)圖像信號(hào)傳輸?shù)母咚?、大容量?shù)據(jù)特征，設(shè)計(jì)了圖像信號(hào)源模塊、高速緩存FIFO模塊、高速數(shù)據(jù)寫(xiě)入Flash模塊以及監(jiān)控讀數(shù)模塊，可以將圖像信號(hào)(數(shù)據(jù)碼流為30.72 Mbyte/s)實(shí)時(shí)采集接收并完整準(zhǔn)確送入Flash進(jìn)行存儲(chǔ)，并在事后將存儲(chǔ)數(shù)據(jù)回讀至控制計(jì)算機(jī)解碼、判讀。該設(shè)計(jì)充分利用了圖像的高實(shí)時(shí)性以及現(xiàn)場(chǎng)特征，為現(xiàn)代工業(yè)領(lǐng)域了解工作狀態(tài)及故障定位等工況信息提供了一種全新的測(cè)試手段。

［1］褚振勇.FPGA設(shè)計(jì)及應(yīng)用［M］.西安:西安電子科技大學(xué)出版社，2002.

［2］章毓晉.圖像處理和分析［M］.北京:清華大學(xué)出版社，1999.

［3］朱巖.基于閃存的星載高速大容量存儲(chǔ)技術(shù)的研究［D］.北京:中國(guó)科學(xué)院研究生院，2006.

［4］張文棟.存儲(chǔ)測(cè)試系統(tǒng)的設(shè)計(jì)理論及其應(yīng)用［M］.北京:高等教育出版社，2002.

［5］張健，吳曉冰.LVDS技術(shù)原理和設(shè)計(jì)簡(jiǎn)介［J］.電子技術(shù)應(yīng)用，2000(5):59－61.