• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于ZYNQ的稠密光流法軟硬件協(xié)同處理

    2014-07-19 15:10:04王芝斌陽(yáng)文敏張圓蒲柴志雷
    關(guān)鍵詞:光流法光流像素點(diǎn)

    王芝斌,陽(yáng)文敏,張圓蒲,柴志雷

    江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無(wú)錫 214122

    基于ZYNQ的稠密光流法軟硬件協(xié)同處理

    王芝斌,陽(yáng)文敏,張圓蒲,柴志雷

    江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無(wú)錫 214122

    1 引言

    光流法在許多視頻或圖像應(yīng)用中有廣泛的應(yīng)用前景,比如運(yùn)動(dòng)物體檢測(cè)、運(yùn)動(dòng)物體估計(jì)、視頻壓縮等。光流法是由于場(chǎng)景中前景目標(biāo)本身的移動(dòng)、相機(jī)的運(yùn)動(dòng),或者兩者的共同運(yùn)動(dòng)所產(chǎn)生的。對(duì)光流算法的研究,真正提出有效光流計(jì)算方法還歸功于Horn-Schunck[1]在1981年創(chuàng)造性地將二維速度場(chǎng)與灰度相聯(lián)系,引入光流約束方程的算法,是光流算法發(fā)展的基石。通過光流法評(píng)估機(jī)制[2-3]的驗(yàn)證,基于Horn-Schunck[1]的稠密光流法模型,與經(jīng)典的稀疏光流法Lucas-Kanada[4]相比,不但能夠產(chǎn)生稠密光流法,而且能計(jì)算出很好的光流效果。

    高質(zhì)量的光流算法計(jì)算機(jī)非常復(fù)雜。對(duì)于分辨率為640×480的灰度圖片,在Xilinx的FPGA+ARM異構(gòu)芯片(即ZYNQ)上,單獨(dú)利用ARM Cortex-A9的處理器上,計(jì)算基于HS(即Horn-Schunck)模型的稠密光流場(chǎng)需要24.40 s。低效的計(jì)算速度限制了光流法在現(xiàn)實(shí)世界的可應(yīng)用性。目前有很多工作都關(guān)注于高效能的稠密光流計(jì)算。在通用處理器上研究降低光流計(jì)算的復(fù)雜度[5-6],更多的工作關(guān)注在專用硬件平臺(tái)上加速光流的計(jì)算[7-8]。

    Martin等人[9]在Altera APEX20XK的FPGA上也實(shí)現(xiàn)了基礎(chǔ)的HS光流法,處理256×256的圖片序列每秒能夠達(dá)到60幀,但是影響HS光流法計(jì)算時(shí)間的一個(gè)關(guān)鍵參數(shù)(即迭代次數(shù))沒有清晰的說明。Rustam等人[10]提出使用了整數(shù)和組合整數(shù)、小數(shù)的基于HS光流法的硬件體系。同樣地,光流法的迭代次數(shù)也沒有詳細(xì)給出。Gultekin等人[11]在Altera Cyclone-II的FPGA平臺(tái)上,實(shí)現(xiàn)了基于HS的光流法,在工作頻率為50 MHz的情況下,每秒可以處理257幀的256×256圖片序列。但是,它并不是計(jì)算整張圖片的稠密光流,而是計(jì)算圖片內(nèi)的一塊小區(qū)域。然而,由于不易調(diào)試和底層的編程語(yǔ)言,即VHDL/Verilog,在單純的FPGA上實(shí)現(xiàn)復(fù)雜圖像算法非常耗時(shí)。所以,目前基于FPGA的光流法計(jì)算大部分停留在一些最基礎(chǔ)的光流算法[9-11]。

    隨著異構(gòu)芯片技術(shù)的不斷發(fā)展,傳統(tǒng)處理器和FPGA組成的異構(gòu)系統(tǒng)芯片有潛力能夠勝任高效能計(jì)算[12-13],如Xilinx公司的FPGA異構(gòu)系統(tǒng)芯片(ZYNQ)。而且與傳統(tǒng)的FPGA開發(fā)語(yǔ)言相比(即VHDL/Verilog)相比,隨著高層綜合語(yǔ)言的發(fā)展,集成了Xilinx開發(fā)環(huán)境的高層綜合(HLS)技術(shù),80%的高層綜合語(yǔ)言(即C、C++、System C)與20%的底層綜合語(yǔ)言(即VHDL、Verilog),能夠大幅度提高FPGA的開發(fā)效率。

    本文針對(duì)FPGA的異構(gòu)系統(tǒng)平臺(tái)(即ZYNQ),利用最新的高層綜合(HLS)語(yǔ)言與傳統(tǒng)的硬件描述語(yǔ)言相結(jié)合,通過算法的可并行性分析,重構(gòu)與優(yōu)化FPGA可運(yùn)行的C代碼,設(shè)計(jì)了基于HS稠密光流法的硬件加速器的IP核。針對(duì)ZYNQ平臺(tái)的特點(diǎn),調(diào)用已設(shè)計(jì)好的光流算法IP核,完成系統(tǒng)的硬件與軟件設(shè)計(jì)。實(shí)驗(yàn)結(jié)果顯示,對(duì)于640×480大小的圖片,基于ZYNQ的軟硬件協(xié)同的方式比純軟件方式的計(jì)算性能提高了34倍,執(zhí)行時(shí)間從24.40 s降低到0.71 s。

    2 稠密光流算法的工程流程介紹

    圖1所示是基于HS稠密光流法的基本工作流程,可以把光流法的計(jì)算劃分為四個(gè)階段:預(yù)處理(S1)、梯度計(jì)算(S2)、運(yùn)動(dòng)模型構(gòu)造(S3)和迭代計(jì)算(S4)。

    2.1 預(yù)處理(S1)

    預(yù)處理(S1)階段是平滑處理圖像序列,它的作用即是用來(lái)減少圖像噪音和外部的影響,一般用卷積來(lái)實(shí)現(xiàn)。這一階段是一個(gè)通用的圖像操作。

    2.2 梯度計(jì)算(S2)

    梯度計(jì)算(S2)階段是在平滑后的圖片的基礎(chǔ)上計(jì)算圖像的梯度,包括水平梯度(Ex)、垂直梯度(Ey)和時(shí)間梯度(Et)?;贖S的模型只需要一階梯度的信息,通常梯度計(jì)算也是通過卷積來(lái)實(shí)現(xiàn)的。

    圖1 基于HS的稠密光流法工作流程

    2.3 運(yùn)動(dòng)模型構(gòu)造(S3)

    運(yùn)動(dòng)模型構(gòu)造(S3)階段是根據(jù)梯度信息來(lái)構(gòu)造運(yùn)動(dòng)模型的信息?;贖S的稠密光流模型,需要構(gòu)造5個(gè)運(yùn)動(dòng)模型信息(J11、J12、J13、J22和J23)。對(duì)于不同的運(yùn)動(dòng)模型由不同的梯度信息融合而構(gòu)成。這一階段的操作就是矩陣相乘,如公式(1)所示,J表示構(gòu)造的運(yùn)動(dòng)模型,E表示梯度。

    2.4 迭代階段(S4)

    迭代計(jì)算(S4)階段是通過全局迭代計(jì)算光流,對(duì)于基于HS稠密光流法的模型,只需要更新光流模型(u,v)。如公式(2)所示,迭代體的計(jì)算是根據(jù)線性的超松弛算法(SOR),其中,i表示像素點(diǎn)的行坐標(biāo),j表示像素點(diǎn)的列坐標(biāo),J表示構(gòu)造的運(yùn)動(dòng)模型,u和v分別表示水平和垂直的光流模型,N-(i)表示第i個(gè)像素點(diǎn)的上和左的相鄰像素點(diǎn),N+(i)表示第i個(gè)像素點(diǎn)的下和右的相鄰像素點(diǎn),w是超松弛迭代的權(quán)重因子,k是迭代的次數(shù),ɑ是光流平滑的權(quán)值。

    圖2 光流計(jì)算的數(shù)據(jù)相關(guān)性

    3 并行性分析

    下面從任務(wù)并行、數(shù)據(jù)并行和流水線并行給出基于HS稠密光流法的并行性分析。

    3.1 任務(wù)并行

    如圖2所示,每個(gè)階段之間的操作都存在數(shù)據(jù)相關(guān)性,但是在同一個(gè)階段內(nèi),多種操作可以自己獨(dú)立計(jì)算。通過平滑處理圖片序列(img1,img2),可以同時(shí)得到平滑后的圖片(simg1,simg2);然后根據(jù)兩張平滑后的圖片的平均值((simg1+simg2)/2),可以計(jì)算水平梯度(Ex)和垂直梯度(Ey),同時(shí)時(shí)間梯度(Et)是兩張圖片相減所獲得的;同樣地由公式(1)可以同時(shí)得到5個(gè)運(yùn)動(dòng)模型的信息。這些操作都可以獨(dú)立和同時(shí)計(jì)算,迭代計(jì)算部分的并行性會(huì)在下面分析。

    3.2 數(shù)據(jù)并行

    預(yù)處理和梯度計(jì)算的操作都可以通過卷積來(lái)實(shí)現(xiàn),卷積操作是一個(gè)典型的數(shù)據(jù)并行。對(duì)于運(yùn)動(dòng)模型構(gòu)造階段,每一個(gè)運(yùn)動(dòng)模型的計(jì)算都可以通過相同的指令,這些操作都能夠高效地實(shí)現(xiàn)并行計(jì)算。

    3.3 流水并行

    對(duì)于前三個(gè)階段(S1,S2,S3),每一個(gè)階段之間的數(shù)據(jù)交互,在合適的硬件上可以全流水線地工作。如圖3所示,迭代計(jì)算需要迭代次數(shù)去獲取結(jié)果,這就導(dǎo)致了整個(gè)系統(tǒng)的流水線性能的下降。因此,迭代計(jì)算部分應(yīng)該首先被重構(gòu)與優(yōu)化。在實(shí)際優(yōu)化中,展開迭代,需要展開以提高流水線的性能;在理想狀態(tài)下,硬件資源足夠的條件,整個(gè)系統(tǒng)幾個(gè)周期全流水完成處理。

    圖3 SOR與Red-Black SOR的數(shù)據(jù)相關(guān)性

    4 重構(gòu)與優(yōu)化FPGA運(yùn)行的光流計(jì)算C代碼

    4.1 重構(gòu)與優(yōu)化FPGA可運(yùn)行的迭代體

    從并行性分析可知,迭代階段(S4)首先重構(gòu)與優(yōu)化迭代體,由公式(2)可知,在計(jì)算光流(u或者v)的時(shí)候,它的每一個(gè)像素點(diǎn)的4個(gè)鄰居都有數(shù)據(jù)相關(guān)性。如圖3(a)所示,假設(shè)像素點(diǎn)7正在計(jì)算,像素點(diǎn)2,6,8,12都需要計(jì)算,特別是左上的像素點(diǎn)2,6已經(jīng)更新了,而右下的像素點(diǎn)8,12沒有更新。因?yàn)樽笊系膬蓚€(gè)像素點(diǎn)需要立即更新,這導(dǎo)致了原始的超松弛算法(SOR)不能并行處理。為了避免數(shù)據(jù)相關(guān)性,這里使用改進(jìn)的紅黑超松弛算法(Red-Black SOR)。如圖3(b)所示,用紅黑兩次掃描來(lái)替代一次掃描,首先是紅掃描處理的就是紅色的像素點(diǎn),此時(shí)它的4個(gè)鄰居都是黑色沒有更新的像素點(diǎn);接著就是黑色像素點(diǎn)的處理,此時(shí)它的4個(gè)鄰居都是已經(jīng)更新的紅色的像素點(diǎn)。不管哪一個(gè)顏色掃描,它周圍的4個(gè)像素點(diǎn)都能夠被同時(shí)處理,適合在FPGA上的并行計(jì)算。

    圖4所示的是用高層綜合語(yǔ)言重構(gòu)的C代碼的紅黑超松弛算法的硬件結(jié)構(gòu)圖。通過3×3的窗口的操作,在幾個(gè)周期的延遲后,窗口內(nèi)的9個(gè)像素點(diǎn)是能夠滿足同時(shí)訪問光流的4個(gè)鄰居像素點(diǎn),這就是滿足了并行計(jì)算的條件。在SOR初始化延遲后,每隔5個(gè)周期,每一組的數(shù)據(jù)流(inu、inv、J11、J12、J13、J22和J23)都會(huì)被立即處理,最后獲得每一次迭代的光流值(outu、outv)。

    4.2 優(yōu)化迭代計(jì)算及其與外部存儲(chǔ)器的帶寬

    如圖4所示,迭代體的輸入數(shù)據(jù)通道的接口由5個(gè)32位的運(yùn)動(dòng)模型和2個(gè)32位的光流模型構(gòu)成,高帶寬的輸入數(shù)據(jù)通道(224位),易導(dǎo)致低效地訪問外部存取器。為了高效地利用外部存取器,從兩個(gè)方面來(lái)優(yōu)化,一方面是減少訪問外部存取器的次數(shù),另一方面是降低通信的帶寬。

    為了減少訪問外部存取器的次數(shù),通過迭代展開可以有效地減少外部迭代的次數(shù),使得多份迭代體能夠流水地并行計(jì)算,增加了流水線指令的計(jì)算性能。為了降低通信的帶寬,如圖5所示,從預(yù)處理(S1)到運(yùn)動(dòng)模型構(gòu)造(S3)也放在了迭代體的內(nèi)部。對(duì)于每一次迭代,原始圖片序列(img1,img2)與光流模型(u,v)構(gòu)成了迭代體的輸入數(shù)據(jù)端口,訪問外部存取器的帶寬降到了128位。前三階段的計(jì)算時(shí)間要比訪問高位寬外部存取器的時(shí)間短得多。

    圖4 用C描述的紅黑迭代體的硬件結(jié)構(gòu)圖

    圖5 改進(jìn)的光流法的流水線

    4.3 重構(gòu)光流計(jì)算的其他階段

    在優(yōu)化后的迭代體的內(nèi)部,光流計(jì)算的前三個(gè)階段(S1、S2、S3)也需要重構(gòu)與優(yōu)化FPGA可執(zhí)行的C代碼。預(yù)處理(S1)和梯度計(jì)算(S2)都是用卷積來(lái)實(shí)現(xiàn)的。卷積在FPGA上并行計(jì)算在前面的工作[14]已經(jīng)詳細(xì)討論過了。運(yùn)動(dòng)模型構(gòu)造(S3)是簡(jiǎn)單的乘法計(jì)算,可以直接在FPGA上實(shí)現(xiàn)。

    5 稠密光流法在ZYNQ上的系統(tǒng)設(shè)計(jì)

    使用Xilinx的高層綜合(HLS)語(yǔ)言重構(gòu)與優(yōu)化了基于HS的稠密光流法計(jì)算,生成了基于ZYNQ的光流計(jì)算的IP核。下面針對(duì)ZYNQ的體系結(jié)構(gòu),結(jié)合HLS生成的光流算法的IP核,實(shí)現(xiàn)稠密光流法在ZYNQ上的軟硬件協(xié)同。圖6所示的是基于ZYNQ的稠密光流法的體系結(jié)構(gòu)圖,ZYNQ系統(tǒng)芯片集成了基于ARM的處理系統(tǒng)(PS)和可編程邏輯(PL)。

    圖6 基于ZYNQ光流法軟硬件協(xié)同的結(jié)構(gòu)圖

    PL端光流IP核與外部存取器(DDR)的通信方式是基于ARM的AXI4總線協(xié)議,其中PL端的數(shù)據(jù)通路是由視頻直接存取訪問(AXI VDMA,Video Direct Memory Access)來(lái)讀寫外部存取器的數(shù)據(jù),PS端通過通用輸入輸出接口(GPIO)主動(dòng)控制PL端的控制通路。為了完成外部迭代計(jì)算,使用兩個(gè)光流的IP核流水地并行計(jì)算。光流的IP Core0通過AXI VDMA0讀取數(shù)據(jù)區(qū)A,經(jīng)過光流IP核的硬件延遲,處理完成的結(jié)果由AXI VDMA0寫入數(shù)據(jù)區(qū)B;此時(shí)控制光流的IP Core1通過AXI VDMA1讀取數(shù)據(jù)區(qū)B,經(jīng)過PL端加速,處理完成的結(jié)果由AXI VDMA1寫入數(shù)據(jù)區(qū)A;形成了一個(gè)高效的迭代計(jì)算環(huán)。

    6 綜合實(shí)驗(yàn)

    綜合實(shí)驗(yàn)采用平臺(tái)是Digilent的Zedboard,其芯片是由FPGA與ARM組成的ZYNQ(ZYNQ7020CLG484)異構(gòu)系統(tǒng)芯片。對(duì)于純軟件的處理方式,光流計(jì)算是在ZYNQ上的ARM Cortex-A9(即Processing System,PS)上處理的,其中PS端有兩個(gè)32 KB的一級(jí)緩存、一個(gè)512 KB的共享二級(jí)緩沖和512 MB的外部存取器。對(duì)于軟硬件協(xié)同的處理方式,ARM端和FPGA端協(xié)同工作。選用的圖片序列是最新的Middlebury[2]光流測(cè)試集。

    6.1 基于ZYNQ的光流法軟硬件協(xié)同的資源利用率和功耗

    表1是基于ZYNQ光流法軟硬件協(xié)同在PL端的資源利用率,其中光流計(jì)算的IP核迭代計(jì)算(S4)流水的分?jǐn)?shù)是2。從表中可以看出,F(xiàn)PGA的資源已經(jīng)消耗了很多,如果在硬件資源足夠的情況下,可以把P5做成更多的份數(shù),這樣可以減少外部迭代的次數(shù),從而提高整個(gè)系統(tǒng)的吞吐率。數(shù)據(jù)通路的工作頻率是100 MHz,控制通路的頻率是50 MHz,而且整個(gè)系統(tǒng)的片上功耗只有1.911 W。

    表1 PL端的資源利用率

    6.2 軟硬件協(xié)同與純軟件工作模式下的計(jì)算光流的時(shí)間比較與分析

    在ZYNQ的ARM端軟件單獨(dú)計(jì)算稠密光流,隨著圖片的不斷增大,算法的執(zhí)行效率會(huì)直線下降;在軟硬件協(xié)同的情況下,F(xiàn)PGA端對(duì)核心算法的進(jìn)行加速運(yùn)算,ARM端對(duì)FPGA端的IP核進(jìn)行控制。如表2所示,軟硬件協(xié)同執(zhí)行的時(shí)間平均要比軟件的執(zhí)行時(shí)間快25倍左右,特別是對(duì)于大的圖片,比如640×480的分辨率,軟硬件協(xié)同的執(zhí)行時(shí)間比純軟件執(zhí)行要快34倍。對(duì)于光流算法,分辨率越大,計(jì)算出來(lái)的光流的細(xì)粒度也就越好,效果也就越準(zhǔn)確。例外,純軟件工作下的迭代計(jì)算方法是原始的SOR迭代方法,迭代的次數(shù)為100;軟硬件協(xié)同的采用改進(jìn)的Red-Black SOR的迭代方法,迭代的次數(shù)同樣也為100。

    表2 基于ZYNQ的光流法軟件與軟硬件協(xié)同的執(zhí)行時(shí)間比較

    6.3 軟硬件協(xié)同與純軟件工作模式下的計(jì)算光流的效果比較與分析

    表3所示的是基于HS的光流法軟件與軟硬件協(xié)同工作模式下的光流效果的比較,采用的評(píng)價(jià)機(jī)制是平均角誤差[2](Average Angular Error,AAE)。其中在純軟件工作模式下,給出了原始的SOR迭代方法與改進(jìn)的SOR迭代方法的光流效果AAE誤差。實(shí)驗(yàn)結(jié)果顯示原始的SOR迭代方法計(jì)算的光流的結(jié)果更平滑,但是其細(xì)粒度的數(shù)據(jù)相關(guān)性不適合FPGA的并行計(jì)算,而Red-Black SOR在消除了其數(shù)據(jù)相關(guān)性的同時(shí),也對(duì)其光流效果產(chǎn)生了影響。在軟硬件協(xié)同的情況下,Red-Black SOR的迭代方法與純軟件下的Red-Black SOR的光流效果的誤差主要在硬件模塊內(nèi)部處理使用的定點(diǎn)計(jì)算,而軟件使用的是浮點(diǎn)計(jì)算,會(huì)使得結(jié)果更為平滑。表4所示的是軟硬件協(xié)同與軟件光流處理的光流效果對(duì)比,其中軟件效果采用的原始的SOR迭代方法,軟硬件協(xié)同效果是改進(jìn)的Red-Black SOR迭代方法。

    表3 軟件與軟硬件協(xié)同的光流效果AAE的評(píng)價(jià)

    表4 軟件與軟硬件協(xié)同的光流效果的比較

    7 結(jié)束語(yǔ)

    在處理640×480大小的圖片時(shí),基于ZYNQ的軟硬件協(xié)同方式比純軟件方式快34倍左右,執(zhí)行時(shí)間從24.40 s降到了0.71 s,而ZYNQ芯片的片上功率為1.911 W。如果FPGA資源足夠,通過迭代展開、減少FPGA與存取器的數(shù)據(jù)通信量等方式,還可以進(jìn)一步提高整個(gè)系統(tǒng)的性能。

    [1]Horn B K P,Schunck B G.Determining optical flow[J]. Artificial Intelligence,1981,17(1/3):185-203.

    [2]Barron J L,F(xiàn)leet D J,Beauchemin S S.Performance of optical flow techniques[J].International Journal of Computer Vision,1994,12(1):43-47.

    [3]Baker S,Scharstein D,Lewis J P,et al.A database and evaluation methodology for optical flow[J].International Journal of Computer Vision,2011,92(1):1-31.

    [4]Lucas B,Kanade T.An iterative image registration technique with an application in stereo vision[C]//7th International Joint Conference on Artificial Intelligence,Vancouver,Brithish Columbia,1981:674-679.

    [5]Bruhn A,Weickert J.Towards ultimate motion estimation:combining highest accuracy with real-time performance[C]// 10th IEEE International Conference on Computer Vision,2005:749-755.

    [6]BruhnA.Variationalopticalflowcomputation[D].Saarbrucken:Saarland University,2006.

    [7]Mizukami Y,Tadamura K.Optical flow computation on compute unified device architecture[C]//14th International Conference on Image Analysis and Processing(IAIAP),Modena,Italy,2007.

    [8]Diaz J,Ros E,Pelayo F,et al.FPGA-based real-time optical-flow system[J].IEEE Transactions on Circuits and Systems for Video Technology,2006,16(2):274-279.

    [9]Martin J L,Zuloaga A,Cuadrado C,et al.Hardware implementation of optical flow constraint equation using FPGAs[J].ComputerVisionandImageUnderstanding,2005,98:462-490.

    [10]Rustam A,Hamid N H,Hussin F A.FPGA-based hardware implementation of optical flow constraint equation of Horn and Schunck[C]//4th International Conference on Intelligent and Advanced Sytems(ICIAS),2012:790-794.

    [11]Gultekin G,Saranli A.An FPGA based high performance optical flow hardware design for computer vision applications[J].MicroprocessorsandMicrosystems,2013,37:270-286.

    [12]Chung E S,Milder P A,Hoe J C,et al.Single-chip heterogeneous computing:does the future include custom logic,F(xiàn)PGAs,and GPGPUs[C]//43rd Annual IEEE/ACM International Symposium on Microarchitecture,Atlanta,USA,2010.

    [13]原魁,肖晗,何文浩.采用FPGA的機(jī)器視覺系統(tǒng)發(fā)展現(xiàn)狀與趨勢(shì)[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(36):1-6.

    [14]Chai Zhilei,Shi Jianbo.Improving KLT in embedded systems by processing oversampling video sequence in realtime[C]//International Conference on Reconfigurable Computing and FPGAs,Cancun,Mexico,2011.

    [15]朱學(xué)亮,柴志雷,梁久禎,等.KLT織物疵點(diǎn)檢測(cè)算法研究及FPGA實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(24):144-148.

    WANG Zhibin,YANG Wenmin,ZHANG Yuanpu,CHAI Zhilei

    School of Internet of Things,Jiangnan University,Wuxi,Jiangsu 214122,China

    Techniques of optical flow computation are widely used in many video/image based applications such as motion detection,motion estimation and video analysis etc.However,high-quality optical flow algorithms are computationally intensive.Slow computation limits the applicability of optical flow computation in real-world applications,especially in embedded systems.In this paper,an implementation of Horn-Schunck optical flow algorithm based on Xilinx ZYNQ is presented.The High-Level Synthesis(HLS)language together with traditional hardware description language is used to describe optical flow accelerator in the software-hardware co-processing mode.Taking resolution 640×480 as instance, the result shows that FPGA-accelerated HS outperforms 34x than the pure software vision on ZYNQ.The execution time is decreased from 24.40 s to 0.71 s.

    optical flow accelerator;ZYNQ;high-level synthesis language;software-hardware co-processing;Field-Programmable Gate Array(FPGA)

    光流法是計(jì)算機(jī)視覺中一個(gè)基礎(chǔ)性的算法,可廣泛應(yīng)用于運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)估計(jì)、視頻分析等領(lǐng)域。但光流法最大的問題是計(jì)算復(fù)雜、速度慢,限制了它在實(shí)際系統(tǒng)尤其是嵌入式系統(tǒng)中的應(yīng)用。利用最新的高層綜合(HLS)語(yǔ)言與傳統(tǒng)的硬件描述語(yǔ)言相結(jié)合,在Xilinx的FPGA異構(gòu)系統(tǒng)芯片(即ZYNQ)平臺(tái)上,以軟硬件協(xié)同的工作方式,設(shè)計(jì)了基于Horn-Schunck稠密光流法的硬件加速器。實(shí)驗(yàn)證明,對(duì)于640×480大小的圖片,軟硬件協(xié)同處理比純軟件處理的計(jì)算性能提高了34倍,執(zhí)行時(shí)間從24.40 s降低到0.71 s。

    光流加速器;ZYNQ;高層綜合語(yǔ)言;軟硬件協(xié)同處理;可編程器件

    A

    TP391

    10.3778/j.issn.1002-8331.1311-0181

    WANG Zhibin,YANG Wenmin,ZHANG Yuanpu,et al.Dense optical flow software-hardware co-processing based on ZYNQ.Computer Engineering and Applications,2014,50(18):44-49.

    國(guó)家自然科學(xué)基金(No.60703106,No.61170121,No.61202312)。

    王芝斌(1989—),男,碩士研究生,主要研究領(lǐng)域?yàn)楣饬鲌?chǎng)的實(shí)時(shí)計(jì)算、高層綜合語(yǔ)言描述、基于FPGA的機(jī)器視覺設(shè)計(jì);陽(yáng)文敏,研究生;張圓蒲,研究生;柴志雷,副教授,碩士生導(dǎo)師。E-mail:zlchai@jiangnan.edu.cn

    2013-11-13

    2014-01-09

    1002-8331(2014)18-0044-06

    CNKI網(wǎng)絡(luò)優(yōu)先出版:2014-04-01,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1311-0181.html

    猜你喜歡
    光流法光流像素點(diǎn)
    利用掩膜和單應(yīng)矩陣提高LK光流追蹤效果
    基于物理學(xué)的改善粒子圖像測(cè)速穩(wěn)健光流方法研究
    基于canvas的前端數(shù)據(jù)加密
    基于背景分類的監(jiān)控視頻中的運(yùn)動(dòng)目標(biāo)檢測(cè)算法綜述
    基于逐像素點(diǎn)深度卷積網(wǎng)絡(luò)分割模型的上皮和間質(zhì)組織分割
    Matlab下視頻處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    權(quán)重系數(shù)自適應(yīng)光流法運(yùn)動(dòng)目標(biāo)檢測(cè)
    基于Node-Cell結(jié)構(gòu)的HEVC幀內(nèi)編碼
    初始段安控圖像目標(biāo)識(shí)別方法研究
    融合光流速度場(chǎng)與背景差分的自適應(yīng)背景更新方法
    亚洲美女搞黄在线观看 | 成人av在线播放网站| 内射极品少妇av片p| 久久久久性生活片| 99久国产av精品| 99精品在免费线老司机午夜| 国产探花在线观看一区二区| 亚洲最大成人中文| 精品一区二区三区视频在线观看免费| 欧美一区二区精品小视频在线| 亚洲成人精品中文字幕电影| 少妇被粗大猛烈的视频| 亚洲欧美成人综合另类久久久 | 一个人看视频在线观看www免费| 在线观看66精品国产| 国产亚洲精品综合一区在线观看| 久久久久国内视频| 免费大片18禁| 91久久精品国产一区二区三区| 欧美精品国产亚洲| 亚洲性夜色夜夜综合| 国产成人a∨麻豆精品| 亚洲四区av| 欧美丝袜亚洲另类| 亚洲美女搞黄在线观看 | 国产高清视频在线观看网站| 乱人视频在线观看| 一区二区三区免费毛片| 亚洲欧美中文字幕日韩二区| 一级av片app| 精品一区二区三区av网在线观看| 国产精品人妻久久久久久| av福利片在线观看| 欧美又色又爽又黄视频| www.色视频.com| 草草在线视频免费看| 一个人免费在线观看电影| 亚洲国产精品成人久久小说 | 欧美激情久久久久久爽电影| 欧美bdsm另类| 夜夜爽天天搞| 欧美成人精品欧美一级黄| 亚洲国产日韩欧美精品在线观看| 国产男靠女视频免费网站| 久久精品影院6| 亚洲av免费高清在线观看| 久久久a久久爽久久v久久| 精品不卡国产一区二区三区| 99热只有精品国产| 99久国产av精品国产电影| 观看免费一级毛片| 两个人的视频大全免费| АⅤ资源中文在线天堂| 非洲黑人性xxxx精品又粗又长| 午夜日韩欧美国产| 亚洲美女黄片视频| 亚洲欧美日韩卡通动漫| 亚洲av电影不卡..在线观看| 日韩,欧美,国产一区二区三区 | 人人妻,人人澡人人爽秒播| a级毛片免费高清观看在线播放| 久99久视频精品免费| 欧美潮喷喷水| 午夜影院日韩av| 我要搜黄色片| 久久精品久久久久久噜噜老黄 | 久久鲁丝午夜福利片| 精品熟女少妇av免费看| 黑人高潮一二区| 亚洲婷婷狠狠爱综合网| 99热这里只有是精品50| 成人av一区二区三区在线看| 俄罗斯特黄特色一大片| 干丝袜人妻中文字幕| 久久久久久久久久成人| 草草在线视频免费看| 免费搜索国产男女视频| 99热这里只有是精品50| 99久久久亚洲精品蜜臀av| 久久精品影院6| 最近2019中文字幕mv第一页| 内射极品少妇av片p| 精品久久久久久久久亚洲| 欧美一区二区亚洲| 欧美极品一区二区三区四区| 国产毛片a区久久久久| 最新中文字幕久久久久| 国产成人影院久久av| 色尼玛亚洲综合影院| 在线观看免费视频日本深夜| 99久久精品热视频| 久久久色成人| 91狼人影院| 国产精品无大码| 两个人视频免费观看高清| 成人亚洲精品av一区二区| 黄色一级大片看看| 香蕉av资源在线| 毛片女人毛片| 尾随美女入室| 色综合亚洲欧美另类图片| 久久久久九九精品影院| 精品久久久久久久久久免费视频| 亚洲精品日韩在线中文字幕 | 亚洲一区高清亚洲精品| 亚洲专区国产一区二区| 成年女人永久免费观看视频| 又爽又黄无遮挡网站| 人妻制服诱惑在线中文字幕| 丰满人妻一区二区三区视频av| 午夜精品在线福利| 国产伦在线观看视频一区| 欧美日韩精品成人综合77777| 69人妻影院| 国产久久久一区二区三区| 欧美日韩综合久久久久久| 亚洲av美国av| 欧美色欧美亚洲另类二区| 天天一区二区日本电影三级| 精品午夜福利在线看| 熟女人妻精品中文字幕| 黄色配什么色好看| 男女做爰动态图高潮gif福利片| 春色校园在线视频观看| 免费人成在线观看视频色| 神马国产精品三级电影在线观看| 亚洲aⅴ乱码一区二区在线播放| 尤物成人国产欧美一区二区三区| 亚洲精品亚洲一区二区| 久久韩国三级中文字幕| 国产欧美日韩精品一区二区| 人人妻人人澡欧美一区二区| 性色avwww在线观看| 青春草视频在线免费观看| 99国产极品粉嫩在线观看| 校园人妻丝袜中文字幕| 老师上课跳d突然被开到最大视频| 高清午夜精品一区二区三区 | 国产精品美女特级片免费视频播放器| 不卡视频在线观看欧美| 天堂动漫精品| 国产v大片淫在线免费观看| 国产高清不卡午夜福利| 长腿黑丝高跟| 精品午夜福利视频在线观看一区| 国产精品一区二区性色av| 欧美一区二区国产精品久久精品| 色尼玛亚洲综合影院| 国产熟女欧美一区二区| 99九九线精品视频在线观看视频| 欧美国产日韩亚洲一区| 日日啪夜夜撸| 欧美3d第一页| av黄色大香蕉| 国产三级在线视频| 午夜福利视频1000在线观看| 欧美激情国产日韩精品一区| 久久人人爽人人爽人人片va| 国产亚洲欧美98| 人人妻人人澡人人爽人人夜夜 | 久久精品国产亚洲av天美| 成人特级黄色片久久久久久久| 久久久久久国产a免费观看| 欧美3d第一页| 成人av一区二区三区在线看| 夜夜爽天天搞| 搡老熟女国产l中国老女人| avwww免费| 国产精华一区二区三区| 日韩,欧美,国产一区二区三区 | 亚洲欧美成人综合另类久久久 | 男插女下体视频免费在线播放| 国产精品野战在线观看| 免费av毛片视频| 热99re8久久精品国产| 国产精品国产高清国产av| 国产成年人精品一区二区| 久久精品国产亚洲网站| 国产亚洲精品久久久久久毛片| 97在线视频观看| 亚洲av不卡在线观看| 久久精品91蜜桃| 久久久久久大精品| 日本在线视频免费播放| 亚洲真实伦在线观看| 嫩草影院入口| 少妇的逼水好多| 午夜a级毛片| 国产精品嫩草影院av在线观看| 亚洲国产日韩欧美精品在线观看| 国产高清激情床上av| 在线观看美女被高潮喷水网站| 国产欧美日韩一区二区精品| 免费看av在线观看网站| 乱码一卡2卡4卡精品| 亚洲经典国产精华液单| 婷婷精品国产亚洲av在线| 国产精品,欧美在线| 国产精品永久免费网站| 小蜜桃在线观看免费完整版高清| 久久久久久九九精品二区国产| 男女边吃奶边做爰视频| 国产片特级美女逼逼视频| 联通29元200g的流量卡| 日韩欧美 国产精品| 变态另类丝袜制服| 国产人妻一区二区三区在| 成人欧美大片| 中文字幕av成人在线电影| 国国产精品蜜臀av免费| 简卡轻食公司| 看片在线看免费视频| 此物有八面人人有两片| 18禁在线播放成人免费| 国产精品久久久久久久久免| 国语自产精品视频在线第100页| 国产 一区精品| 丝袜美腿在线中文| 国产又黄又爽又无遮挡在线| 三级男女做爰猛烈吃奶摸视频| 黄色日韩在线| 午夜福利在线观看免费完整高清在 | 久久久久国内视频| 男女那种视频在线观看| 一级黄色大片毛片| 国产伦精品一区二区三区视频9| 亚洲国产精品成人综合色| 亚洲一区高清亚洲精品| 99久久九九国产精品国产免费| 日韩中字成人| 亚洲精品久久国产高清桃花| 尤物成人国产欧美一区二区三区| 亚洲电影在线观看av| 波多野结衣高清作品| 中国美女看黄片| 精品99又大又爽又粗少妇毛片| 成人一区二区视频在线观看| 国产熟女欧美一区二区| 在线观看一区二区三区| av在线天堂中文字幕| 美女高潮的动态| 中文字幕av在线有码专区| 久久欧美精品欧美久久欧美| 欧美性猛交╳xxx乱大交人| 成年女人毛片免费观看观看9| 精品国内亚洲2022精品成人| 麻豆av噜噜一区二区三区| 小蜜桃在线观看免费完整版高清| 婷婷精品国产亚洲av在线| 综合色丁香网| 欧美高清性xxxxhd video| 国产精品亚洲一级av第二区| 久久精品国产清高在天天线| 久久午夜福利片| 国产av麻豆久久久久久久| 国产人妻一区二区三区在| 日本撒尿小便嘘嘘汇集6| 国产探花极品一区二区| 搡老岳熟女国产| 高清毛片免费观看视频网站| 啦啦啦观看免费观看视频高清| 亚洲精品日韩在线中文字幕 | 自拍偷自拍亚洲精品老妇| 男女视频在线观看网站免费| 观看免费一级毛片| 亚洲欧美精品自产自拍| or卡值多少钱| 免费黄网站久久成人精品| 全区人妻精品视频| 午夜a级毛片| 国产一区二区三区在线臀色熟女| 国产淫片久久久久久久久| 亚洲精华国产精华液的使用体验 | 日韩精品青青久久久久久| 我要看日韩黄色一级片| 欧美成人免费av一区二区三区| 一个人看的www免费观看视频| 亚洲18禁久久av| 美女 人体艺术 gogo| 内射极品少妇av片p| 国产精品久久久久久精品电影| 久久午夜亚洲精品久久| 在线国产一区二区在线| 无遮挡黄片免费观看| 美女内射精品一级片tv| 联通29元200g的流量卡| 村上凉子中文字幕在线| 亚洲精品影视一区二区三区av| 中文字幕人妻熟人妻熟丝袜美| 国产女主播在线喷水免费视频网站 | 亚洲一区高清亚洲精品| 国产三级中文精品| 热99re8久久精品国产| 亚洲中文字幕一区二区三区有码在线看| 亚洲国产精品成人综合色| 国产精品亚洲美女久久久| 国产一区二区亚洲精品在线观看| 成人欧美大片| 男女边吃奶边做爰视频| a级一级毛片免费在线观看| 亚洲av美国av| 淫妇啪啪啪对白视频| 99久久精品热视频| 在线播放国产精品三级| 精品一区二区免费观看| 亚洲第一电影网av| 99久久精品热视频| 精品久久久久久久久久久久久| 国产 一区精品| 国产日本99.免费观看| 国产爱豆传媒在线观看| 国产成人aa在线观看| 色哟哟哟哟哟哟| 亚洲精品国产av成人精品 | 国产真实乱freesex| 小说图片视频综合网站| 在线观看午夜福利视频| 亚洲av五月六月丁香网| 男女视频在线观看网站免费| 亚洲av二区三区四区| 欧美激情在线99| 国产精品99久久久久久久久| 在线观看美女被高潮喷水网站| 中文字幕av在线有码专区| 精品久久久久久久久av| 成人欧美大片| 国产精品日韩av在线免费观看| 精品久久久噜噜| 搡女人真爽免费视频火全软件 | 日本五十路高清| 51国产日韩欧美| 亚洲成人久久性| 国产亚洲av嫩草精品影院| 国产高清不卡午夜福利| 99riav亚洲国产免费| av福利片在线观看| 性色avwww在线观看| 国内精品一区二区在线观看| 草草在线视频免费看| 自拍偷自拍亚洲精品老妇| 国产精品爽爽va在线观看网站| 热99re8久久精品国产| 少妇高潮的动态图| 久久精品影院6| 晚上一个人看的免费电影| 国产女主播在线喷水免费视频网站 | 露出奶头的视频| 在线播放国产精品三级| 此物有八面人人有两片| 久久天躁狠狠躁夜夜2o2o| 人人妻人人看人人澡| 91麻豆精品激情在线观看国产| 久久久久性生活片| 99视频精品全部免费 在线| 最近视频中文字幕2019在线8| 国产综合懂色| 免费看a级黄色片| 日本一二三区视频观看| 国产成人一区二区在线| 床上黄色一级片| 国产探花在线观看一区二区| 久久精品综合一区二区三区| 亚洲成av人片在线播放无| 欧美性猛交黑人性爽| 国产激情偷乱视频一区二区| or卡值多少钱| 欧美绝顶高潮抽搐喷水| 国产高清有码在线观看视频| 亚洲色图av天堂| 亚洲婷婷狠狠爱综合网| 亚洲国产高清在线一区二区三| 亚洲欧美清纯卡通| 国产精品一区二区性色av| 麻豆国产av国片精品| 成人av一区二区三区在线看| 中文字幕精品亚洲无线码一区| 日韩一本色道免费dvd| 熟女人妻精品中文字幕| av天堂在线播放| 色视频www国产| 国产真实伦视频高清在线观看| 成人鲁丝片一二三区免费| 国产一区二区三区av在线 | 精品少妇黑人巨大在线播放 | 乱人视频在线观看| 欧美绝顶高潮抽搐喷水| 天天躁日日操中文字幕| 高清午夜精品一区二区三区 | 成熟少妇高潮喷水视频| 久久99热这里只有精品18| 中文字幕人妻熟人妻熟丝袜美| 亚洲美女视频黄频| 日本一本二区三区精品| 国产一区二区在线av高清观看| 免费一级毛片在线播放高清视频| 国产一区二区三区在线臀色熟女| 搞女人的毛片| 男女视频在线观看网站免费| 国产亚洲精品久久久久久毛片| 成人无遮挡网站| 熟女电影av网| 给我免费播放毛片高清在线观看| 国内少妇人妻偷人精品xxx网站| 日韩 亚洲 欧美在线| 欧美+亚洲+日韩+国产| 久久久久性生活片| 少妇被粗大猛烈的视频| 一本精品99久久精品77| 天堂√8在线中文| 日韩一区二区视频免费看| 亚洲无线在线观看| 伊人久久精品亚洲午夜| 国模一区二区三区四区视频| 人妻夜夜爽99麻豆av| 国产黄色视频一区二区在线观看 | 日本一本二区三区精品| 亚洲国产欧美人成| 欧美激情国产日韩精品一区| 天天躁日日操中文字幕| 永久网站在线| 一级黄片播放器| 2021天堂中文幕一二区在线观| 成年女人毛片免费观看观看9| avwww免费| 一本精品99久久精品77| 久久久久久国产a免费观看| 久久亚洲国产成人精品v| 日日干狠狠操夜夜爽| .国产精品久久| 日本一二三区视频观看| 嫩草影视91久久| 久久久国产成人精品二区| 男女下面进入的视频免费午夜| 热99在线观看视频| 午夜爱爱视频在线播放| 日韩欧美精品v在线| 成年av动漫网址| 日韩欧美一区二区三区在线观看| 青春草视频在线免费观看| 狂野欧美激情性xxxx在线观看| 亚洲,欧美,日韩| 亚洲国产精品成人综合色| 高清午夜精品一区二区三区 | 久久久久久久久中文| 午夜亚洲福利在线播放| 国产老妇女一区| 精品一区二区三区视频在线| 国产精品福利在线免费观看| 亚洲图色成人| 天堂√8在线中文| 国产亚洲精品av在线| 日日摸夜夜添夜夜爱| 国产高清不卡午夜福利| 久久久国产成人免费| 最好的美女福利视频网| 亚洲精品乱码久久久v下载方式| 久久久久久久久久黄片| 国产在线男女| 成人午夜高清在线视频| 久久精品91蜜桃| 午夜激情福利司机影院| 男人舔女人下体高潮全视频| 亚洲欧美日韩高清在线视频| or卡值多少钱| 亚洲av二区三区四区| 老司机影院成人| 日日啪夜夜撸| 日本三级黄在线观看| 久久人人爽人人爽人人片va| 亚洲,欧美,日韩| 一区二区三区免费毛片| 在线观看av片永久免费下载| 女的被弄到高潮叫床怎么办| 久久久久久久久久黄片| 尾随美女入室| 日韩欧美精品免费久久| 久久精品人妻少妇| 午夜精品国产一区二区电影 | 免费观看人在逋| 变态另类成人亚洲欧美熟女| 精品人妻熟女av久视频| 精品久久久久久久久亚洲| 观看免费一级毛片| 黄色视频,在线免费观看| 老熟妇乱子伦视频在线观看| 国产淫片久久久久久久久| 亚洲自拍偷在线| 尤物成人国产欧美一区二区三区| 久久久精品94久久精品| 国产精品国产高清国产av| 99久国产av精品国产电影| 自拍偷自拍亚洲精品老妇| 日本在线视频免费播放| 国产精品日韩av在线免费观看| 看免费成人av毛片| 亚洲最大成人手机在线| 村上凉子中文字幕在线| 久久久a久久爽久久v久久| 日韩强制内射视频| 亚洲经典国产精华液单| 亚洲人与动物交配视频| 最新中文字幕久久久久| 日韩一区二区视频免费看| av在线播放精品| 国产极品精品免费视频能看的| 在线看三级毛片| 婷婷六月久久综合丁香| 少妇的逼水好多| 夜夜爽天天搞| 男女啪啪激烈高潮av片| 亚洲不卡免费看| 哪里可以看免费的av片| 少妇熟女aⅴ在线视频| 久久国内精品自在自线图片| 无遮挡黄片免费观看| 国产 一区 欧美 日韩| 嫩草影院精品99| 亚洲成人av在线免费| 中文字幕精品亚洲无线码一区| 国产高清激情床上av| av专区在线播放| 一区二区三区四区激情视频 | 国产精品免费一区二区三区在线| 日日摸夜夜添夜夜添av毛片| 99riav亚洲国产免费| 国产av在哪里看| 午夜久久久久精精品| 最近视频中文字幕2019在线8| 亚洲成人av在线免费| 久久人人爽人人片av| 国产成人91sexporn| 97超碰精品成人国产| 久久天躁狠狠躁夜夜2o2o| 男人舔奶头视频| 尤物成人国产欧美一区二区三区| 久久久精品欧美日韩精品| 在线观看免费视频日本深夜| 色视频www国产| 亚州av有码| 两性午夜刺激爽爽歪歪视频在线观看| 日本欧美国产在线视频| 91av网一区二区| 啦啦啦观看免费观看视频高清| av在线播放精品| 老熟妇仑乱视频hdxx| 精品久久久久久成人av| 亚洲精品国产成人久久av| 一级黄色大片毛片| 国产亚洲欧美98| 国产成年人精品一区二区| 国产成人freesex在线 | 五月伊人婷婷丁香| 人妻丰满熟妇av一区二区三区| 最近中文字幕高清免费大全6| 国产免费一级a男人的天堂| 欧美成人精品欧美一级黄| 九色成人免费人妻av| 三级经典国产精品| 久久精品国产亚洲网站| 在线免费观看的www视频| 熟妇人妻久久中文字幕3abv| 久久久国产成人免费| 精品国产三级普通话版| 午夜免费男女啪啪视频观看 | 婷婷精品国产亚洲av在线| 老师上课跳d突然被开到最大视频| 免费看美女性在线毛片视频| 亚洲电影在线观看av| 99久国产av精品| 亚洲国产欧美人成| 国产老妇女一区| 欧美中文日本在线观看视频| 免费高清视频大片| 网址你懂的国产日韩在线| 久久精品国产亚洲网站| 国产一区亚洲一区在线观看| 久久鲁丝午夜福利片| 可以在线观看的亚洲视频| 国产精品久久久久久精品电影| 亚洲性久久影院| 99在线视频只有这里精品首页| 日韩精品有码人妻一区| 亚洲成av人片在线播放无| 亚洲最大成人手机在线| 男人舔女人下体高潮全视频| 在线国产一区二区在线| 国产亚洲av嫩草精品影院| 久久精品国产自在天天线| 国产在线男女| 禁无遮挡网站| 欧美bdsm另类| 国产精品不卡视频一区二区| 男人和女人高潮做爰伦理| 久久精品夜夜夜夜夜久久蜜豆| 看黄色毛片网站| 男人的好看免费观看在线视频| 精品人妻视频免费看| 可以在线观看毛片的网站| 久久久久国内视频| 18禁黄网站禁片免费观看直播| 午夜视频国产福利| 美女cb高潮喷水在线观看| 亚洲欧美清纯卡通| 精品熟女少妇av免费看| 国产精品美女特级片免费视频播放器| 村上凉子中文字幕在线| 午夜久久久久精精品| 亚洲av免费在线观看| 久久久欧美国产精品| 男女视频在线观看网站免费| 国产极品精品免费视频能看的| 中文字幕精品亚洲无线码一区| 3wmmmm亚洲av在线观看| 亚洲av成人精品一区久久| 国产一区二区在线观看日韩|