基于FPGA的多角度周轉(zhuǎn)箱圖像采集系統(tǒng)設(shè)計(jì)

王永超，劉 超，王 健，羅 晨，劉洪亮，邢玉東，黃大榮

(1.國(guó)網(wǎng)新疆電力有限公司電力科學(xué)研究院，新疆 烏魯木齊 830011； 2.北京南瑞捷鴻科技有限公司，北京 100093；3.重慶交通大學(xué)信息科學(xué)與工程學(xué)院，重慶 400074)

0 引言

近年來(lái)，電表自動(dòng)化檢定系統(tǒng)在全國(guó)各省全面建成并投入運(yùn)作，從根本上改變了傳統(tǒng)的人工作業(yè)方式，大幅降低了人工成本，全面提升了檢定效率及質(zhì)量。同時(shí)，如何有效發(fā)現(xiàn)和排除自動(dòng)生產(chǎn)線的故障、維護(hù)自動(dòng)化生產(chǎn)線的正常工作，已成為目前電網(wǎng)企業(yè)安全生產(chǎn)及管理者特別關(guān)心和亟待解決的問(wèn)題[1-2]。

在電能表整個(gè)生產(chǎn)線上，周轉(zhuǎn)箱作為自動(dòng)化生產(chǎn)系統(tǒng)中的組成部分[3]，不僅是運(yùn)輸裝載環(huán)節(jié)的基礎(chǔ)，還是中轉(zhuǎn)、自動(dòng)檢定和出入庫(kù)等環(huán)節(jié)的關(guān)鍵。然而，隨著周轉(zhuǎn)箱在生產(chǎn)流水線上的長(zhǎng)期使用，箱身的條碼會(huì)逐漸出現(xiàn)褪色、破損、浸漬等情況，使流水線上的條形碼掃描器無(wú)法識(shí)別。這會(huì)影響流水線的正常運(yùn)作。此外，隨著周轉(zhuǎn)箱的重復(fù)使用，老化、腐蝕等因素使得周轉(zhuǎn)箱產(chǎn)生形變。這會(huì)造成自動(dòng)生產(chǎn)線上的機(jī)械臂在抓取電表時(shí)，由于周轉(zhuǎn)箱形變而產(chǎn)生電表相對(duì)位移，導(dǎo)致電表抓取不穩(wěn)而掉表。一旦出現(xiàn)這種情況，必須人為干預(yù)才能恢復(fù)正常工作。因此，提前篩選出有問(wèn)題的周轉(zhuǎn)箱，是減少自動(dòng)生產(chǎn)線人工干預(yù)、進(jìn)一步提高生產(chǎn)效率的有效途徑。

采用人工方式篩選周轉(zhuǎn)箱，不僅成本高、工作量大，而且準(zhǔn)確率低。針對(duì)自動(dòng)生產(chǎn)線對(duì)產(chǎn)品質(zhì)量或者缺陷檢測(cè)的實(shí)時(shí)性和效率的要求，基于機(jī)器視覺(jué)的檢測(cè)技術(shù)是近年來(lái)的研究和應(yīng)用熱點(diǎn)[4-10]。

通過(guò)對(duì)生產(chǎn)現(xiàn)場(chǎng)的分析，在生產(chǎn)線起始位置搭建一個(gè)多角度的周轉(zhuǎn)箱采集系統(tǒng)，用于采集箱身?xiàng)l形碼和箱身形變的圖像，并使用圖像識(shí)別的方法來(lái)篩選出存在問(wèn)題的周轉(zhuǎn)箱。周轉(zhuǎn)箱圖像采集是周轉(zhuǎn)箱識(shí)別篩選的基礎(chǔ)，周轉(zhuǎn)箱圖像的質(zhì)量以及采集速度直接影響識(shí)別的準(zhǔn)確度與效率。因此，設(shè)計(jì)一個(gè)高效的周轉(zhuǎn)箱采集系統(tǒng)對(duì)整個(gè)識(shí)別系統(tǒng)具有重大意義。

本文針對(duì)周轉(zhuǎn)箱箱身有效信息的獲取需求，設(shè)計(jì)出一套高效的多角度圖像采集系統(tǒng)，實(shí)現(xiàn)了在現(xiàn)場(chǎng)可編程門(mén)陣列(field programmable gate array,FPGA)開(kāi)發(fā)平臺(tái)上進(jìn)行多路圖像采集控制和高效傳輸?shù)墓δ堋?/p>

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)設(shè)計(jì)方案

系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)框圖

由于系統(tǒng)需要采集周轉(zhuǎn)箱的前、后側(cè)條碼圖像，以及能表征周轉(zhuǎn)箱形變信息的圖像，設(shè)計(jì)了一個(gè)多角度周轉(zhuǎn)箱采集系統(tǒng)，以獲取圖像識(shí)別需要的圖像信息。系統(tǒng)設(shè)計(jì)三個(gè)檢測(cè)點(diǎn)，在周轉(zhuǎn)箱達(dá)到檢測(cè)點(diǎn)時(shí)，分別觸發(fā)圖像采集器1～3，以采集不同角度的周轉(zhuǎn)箱圖像，并在緩存后發(fā)送給計(jì)算機(jī)作識(shí)別處理。

1.2 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

多角度周轉(zhuǎn)箱圖像采集系統(tǒng)設(shè)計(jì)框圖如圖2所示。

圖2 多角度周轉(zhuǎn)箱圖像采集系統(tǒng)設(shè)計(jì)框圖

系統(tǒng)采用FPGA作為硬件開(kāi)發(fā)設(shè)計(jì)平臺(tái)。相較于其他控制器，F(xiàn)PGA不僅能以靈活的現(xiàn)場(chǎng)可編程特性實(shí)現(xiàn)系統(tǒng)定制，而且其內(nèi)部模塊的并行執(zhí)行功能可提高系統(tǒng)的運(yùn)行速度。此外，F(xiàn)PGA還支持多種接口類(lèi)型，開(kāi)發(fā)人員可以根據(jù)需求實(shí)現(xiàn)不同接口的通信協(xié)議，把外圍電路的接口模塊集成在FPGA內(nèi)部，以提高整個(gè)系統(tǒng)的集成度和穩(wěn)定性。本系統(tǒng)的所有控制部分都在FPGA上實(shí)現(xiàn)。FPGA接收到檢測(cè)點(diǎn)的周轉(zhuǎn)箱到達(dá)信息后，通過(guò)集成電路(inter-integrated circuit,IIC)接口對(duì)對(duì)應(yīng)的圖像采集器進(jìn)行拍照控制。雙口隨機(jī)存取存儲(chǔ)器(random access memory,RAM)實(shí)現(xiàn)對(duì)采集圖像的緩存和傳輸速度匹配，再經(jīng)端口物理層(physical,PHY)控制模塊，將圖象數(shù)據(jù)通過(guò)以太網(wǎng)與遠(yuǎn)端計(jì)算機(jī)實(shí)現(xiàn)用戶(hù)數(shù)據(jù)報(bào)協(xié)議(user datagram protocol,UDP)的高速通信。

1.2.1 檢測(cè)控制模塊

本系統(tǒng)設(shè)置三個(gè)周轉(zhuǎn)箱檢測(cè)點(diǎn)。檢測(cè)點(diǎn)采用漫反射光電開(kāi)關(guān)傳感器E3Z-LS61-TB來(lái)檢測(cè)周轉(zhuǎn)箱位置。該傳感器感應(yīng)距離為30 cm內(nèi)可調(diào)。檢測(cè)控制模塊在接收到傳感器信號(hào)后，產(chǎn)生兩位輸出，對(duì)IIC控制模塊中的多路信號(hào)進(jìn)行使能操作。

1.2.2 IIC控制模塊設(shè)計(jì)

系統(tǒng)的圖像傳感器采用的是三個(gè)OV5640攝像頭模塊。該CMOS圖像傳感器圖像陣列大小為2 592×1 944，幀率為15 fps。OV5640支持多種清晰度視頻和圖像采集，支持多種圖像數(shù)據(jù)輸出格式，包括RGB565/555/444、YUV422/420、YCbCr422以及JPEG格式。OV5640模塊由于內(nèi)置微處理器，可實(shí)現(xiàn)自動(dòng)曝光控制、自動(dòng)白平衡等功能，也可對(duì)圖像亮度、色彩飽和度、gamma曲線等進(jìn)行調(diào)節(jié)。這些功能大大提高了獲取圖像的質(zhì)量。在外部接口方面，OV5640數(shù)據(jù)接口采用數(shù)字視頻端口(digital video port,DVP)總線，使用IIC總線實(shí)現(xiàn)對(duì)其內(nèi)部的寄存器的訪問(wèn)。

設(shè)計(jì)中，IIC總線需要控制三路OV5640分別進(jìn)行工作。根據(jù)OminVision公司給出的OV5640用戶(hù)手冊(cè)顯示，該設(shè)備地址都是0x78。故采用多路IIC總線設(shè)計(jì)，以檢測(cè)控制模塊的輸出來(lái)控制三路IIC總線的使能端。IIC控制模塊設(shè)計(jì)框圖如圖3所示。

圖3 IIC控制模塊設(shè)計(jì)框圖

OV5640圖像傳感器的初始化模塊上電時(shí)序如圖4所示。

圖4 初始化模塊上電時(shí)序圖

IIC控制模塊中的總線使能控制模塊，用于控制三路總線與IIC模塊的連接。根據(jù)檢測(cè)結(jié)果，每次上電均初始化一個(gè)圖像傳感器。

首先拉低Reset引腳，復(fù)位OV5640，20 ms后拉高Reset引腳，初始化傳感器內(nèi)部寄存器設(shè)置，設(shè)置工作模式為2 592×1 944壓縮格式拍照。三路圖像采集器共享DVP總線輸出圖像。

OV6540初始化設(shè)置為拍照模式后處于節(jié)電狀態(tài)。每次拍照前，圖像傳感器要從節(jié)電模式喚醒，并在拍照完成后回到節(jié)電模式。圖像采集器拍照流程如圖5所示。

圖5 圖像采集器拍照流程圖

1.2.3 雙口RAM模塊

為了解決FPGA內(nèi)部異步時(shí)鐘域之間的數(shù)據(jù)傳輸?shù)膯?wèn)題，并考慮到后續(xù)系統(tǒng)的擴(kuò)展，本系統(tǒng)采用雙口RAM來(lái)解決模塊之間數(shù)據(jù)傳輸速度匹配和圖像數(shù)據(jù)緩存共享的問(wèn)題。雙口RAM有兩套獨(dú)立的數(shù)據(jù)線、地址線和讀寫(xiě)控制線，允許兩個(gè)不同的模塊同時(shí)對(duì)RAM內(nèi)的數(shù)據(jù)進(jìn)行訪問(wèn)[11]。本系統(tǒng)中的雙口RAM，一個(gè)端口用于緩存圖像數(shù)據(jù)，另一個(gè)端口用于圖像傳輸。

1.2.4 介質(zhì)訪問(wèn)控制模塊

采用千兆以太網(wǎng)來(lái)進(jìn)行數(shù)據(jù)傳輸，不僅保證了本系統(tǒng)的高清圖像的傳輸，還為下一步系統(tǒng)擴(kuò)展做好高速數(shù)據(jù)傳輸?shù)臏?zhǔn)備。千兆以太網(wǎng)數(shù)據(jù)傳輸采用的TCP/IP協(xié)議，不僅會(huì)消耗大量的FPGA資源，同時(shí)會(huì)增加設(shè)計(jì)難度?？紤]到系統(tǒng)對(duì)數(shù)據(jù)傳輸?shù)母咝Ш蛯?shí)時(shí)性要求，設(shè)計(jì)時(shí)采用傳輸效率的非面向連接的UDP/IP協(xié)議，以提供點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)傳輸服務(wù)[12-14]。

介質(zhì)訪問(wèn)控制(media access control,MAC)模塊設(shè)計(jì)框圖如圖6所示。在幀發(fā)送時(shí)，MAC模塊從RAM中讀取數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行封裝；添加UDP信息封裝成UDP數(shù)據(jù)包，并添加以太幀信息，同時(shí)，將封裝成MAC幀的數(shù)據(jù)通過(guò)GMII總線口發(fā)送至物理層PHY芯片。物理層的實(shí)現(xiàn)采用Realtek公司的RTL8211EG芯片，支持10 Mbit/s、100 Mbit/s、1 000 Mbit/s三種速率，與MAC層接口有GMII、RGMII、MII三種類(lèi)型。

圖6 MAC模塊設(shè)計(jì)框圖

發(fā)送圖像數(shù)據(jù)時(shí)，由MAC模塊讀取雙口RAM中緩存的圖像數(shù)據(jù)，MAC幀內(nèi)數(shù)據(jù)長(zhǎng)度不能超過(guò)1 500 B。俞鵬煒等[15]經(jīng)過(guò)試驗(yàn)證明，當(dāng)傳輸數(shù)據(jù)長(zhǎng)度為1 400 B時(shí)，傳輸平均速率可達(dá)最大，且?guī)捓寐首罡?。所以設(shè)置每次MAC模塊從RAM中讀取1 382 B的數(shù)據(jù)，并進(jìn)行發(fā)送。

2 系統(tǒng)測(cè)試

本文以國(guó)網(wǎng)新疆電力有限公司電力科學(xué)研究院計(jì)量生產(chǎn)自動(dòng)化系統(tǒng)現(xiàn)場(chǎng)工作環(huán)境為例，進(jìn)行系統(tǒng)有效性的測(cè)試。在電表自動(dòng)生產(chǎn)傳輸線上，生產(chǎn)線的條形碼識(shí)別器和機(jī)械臂會(huì)在多個(gè)生產(chǎn)環(huán)節(jié)中對(duì)周轉(zhuǎn)箱進(jìn)行條形碼識(shí)別和箱內(nèi)電表抓取。根據(jù)現(xiàn)場(chǎng)實(shí)際情況，周轉(zhuǎn)箱在長(zhǎng)期使用過(guò)程中，存在周轉(zhuǎn)箱箱身?xiàng)l形碼殘缺、不平整、污損和周轉(zhuǎn)箱變形等現(xiàn)象。為完成多角度采集圖像，本系統(tǒng)在設(shè)計(jì)過(guò)程中使用QuartusII12.0軟件進(jìn)行設(shè)計(jì)，使用Verilog語(yǔ)言在FPGA硬件開(kāi)發(fā)平臺(tái)上進(jìn)行代碼設(shè)計(jì)和仿真驗(yàn)證，并對(duì)整個(gè)系統(tǒng)的硬件和軟件模塊進(jìn)行了整體調(diào)試。最后，F(xiàn)PGA通過(guò)以太網(wǎng)發(fā)送的圖像數(shù)據(jù)，由計(jì)算機(jī)安裝的第三方軟件進(jìn)行接收和顯示。

經(jīng)驗(yàn)證，本系統(tǒng)可根據(jù)光電傳感器感應(yīng)周轉(zhuǎn)箱位置，由FPGA控制相應(yīng)圖像傳感器工作，并將獲得的圖像數(shù)據(jù)緩存后經(jīng)千兆以太網(wǎng)上傳到計(jì)算機(jī)，以實(shí)現(xiàn)多角度實(shí)時(shí)采集周轉(zhuǎn)箱圖像的目標(biāo)。

目前，該系統(tǒng)已在新疆電力科學(xué)研究院計(jì)量自動(dòng)化生產(chǎn)現(xiàn)場(chǎng)搭建完成，并運(yùn)用到國(guó)網(wǎng)安徽電力公司計(jì)量中心、國(guó)網(wǎng)鄭州電力公司計(jì)量中心等實(shí)際場(chǎng)景中。實(shí)際使用證明，系統(tǒng)能持續(xù)穩(wěn)定地采集圖像并上傳到上位機(jī)。

3 結(jié)束語(yǔ)

本文論述了基于FPGA的多角度周轉(zhuǎn)箱圖像采集系統(tǒng)設(shè)計(jì)，詳細(xì)介紹了系統(tǒng)設(shè)計(jì)方案、硬件模塊架構(gòu)及其實(shí)現(xiàn)以及外圍器件的選擇。試驗(yàn)證明：本系統(tǒng)能采用分時(shí)控制的方法，從多個(gè)角度采集2 592×1 944的高質(zhì)量周轉(zhuǎn)箱圖像，并能以510 Mbit/s的速度將圖像數(shù)據(jù)傳輸?shù)接?jì)算機(jī)，用于計(jì)算機(jī)對(duì)圖像的識(shí)別處理。