馬鈴薯動態(tài)分級系統(tǒng)中多目相機同步采集方法

湯全武，何昊瀚，楊 燕，朱 赫，郭錦程，張?zhí)炀S

(寧夏大學物理與電子電氣工程學院，寧夏 銀川 750021)

0 引言

我國馬鈴薯種植面積和產(chǎn)量均居世界首位，但目前馬鈴薯品質(zhì)檢測及分級多處于人工主觀篩選階段，無法滿足工業(yè)生產(chǎn)需要。因此，研究提出了基于高光譜成像技術(shù)的馬鈴薯自動分級系統(tǒng)，采用高光譜獲取包含馬鈴薯信息的多幅圖像，利用光譜圖像處理技術(shù)實現(xiàn)馬鈴薯的快速無損分級[1-3]。在前人工作基礎(chǔ)上，需研究基于多目視覺實現(xiàn)馬鈴薯動態(tài)分級的新方法。由于馬鈴薯在檢測過程中一直處于運動狀態(tài)，因此研究的關(guān)鍵前提是保證多部相機能夠連續(xù)同步地采集到馬鈴薯的外部圖像。

相機同步采集是指在外部時序的控制下實現(xiàn)多相機的同步曝光[4-6]。溫小艷等[6]設(shè)計了基于FPGA的雙目視覺同步采集系統(tǒng)，解決了手術(shù)導航系統(tǒng)中的兩相機不同步問題。林冬梅等[7]采用千兆以太網(wǎng)作為傳輸總線接口，搭建了雙相機圖像實時采集系統(tǒng)。馬強等[8]設(shè)計了一種基于PCI總線接口的設(shè)計方法。姜廣文等[9]設(shè)計了一種多相機外觸發(fā)的方式，采用USB 2.0接口傳輸圖像數(shù)據(jù)，相機在同步控制軟件作用下，實現(xiàn)多個相機同步采集處理系統(tǒng)。也有不少研究者采用GPS授時同步電路控制相機同步曝光，并且達到了微秒級別的精度[10-11]。但上述研究方法均存在一定的局限性，如基于FPGA的同步策略需要較長的開發(fā)周期；采用PCI、USB等傳輸方式速度較慢，且限制因素較多；基于GPS授時的同步策略精度較高，但易受到現(xiàn)場環(huán)境干擾。

本文采用3個CCD相機為基本采集單元，以STM32F103系列單片機為同步信號控制器，通過合理設(shè)置STM32中的定時器產(chǎn)生3路頻率與占空比相同的PWM脈沖信號。產(chǎn)生的PWM信號經(jīng)放大電路放大，達到相機采用Line0接口進行外觸發(fā)時的高電平電壓值，實現(xiàn)對3臺CCD相機的同步控制與觸發(fā)。由于相機配套軟件只能實現(xiàn)單個相機的采集工作，需要在軟件的基礎(chǔ)上再次開發(fā)設(shè)計實現(xiàn)3臺相機的同步采集和圖像同步存儲功能的軟件系統(tǒng)[8]。為使得相機采集的圖像能夠快速傳輸至計算機進行識別，保證馬鈴薯分級系統(tǒng)的實時性，相機用千兆網(wǎng)線與帶有4通道千兆網(wǎng)卡的主機相連，完成整個圖像采集的工作流程。

1 同步采集系統(tǒng)方案設(shè)計

馬鈴薯動態(tài)分級系統(tǒng)擬通過3臺相機獲得的同步圖像序列融合得出馬鈴薯完整的表面信息，并利用該信息進行后續(xù)馬鈴薯等級的分類。馬鈴薯動態(tài)分級系統(tǒng)的整體流程如圖1所示，其中馬鈴薯表面圖像采集是整個方案的前提。

圖1 馬鈴薯動態(tài)分級系統(tǒng)流程Fig.1 Flow chart of potato dynamic grading system

多目相機同步采集整體方案示意如圖2所示，其中包含3臺由中國大恒圖像公司生產(chǎn)的CCD工業(yè)數(shù)字相機，型號為MER-125-30GC-P，分辨率1 292×964，最大幀率30幀/s，數(shù)據(jù)傳輸接口支持千兆以太網(wǎng)且具有外部觸發(fā)采集功能；1臺惠普計算機，8 GB運行內(nèi)存，Intel Xeon E5 CPU，主頻3.50 GHz；1塊4通道千兆網(wǎng)卡，型號為Intel-EXPI-9404-PTL；4根千兆網(wǎng)線，用于實現(xiàn)工業(yè)相機和計算機之間的圖像數(shù)據(jù)傳輸，以及相機參數(shù)的控制；德國SICK公司的光電傳感器1件，型號為WL-3P430，作為單片機產(chǎn)生觸發(fā)脈沖的外部信號；單片機開發(fā)板1塊，單片機芯片型號為STM32F103R6，用于產(chǎn)生3路同步觸發(fā)脈沖，經(jīng)放大電路放大之后控制3部相機同步工作。

圖2 多目相機同步采集整體方案Fig.2 Overall scheme design of multi camera synchronous acquisition

2 系統(tǒng)同步控制模塊設(shè)計

以STM32F103R6單片機作為同步信號控制器，將3臺相機的觸發(fā)模式設(shè)置成外觸發(fā)采集模式，產(chǎn)生的同步脈沖信號再經(jīng)放大電路放大后，實現(xiàn)對3臺相機的同步觸發(fā)。

2.1 同步信號控制器設(shè)計

同步信號控制器由STM32F103R6單片機、復位電路、按鍵電路、PG12864液晶顯示屏、放大電路及計算機等組成，另外包括1個光電傳感器。同步信號控制器設(shè)計如圖3所示。

圖3 同步信號控制器設(shè)計Fig.3 Design of synchronous signal controller

STM32F103R6本身帶有1個高級定時器(TIM1)和3個16位的通用定時器(TIM2TIM3TIM4)。定時器通過設(shè)置均可產(chǎn)生一路或多路PWM信號。本同步控制設(shè)計就是采用STM32自帶的通用定時器來產(chǎn)生3路頻率與占空比相同的PWM信號，實現(xiàn)對3個相機的同步控制。

2.2 同步觸發(fā)信號

系統(tǒng)采用SICK公司的WL-3P430型光電傳感器模塊作為單片機產(chǎn)生觸發(fā)脈沖的外部信號，利用STM32單片機編程產(chǎn)生同步觸發(fā)脈沖，用于控制3臺相機同步工作。

光電傳感器檢測傳送帶上的馬鈴薯是否到達采集范圍，當接收到馬鈴薯到達的信號時，以STM32為主控的信號發(fā)生器產(chǎn)生周期相同且同步的脈沖觸發(fā)信號，該觸發(fā)信號可與相機的1號插針Line0+口相連接，控制相機開始曝光。為保證3臺相機能夠連接在同一臺計算機上正常工作，采用了1塊4通道千兆網(wǎng)卡及3條千兆網(wǎng)線來解決普通計算機只支持單個網(wǎng)絡(luò)的問題，實現(xiàn)3臺相機同時工作的具體流程如圖4所示。

圖4 3臺相機同步工作流程Fig.4 Work flow of three cameras synchronization

3 系統(tǒng)同步采集模塊設(shè)計

3.1 相機同步曝光

相機同步曝光是實現(xiàn)圖像同步采集的關(guān)鍵。選用的大恒MER系列相機同時具有軟觸發(fā)和外觸發(fā)控制相機曝光的功能，MER系列相機采用8插針I(yè)/O接口，其中1號插針(Line0+)為接收外部觸發(fā)信號的端口。當輸入電平>2.8 V時，被認為屬于有效觸發(fā)信號，且觸發(fā)信號類型可根據(jù)需求自由設(shè)定為上升沿觸發(fā)或下降沿觸發(fā)。當相機接收到有效觸發(fā)信號時，便開始曝光，通過控制有效觸發(fā)信號的產(chǎn)生周期，相機便可以根據(jù)系統(tǒng)所需采集頻率進行圖像的采集。

MER-125-30GC-P相機在外觸發(fā)模式下的工作時序如圖5所示。其中，曝光延遲時間可根據(jù)需要在16～10 000 000 μs進行調(diào)整。當曝光積分完成后即可進行數(shù)據(jù)傳輸，圖像數(shù)據(jù)的傳輸存在短暫的延遲，延遲時間約10 μs，在經(jīng)過短暫的傳輸延遲后圖像數(shù)據(jù)可通過網(wǎng)線傳送至計算機中，完成由觸發(fā)到采集的流程。

圖5 相機在外觸發(fā)模式下的工作時序Fig.5 Working sequence of camera in external trigger mode

3.2 圖像采集及存儲

實現(xiàn)3臺相機可以同步的采集，并完成同步存儲功能，為進行后續(xù)馬鈴薯圖像的識別處理和快速分類奠定基礎(chǔ)是本項目中最為核心重要的功能，因此在大恒提供的配套Galaxy Viewer采集軟件與GigE IP Configurator輔助工具及MERCURY軟件包基礎(chǔ)上，設(shè)計馬鈴薯圖像采集系統(tǒng)，實現(xiàn)3臺相機能夠同步采集馬鈴薯圖像，并且將采集到的圖像保存至指定文件夾。

系統(tǒng)軟件程序的主要功能如下。首先，初始化系統(tǒng)，配置系統(tǒng)與相機間的IP地址，使得二者之間確保通信及實現(xiàn)數(shù)據(jù)傳輸，連接好相機后對相機的相關(guān)參數(shù)進行設(shè)置，做好采集圖像的準備工作。接下來，在進行同步采集前，第1次打開軟件進行采集時，需要先設(shè)置3臺相機采集圖像的存儲路徑，否則采集的圖像無法保存使得系統(tǒng)無法運行。然后，在選擇連續(xù)觸發(fā)模式后進行圖像的同步采集。最后，停止采集退出程序。同步采集軟件界面如圖6所示。

圖6 系統(tǒng)采集工作畫面Fig.6 System acquisition work screen

4 試驗測試及結(jié)果

在對相機進行同步測試之前，首先需要調(diào)整并固定3部相機的工作距離及其分辨率?？紤]到3臺相機分別從馬鈴薯的正上方、左側(cè)及右側(cè)3個方向進行采集，3個相機同步拍攝的馬鈴薯圖像會有部分的重疊視場，在保證獲取到完整馬鈴薯表面圖像的基礎(chǔ)上，可適當減小視場重疊，提高后期圖像數(shù)據(jù)融合及處理的效率。因此，采集系統(tǒng)中3臺相機的工作距離約距離待測馬鈴薯10～15 cm，可根據(jù)現(xiàn)場具體情況適當更改，合適地調(diào)整3臺相機的空間相對位置，最大獲得馬鈴薯圖像完整表面信息。為同時兼顧圖像清晰度及數(shù)據(jù)處理效率，將采集圖像的分辨率設(shè)定為620像素×480像素。3臺相機的實際位置分別如圖7所示。

圖7 相機空間擺放位置Fig.7 Camera space placement

4.1 相機的同步性能測試

雖然3臺相機可同步采集到運動的馬鈴薯圖像，但效果并不直觀，需要用更直觀的方式來測試其同步性能。測試方法是用3臺相機同步采集正在運動的視頻畫面和計時的秒表圖像來測試相機的同步性能。

首先測試3臺相機可以到達的最高同步幀率，將3臺相機置于同一方向，如圖8所示。

圖8 相機測試擺放位置Fig.8 Camera test placement

將3臺相機同時對正在播放的視頻進行圖像采集，并保持觸發(fā)脈沖的幀率和視頻幀率一致。逐漸提高視頻的播放幀率，直到3臺相機采集的圖像出現(xiàn)不同步，以測試3臺相機的最高同步幀率。為保證測試的準確性，測試視頻采用2004年雅典奧運會110 m欄決賽錄像。如圖9所示為視頻幀率12幀/s時，某一時刻3臺相機所采集到的圖像。

圖9 某一時刻拍攝視頻采集圖像Fig.9 Video capture image at a certain moment

測試結(jié)果表明，3臺相機的最高同步幀率能夠達到12幀/s。當不斷地提高視頻幀率和觸發(fā)脈沖頻率時，3臺相機的同步性能表現(xiàn)如圖10所示。

圖10 相機同步性能曲線Fig.10 Camera synchronization performance curve

當圖像的采集幀率<12幀/s時，3臺相機能夠持續(xù)穩(wěn)定地進行同步采集。采集幀率由13幀/s上升至19幀/s的過程中，3臺相機保持同步采集的時間出現(xiàn)迅速下降(由45 s下降到6 s)，當系統(tǒng)的工作時間超過最大同步采集時間時，3臺相機采集到的圖像已經(jīng)處于完全的不同步狀態(tài)。采集幀率為23幀/s時，3臺相機已經(jīng)完全不能進行同步采集。試驗結(jié)果表明，當觸發(fā)脈沖的頻率>12 Hz時，隨著觸發(fā)頻率的增高，圖像采集出現(xiàn)的丟幀現(xiàn)象也更為嚴重。

4.2 結(jié)果分析

由試驗測試結(jié)果可知，3臺相機最高能在幀率為12幀/s的外觸發(fā)信號下進行圖像的同步采集工作。在馬鈴薯動態(tài)分級系統(tǒng)中，整個圖像的采集及處理處于實時狀態(tài)，要求單個馬鈴薯從圖像的采集、數(shù)據(jù)處理到最后分級完成的整體時間不超過0.2 s，即圖像的采集頻率為5次/s。而圖像采集僅僅是系統(tǒng)前端的一部分，因此圖像的采集頻率也不宜過高，否則將會導致馬鈴薯分級的失敗。

3臺相機的同步幀率已經(jīng)完全能夠滿足當前系統(tǒng)的需求，并且預留出了較大的提升空間，當系統(tǒng)的分級速度提高時，該系統(tǒng)仍然能夠持續(xù)穩(wěn)定的進行工作，具有較好的魯棒性。多相機同步采集馬鈴薯圖像的實現(xiàn)，解決了馬鈴薯動態(tài)分級系統(tǒng)中的關(guān)鍵問題，為后續(xù)的圖像分類提供了完整的數(shù)據(jù)。

5 結(jié)束語

針對馬鈴薯動態(tài)分級系統(tǒng)中的圖像同步采集問題，提出了一種基于千兆以太網(wǎng)的三目相機同步采集方案。方案通過1塊4通道千兆網(wǎng)卡將計算機和3臺相機相連接，并基于大恒相機的軟件開發(fā)工具包(Software Development Kit，SDK)開發(fā)了3部相機同步采集及自動存儲軟件，實現(xiàn)圖像的同步采集及自動存儲。在當前計算機的配置下，同步幀率達12幀/s，解決了分級系統(tǒng)中存在的圖像同步采集問題?；跈C器視覺的馬鈴薯自動分級系統(tǒng)在工業(yè)生產(chǎn)中具有廣闊的應用前景，本文設(shè)計的多相機同步采集方案，解決了馬鈴薯自動分級系統(tǒng)中的關(guān)鍵問題，為馬鈴薯自動分級系統(tǒng)的工業(yè)化打下了堅實的基礎(chǔ)。