基于FPGA+DSP多目標(biāo)質(zhì)心定位系統(tǒng)的研究與實(shí)現(xiàn)*

周光宇, 程 萍

(寧波大紅鷹學(xué)院，浙江 寧波 315175)

隨著計(jì)算機(jī)計(jì)算能力的提高以及成本的降低，數(shù)字圖像處理的應(yīng)用范圍從工業(yè)檢測(cè)到醫(yī)療成像等呈爆炸式增長(zhǎng)[1].質(zhì)心定位目的是提取圖像中目標(biāo)的幾何形狀的中心，是圖像處理中一種重要的處理技術(shù).質(zhì)心定位在機(jī)器視覺(jué)測(cè)量系統(tǒng)中應(yīng)用比較多，尤其是在一些測(cè)角裝置中，可通過(guò)測(cè)量多個(gè)合作目標(biāo)在圖像中的位置關(guān)系和機(jī)械位置關(guān)系測(cè)出某些裝置的絕對(duì)角度.基于計(jì)算機(jī)的圖像處理方法存在著局限性，尤其是計(jì)算速度和使用環(huán)境方面的局限性[2].因此，本文提出使用FPGA+DSP作為圖像處理的實(shí)現(xiàn)平臺(tái)，考慮許多圖像處理本身是并行的， FPGA也是并行的，利用DSP強(qiáng)大的計(jì)算能力，快速地實(shí)現(xiàn)各種復(fù)雜圖像FPGA和DSP都是可編程的處理算法，具有小型、低功耗和算法靈活等特點(diǎn).

1 系統(tǒng)方案設(shè)計(jì)

當(dāng)一幅圖像中只有一個(gè)目標(biāo)時(shí)，質(zhì)心定位算法比較簡(jiǎn)單，可根據(jù)閾值分出圖像的前景及目標(biāo)，然后再根據(jù)式(1)進(jìn)行計(jì)算.

(1)

計(jì)算結(jié)果就是目標(biāo)的質(zhì)心坐標(biāo)[3].當(dāng)一幅圖像中存在多個(gè)目標(biāo)時(shí)，上述方式并不能滿足，此時(shí)需要分割出各個(gè)目標(biāo)，然后在目標(biāo)窗口中再按式(1)分別求出各個(gè)目標(biāo)的質(zhì)心坐標(biāo).本文利用多種算法實(shí)現(xiàn)質(zhì)心定位：(1) 進(jìn)行直方圖統(tǒng)計(jì)；(2) 進(jìn)行自適應(yīng)閾值選擇，根據(jù)自適應(yīng)閾值進(jìn)行圖像二值化，分出圖像的目標(biāo)和背景；(3) 連通域標(biāo)記，分別標(biāo)記出各個(gè)目標(biāo)點(diǎn)所在區(qū)域；(4) 質(zhì)心求解，在各個(gè)連通域中根據(jù)式(1)求解各個(gè)目標(biāo)點(diǎn)的質(zhì)心坐標(biāo).其中算法(2)在DSP中實(shí)現(xiàn)，其他算法在FPGA中實(shí)現(xiàn).

系統(tǒng)的硬件電路原理如圖1所示，采用Base模式CameraLink接口黑白相機(jī)，F(xiàn)PGA接收相機(jī)的圖像數(shù)據(jù).完成直方圖統(tǒng)計(jì)并將結(jié)果存儲(chǔ)在片內(nèi)雙端口RAM中，同時(shí)將該幀圖像數(shù)據(jù)存儲(chǔ)到SRAM中，DSP讀取雙端口RAM中的直方圖統(tǒng)計(jì)結(jié)果并完成自適應(yīng)閾值選擇，將閾值傳輸給FPGA，F(xiàn)PGA將根據(jù)閾值進(jìn)行圖像二值化，然后完成連通域標(biāo)記，計(jì)算目標(biāo)點(diǎn)的質(zhì)心坐標(biāo).

2 算法的研究與實(shí)現(xiàn)

2.1 直方圖統(tǒng)計(jì)算法

圖像直方圖由于其計(jì)算代價(jià)較小，且具有圖像平移、旋轉(zhuǎn)、縮放不變性等優(yōu)點(diǎn)，廣泛應(yīng)用于圖像處理的各個(gè)領(lǐng)域，特別是灰度圖像的閾值分割、基于顏色的圖像檢索，以及圖像分類[4-5].在FPGA中建立直方圖，需要對(duì)每個(gè)像素值累計(jì)計(jì)算，可以利用雙端口RAM來(lái)實(shí)現(xiàn).將每個(gè)像素點(diǎn)的灰度值作為雙端口RAM的地址線，統(tǒng)計(jì)當(dāng)前像素點(diǎn)的灰度時(shí)，首先讀出地址為該灰度值的存儲(chǔ)單元，然后加1，再把總和寫回存儲(chǔ)單元.在讀寫RAM時(shí)使用4倍像素時(shí)鐘的讀寫時(shí)鐘頻率，雙端口RAM的一個(gè)端口用來(lái)讀存儲(chǔ)器，一個(gè)端口用來(lái)寫結(jié)果.流程圖如圖2所示，統(tǒng)計(jì)完一幀圖像的直方圖，通知DSP讀取直方圖統(tǒng)計(jì)結(jié)果，當(dāng)DSP讀取完成后，雙端口RAM清零，開(kāi)始統(tǒng)計(jì)下一幀.DSP在場(chǎng)消隱時(shí)讀取直方圖統(tǒng)計(jì)結(jié)果，并不會(huì)存在時(shí)序上的混亂.

2.2 自適應(yīng)閾值算法

自適應(yīng)閾值算法的目的是根據(jù)像素值把圖像分割成兩種類型.當(dāng)從背景中分離對(duì)象時(shí)，直方圖通常是雙峰值的，峰值表示對(duì)象和背景像素值的分布.如果峰值被明顯地分開(kāi)，而且沒(méi)有重疊，選擇峰值之間的合適閾值.但是大部分情況是峰值之間有重疊，而且峰谷也不是平滑的，有噪聲的，因此一般情況下是為直方圖擬合一條曲線.本文選擇OTSU提出的著名的最大類間方差法：背景和目標(biāo)之間的類間方差越大，說(shuō)明構(gòu)成圖像的兩部分的差別越大，當(dāng)部分目標(biāo)錯(cuò)分為背景，或部分背景錯(cuò)分為目標(biāo)，都會(huì)導(dǎo)致兩部分差別變小.因此，使類間方差最大的分割意味著錯(cuò)分概率最小.最大類間方差的基本思想是使用一個(gè)閾值將整個(gè)圖像數(shù)據(jù)分成兩類，假如兩類的類間方差最大，那么這個(gè)閾值就是最佳閾值[6-9].

假設(shè)使用一個(gè)閾值T，將灰度級(jí)[1L]分為兩類[1T-1]和[TL]，則有

2.3 連通域標(biāo)記算法及改進(jìn)

根據(jù)自適應(yīng)閾值算法求出的閾值二值化圖像，將其分為目標(biāo)和背景.通過(guò)給每一組連通域內(nèi)的像素賦予一個(gè)唯一的標(biāo)號(hào)，將一個(gè)區(qū)域內(nèi)的像素分離出來(lái)，從而提取該區(qū)域的特征[8-10].連通域標(biāo)注有若干不同的方法，比較成熟的是采取基于區(qū)域增長(zhǎng)的思想，流程圖如圖3所示.預(yù)先將整幀圖像存儲(chǔ)在幀緩存中，然后進(jìn)行逐行掃描，找到未標(biāo)記區(qū)域的第一點(diǎn)，標(biāo)記“1”后檢查該點(diǎn)的八鄰域點(diǎn)并標(biāo)記滿足連通性要求且尚未標(biāo)記的點(diǎn)，同時(shí)將新增的標(biāo)記點(diǎn)記錄下來(lái)作為“區(qū)域增長(zhǎng)”的種子點(diǎn).在后續(xù)的標(biāo)記過(guò)程中，不斷從記錄種子點(diǎn)的隊(duì)列中取出一個(gè)種子，重復(fù)操作直到記錄種子點(diǎn)的隊(duì)列為空，此時(shí)一個(gè)連通域標(biāo)記結(jié)束.接著標(biāo)記下個(gè)區(qū)域，標(biāo)號(hào)加“1”，直到圖像中所有連通域都被標(biāo)記.本文根據(jù)合作目標(biāo)的特點(diǎn)，提出一種單次掃描算法.從圖像的左上角開(kāi)始掃描，隨著光柵掃描的進(jìn)行，將已標(biāo)注像素的標(biāo)號(hào)傳播給與該像素連通的像素，如圖4所示.

光柵每遇到一個(gè)目標(biāo)像素時(shí)，都對(duì)其左邊和上邊的像素進(jìn)行檢查，如果它們都是背景像素，則將該目標(biāo)像素標(biāo)注為一個(gè)新的標(biāo)號(hào)；如果它們中只有一個(gè)或者兩個(gè)都是已標(biāo)注A，則將該目標(biāo)像素標(biāo)注為A；如果其上方的像素標(biāo)注號(hào)為B，其左方的像素標(biāo)注為C，則將該目標(biāo)點(diǎn)標(biāo)記為B，同時(shí)將其左方的像素重新標(biāo)記為B.當(dāng)一幀圖像掃描完成時(shí)，目標(biāo)點(diǎn)也就標(biāo)記完成了.給予區(qū)域增長(zhǎng)的方法的局限性在于需要對(duì)圖像進(jìn)行隨機(jī)訪問(wèn)，要求將整幅圖像存儲(chǔ)在片內(nèi)幀緩存中.而本文提出的方法只需緩存兩行圖像，光柵掃描的時(shí)候標(biāo)注緩存里的像素，大大減小了片內(nèi)幀緩存所占用的資源.

2.4 質(zhì)心求解算法

質(zhì)心求解算法利用式(1)分別計(jì)算各連通域內(nèi)目標(biāo)點(diǎn)的質(zhì)心，其中N代表各連通域內(nèi)的目標(biāo)點(diǎn)個(gè)數(shù).

3 實(shí)驗(yàn)結(jié)果與分析

本文FPGA為Xilinx公司XC4VSX55-12FF1148芯片，DSP為TI公司TMS320C6416T芯片，主頻為800 MHz.相機(jī)為SENTECHSTC-CMB2MCL相機(jī)，圖像分辨率為2 048×1 024，采用Camera Link接口，像素時(shí)鐘為85 MHz，幀頻最大為73.8 fps.幀緩存圖像時(shí)橫向坐標(biāo)為高11位地址，縱向坐標(biāo)為低10位地址緩存圖像，因此，在計(jì)算時(shí)取地址值即為像素點(diǎn)的橫縱坐標(biāo).以黑色背景上有4個(gè)白色小圓為合作目標(biāo)點(diǎn)，在合作目標(biāo)靜止?fàn)顟B(tài)用本文方案多次檢測(cè)，其中一個(gè)目標(biāo)點(diǎn)的檢測(cè)結(jié)果如圖5所示.在MATLAB讀取真實(shí)圖像數(shù)據(jù)尋找其質(zhì)心坐標(biāo)為(345，456)，與檢測(cè)結(jié)果一致.經(jīng)過(guò)進(jìn)一步實(shí)驗(yàn)測(cè)試，DSP讀取直方圖和自動(dòng)閾值算法共需524 075個(gè)時(shí)鐘，即0.656 ms，小于相機(jī)的場(chǎng)消隱時(shí)間1 ms.將相機(jī)的幀頻設(shè)為73 fps，觀察輸出數(shù)據(jù)，發(fā)現(xiàn)系統(tǒng)可穩(wěn)定運(yùn)行.

將本方案算法全部在DSP中實(shí)現(xiàn)，經(jīng)測(cè)試，統(tǒng)計(jì)出DSP讀取數(shù)據(jù)及直方圖統(tǒng)計(jì)需206 706 128個(gè)時(shí)鐘，自動(dòng)閾值需436 665個(gè)時(shí)鐘，連通域標(biāo)記和質(zhì)心計(jì)算需52 954 265個(gè)時(shí)鐘，共需321 097 058個(gè)時(shí)鐘，即0.41 s，處理速度可達(dá)2 fps.將本算法在主頻為2.2 GHz的計(jì)算機(jī)中實(shí)現(xiàn)，其處理速度可達(dá)到1 fps.

4 結(jié) 論

本文研究了適用于多目標(biāo)的質(zhì)心定位算法，算法包括直方圖統(tǒng)計(jì)、自適應(yīng)閾值、連通域標(biāo)記和質(zhì)心求解算法.詳細(xì)分析了各算法的原理，并提出一種新的連通域標(biāo)記算法單次掃描算法，新的算法可大幅減小圖像處理中幀緩存占用的空間.最后在FPGA+DSP的硬件中實(shí)現(xiàn)了多目標(biāo)質(zhì)心定位算法，經(jīng)過(guò)多目標(biāo)質(zhì)心定位算法處理，檢測(cè)出目標(biāo)點(diǎn)的質(zhì)心坐標(biāo)，與真實(shí)的質(zhì)心坐標(biāo)一致，體現(xiàn)了本文算法的正確性.同時(shí)，可滿足最高70 fps的檢測(cè)速度，遠(yuǎn)遠(yuǎn)高于使用單個(gè)DSP處理器或者計(jì)算機(jī)的檢測(cè)系統(tǒng).本算法適用于多目標(biāo)的質(zhì)心定位檢測(cè)，可在機(jī)器視覺(jué)測(cè)量系統(tǒng)中應(yīng)用.

參考文獻(xiàn)

[1] 陳汗青,萬(wàn)艷玲,王國(guó)剛. 數(shù)字圖像處理技術(shù)研究進(jìn)展[J]. 工業(yè)控制計(jì)算機(jī),2013(01):72-74．

[2] DONALD G B.基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)[M].北京:電子工業(yè)出版社,2013.

[3] 王冰,職秦川,張仲選,等. 灰度圖像質(zhì)心快速算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2004,10:1360-1365.

[4] 盧來(lái),王軍民,范銳. 基于自適應(yīng)增強(qiáng)的圖像二值描述子[J]. 計(jì)算機(jī)工程, 2016, 42(6): 230-234,240.

[5] 汪啟偉. 圖像直方圖特征及其應(yīng)用研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué),2014.

[6] SEZGIN M. Survey over image thresholding techniquesquantitative performance evaluation[J]. J Electr Imaging，2004,13(1), 146-165.

[7] 莊玉林. 基于直方圖優(yōu)化的遙感圖像對(duì)比度增強(qiáng)算法[J]. 計(jì)算機(jī)工程, 2016, 42(5): 235-238.

[8] OHTSU N. A threshold selection method from gray-level histograms[J]. Systems Man & Cybernetics IEEE Transactions on, 1979, 9(1):62-66.

[9] YANG X L,SHEN X J,LONG J W. An improved median-based Otsu image thresholding algorithm[C]//Proceedings of 2012 Conference on Modelling, Identification and Control(MIC),American Applied Sciences Research Institute,2012.

[10] HEDBERG H, KRISTENSEN F, OWALL V. Implementation of a labeling algorithm based on contour tracing with feature extraction[C]//IEEE International Symposium on Circuits and Systems,2007:1101-1104.

[11] 路敬祎,薛征,邵克勇,等. 基于改進(jìn)的連通域算法與垂直投影相結(jié)合的車牌字符分割[J]. 自動(dòng)化技術(shù)與應(yīng)用,2015,12:93-97.

[12] 徐詩(shī)惠,張霞. 連通域在復(fù)雜背景膚色檢測(cè)中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件,2016(05)：181-184.