采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng)
——基于DSP和幀內(nèi)編碼

趙 旭,耿瑞煥

(鶴壁汽車工程職業(yè)學(xué)院,河南 鶴壁 458030)

0 引言

水果表皮的色彩度和瑕疵度是判斷水果等級(jí)的重要指標(biāo)。一直以來(lái),水果種植農(nóng)戶都是采取人工識(shí)別的方式對(duì)水果進(jìn)行分級(jí),分級(jí)結(jié)果一致性差。隨著自動(dòng)化、圖像處理和機(jī)器視覺的發(fā)展,使得采摘機(jī)器人實(shí)現(xiàn)水果自動(dòng)識(shí)別和分級(jí)成為可能。為此,在視頻監(jiān)控的基礎(chǔ)上,結(jié)合DSP和幀內(nèi)編碼技術(shù),提出了一種采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng),旨在實(shí)現(xiàn)對(duì)水果的自動(dòng)分級(jí)功能。

1 幀內(nèi)編碼算法概述

1.1 幀內(nèi)編碼原理

視頻編碼的過程是提取視頻中有效數(shù)據(jù),處理掉冗余的信息。在視頻樣本采樣中,各個(gè)空間位置的像素點(diǎn)都是采用相同的信息量表示,而各空間位置的有效信息不一樣,采用該方法會(huì)導(dǎo)致視頻信息的多次采樣,引起信息冗余問題。

幀內(nèi)編碼是視頻處理的一種算法,可根據(jù)前一解碼視頻區(qū)塊和空間樣本進(jìn)行視頻圖像的處理,對(duì)處理效率要求較高的編碼技術(shù)一般采用該技術(shù)。幀內(nèi)編碼和一般視頻編碼標(biāo)準(zhǔn)差異不大,一般采用預(yù)測(cè)、變換及高效熵編碼技術(shù)的混合處理框架。編碼混合處理框架主要有預(yù)測(cè)編碼、變換量化編碼技術(shù)、離散余旋變換和熵編碼等流程步驟。幀內(nèi)編碼流程框架如圖1所示。

圖1 幀內(nèi)編碼流程框架圖Fig.1 The frame flow chart of intra coding。

幀內(nèi)編碼的流程為:采樣到的視頻樣本的每一幀圖像,經(jīng)過預(yù)測(cè)環(huán)節(jié)的運(yùn)動(dòng)估計(jì)和補(bǔ)償后,得到預(yù)測(cè)殘差數(shù)據(jù);預(yù)測(cè)殘差數(shù)據(jù)經(jīng)過變換量化過程,再進(jìn)行熵編碼,最后生成碼流;解碼端經(jīng)過反量化和反變換的解析過程,經(jīng)過環(huán)路濾波、預(yù)測(cè)殘差數(shù)據(jù)和參考圖像求和,得到重構(gòu)的完成圖像,并保存在解碼緩存中。

1.2 幀內(nèi)編碼圖像塊處理

幀內(nèi)編碼的最大優(yōu)勢(shì)是采用較大的塊結(jié)構(gòu)對(duì)圖像進(jìn)行編碼,且采用相對(duì)靈活的塊劃分,提高了編碼的效率。在幀內(nèi)編碼圖像塊處理處理過程中,最初的編碼單元(LCU)可以遞歸等分,構(gòu)成編碼單元樹(CTU)結(jié)構(gòu),而CTU又可以遞歸等分為預(yù)測(cè)單元(PU)和變換單元(TU)。幀內(nèi)編碼圖像塊處理主要包括編碼、預(yù)測(cè)和變換3個(gè)單元。

1)編碼單元。在幀內(nèi)編碼中,編碼單元是幀處理的最小單元宏塊Macroblock (MB),編碼單元(CU)可以被分為若干個(gè)64×64、32 ×32、16×16等宏塊,而每個(gè)宏塊還可以繼續(xù)被劃分。在幀內(nèi)編碼圖像塊處理中,編碼單元采用四叉樹劃分策略,最大的64×64單元?jiǎng)澐譃?×8單元,因此幀內(nèi)編碼提供了靈活的塊劃分方法。編碼單元四叉樹劃分策略如圖2所示。

圖2 編碼單元四叉樹劃分策略圖Fig.2 The four-tree partition strategy diagram of coding unit。

2)預(yù)測(cè)單元。預(yù)測(cè)單元是幀預(yù)測(cè)處理中必須的最小單元。預(yù)測(cè)單元是在編碼單元的基礎(chǔ)上進(jìn)行劃分的,最大可與編碼單元一樣大,形狀不一定是正方形,可以是幾個(gè)小正方形組成的矩形。預(yù)測(cè)單元主要包括跳過(Skip)、幀內(nèi)(Intra)和幀間(Inter)3種模式。預(yù)測(cè)單元?jiǎng)澐植呗匀鐖D3所示。

圖3 預(yù)測(cè)單元?jiǎng)澐植呗詧DFig.3 The strategy chart of prediction unit partition。

在預(yù)測(cè)單元?jiǎng)澐种?Skip包含2N×2N唯一一種模式;Intra包含2N×2N和N×N兩種模式;Inter則包含2N×2N、N×N、2N×N、N×2N、2N×nU、2N×nD、nL×2N和nR×2N等8種模式。

3)變換單元。幀內(nèi)編碼圖像塊處理的變換單元為正方形,其單元大小和編碼單元類似,采用64×64、32 ×32、16×16和4×4。變換單元是在編碼單元的基礎(chǔ)上劃分的,對(duì)于幀內(nèi)預(yù)測(cè),變換單元不得大于預(yù)測(cè)單元的大小,但對(duì)于幀間預(yù)測(cè)沒有特殊要求。變換單元?jiǎng)澐植呗匀鐖D4所示。

圖4 變換單元?jiǎng)澐植呗詧DFig.4 The strategy chart of transformation unit partition。

2 DSP高速視頻圖像處理系統(tǒng)總體設(shè)計(jì)

本文研究基于DSP和幀內(nèi)編碼的采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng),主要任務(wù)是讓采摘機(jī)器人在作業(yè)過程中采用幀內(nèi)編碼和圖像處理技術(shù)對(duì)視頻圖像進(jìn)行分析與處理,對(duì)待采摘果實(shí)進(jìn)行分類判別和采摘。

視頻圖像的處理具有數(shù)據(jù)量大、精度高和耗時(shí)長(zhǎng)的特點(diǎn),需要具有強(qiáng)大運(yùn)算能力的處理器進(jìn)行圖像處理。為此,采用了TI公司生產(chǎn)的TMS320DM643處理器作為處理核心。該芯片專用于數(shù)字媒體和圖像處理應(yīng)用,工作主頻可達(dá)600MHz,處理性能高達(dá)4 800MIPS,2個(gè)20位的視頻口,具有8路同步串行輸入/輸出的McASP端口,可實(shí)時(shí)實(shí)現(xiàn)多路音頻/視頻信號(hào)的輸入/輸出及編解碼運(yùn)算,如MPEG4、H.264、G.729等各種視/音頻算法。其芯片支持MMU和內(nèi)存映射管理,具有更高的主頻和更豐富的外設(shè),且穩(wěn)定性強(qiáng)、可靠性高,能適用于對(duì)性能和處理能力有更高要求的嵌入式系統(tǒng)應(yīng)用場(chǎng)合,被廣泛應(yīng)用于高清電視、視頻服務(wù)器、網(wǎng)絡(luò)攝像機(jī)、智能交通、工業(yè)視頻檢測(cè)、視頻監(jiān)控、安防監(jiān)控等行業(yè)中。DSP高速視頻圖像處理系統(tǒng)框架如圖5所示。

圖5 嵌入式高速數(shù)字圖像處理系統(tǒng)框圖Fig.5 The block diagram of embedded high speed digital image processing system。

3 DSP高速視頻圖像處理系統(tǒng)軟硬件設(shè)計(jì)

3.1 系統(tǒng)硬件設(shè)計(jì)

DSP高速視頻圖像處理系統(tǒng)的核心是DSP處理器單元和圖像采集單元。其中,圖像采集單元包括Camera和視頻解碼器兩部分,作用是將從Camera采集來(lái)的視頻圖像數(shù)據(jù)進(jìn)行采樣、量化處理,為視頻解碼器提供原始樣本。DSP處理器和視頻解碼器連接的示意如圖6所示。

圖6 DSP處理器和視頻解碼器連接圖Fig.6 The connection diagram between DSP processor and video decoder。

視頻解碼模塊使用TI公司生產(chǎn)的TVP5150A芯片作為系統(tǒng)的視頻解碼器。該芯片是TI推出的一款超低功耗的高性能混合信號(hào)視頻解碼芯片,具有功耗低、使用簡(jiǎn)單、支持兩路復(fù)合視頻或一個(gè)S端子的輸入,以及可自動(dòng)識(shí)別NTSC/PAL/SECAM制式的模擬信號(hào)等優(yōu)點(diǎn)。TVP5150A將Camera的模擬信號(hào)按照YCbCr 4∶2∶2的格式轉(zhuǎn)化成數(shù)字信號(hào),輸出格式為內(nèi)嵌 8 位同步信號(hào)的 ITU-RBT.656碼流。視頻碼流隨后進(jìn)入嵌入式計(jì)算機(jī)上SOC提供的視頻接口。TVP5150A功能框架如圖7所示。

Fig.7 TVP5150A functional framework diagram。

3.2 系統(tǒng)軟件設(shè)計(jì)

軟件設(shè)計(jì)主要考慮圖像處理和幀內(nèi)編碼算法的精確性和可靠性。軟件的開發(fā)設(shè)計(jì)采用TI公司推出的用于開發(fā)DSP芯片的集成開發(fā)環(huán)境CCS。軟件完成對(duì)DSP處理器外設(shè)、工作方式和相關(guān)寄存器的配置等設(shè)置后,會(huì)開啟視頻圖像采集線程;視頻圖像采集完成后,會(huì)根據(jù)需求將圖像進(jìn)行幀內(nèi)編碼處理,然后DSP處理器對(duì)目標(biāo)果實(shí)進(jìn)行等級(jí)分類。軟件算法流程如圖8所示。

圖8 軟件算法流程圖Fig.8 The flow chart of software algorithm。

4 果實(shí)成熟度判斷

在進(jìn)行圖像處理后,便可以對(duì)目標(biāo)果實(shí)進(jìn)行成熟度判斷。在果實(shí)的成熟度方面,利用果實(shí)在不同時(shí)期所呈現(xiàn)的顏色變化,人們可以通過肉眼來(lái)判斷水果的成熟度。在圖像處理領(lǐng)域,直方圖是一個(gè)非常強(qiáng)大的工具,其基本原理就是對(duì)顏色像素的統(tǒng)計(jì),將統(tǒng)計(jì)值放入不同的bin中。在直方圖中,bin的含義是指將顏色空間分為若干個(gè)較小的區(qū)間,統(tǒng)計(jì)區(qū)間內(nèi)不同像素值的個(gè)數(shù),若bin越多,則直方圖分辨率越強(qiáng)。本文研究中bin值設(shè)置為256。

顏色直方圖分為兩種,即灰度直方圖和RGB三色直方圖。灰度直方圖表示是不同亮度區(qū)間的像素值得個(gè)數(shù),通常用來(lái)檢測(cè)圖像的曝光水平和漸變;而RGB三色直方圖則表示在R、G、B等3個(gè)通道上,不同亮度區(qū)間上分布的相應(yīng)顏色像素值,可用來(lái)檢查色調(diào)。三色直方圖繪制過程為導(dǎo)入原圖,配置相關(guān)直方圖變量(如通道、維度柱條、bin數(shù)目等),計(jì)算直方圖及顯示直方圖等。其中,計(jì)算直方圖主要函數(shù)為calcHist,顯示直方圖主要函數(shù)為rectangle()。得到的RGB三色直方圖如圖9所示。

圖9 RGB直方圖Fig.9 RGB histogram。

不同程度的水果三色圖的顏色占比不同,可以通過其顏色分布的占比大致的判斷出水果的成熟度。果實(shí)在不同時(shí)期所呈現(xiàn)的顏色不同,通過采集不同時(shí)期的果實(shí)圖片,對(duì)其進(jìn)行RGB三色直方圖分析,不僅可以實(shí)時(shí)跟蹤到水果的成長(zhǎng)歷程,還能對(duì)果實(shí)的采摘及腐爛進(jìn)行一定的數(shù)據(jù)化分析,便于后續(xù)的處理。但此方法易受光線的影響,得出的圖像結(jié)果與判斷的水果等級(jí)有時(shí)會(huì)存在一定的差異,所以此評(píng)價(jià)指標(biāo)具有一定的參考價(jià)值,但權(quán)重較低。

5 試驗(yàn)與結(jié)果分析

為了驗(yàn)證采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng)對(duì)水果分級(jí)的可行性及其有效性,以蘋果等級(jí)識(shí)別為例,在某蘋果種植示范基地進(jìn)行了實(shí)際的識(shí)別試驗(yàn)。為了讓試驗(yàn)正常進(jìn)行,試驗(yàn)前對(duì)遮擋比較嚴(yán)重的果實(shí)進(jìn)行了一定的整理;試驗(yàn)中分別以水果的瑕疵占比、RGB三色為參照,主要依據(jù)為RGB三色維度值。標(biāo)準(zhǔn)的蘋果色度RGB維數(shù)表如表1所示,試驗(yàn)結(jié)果如表2所示。

表1 標(biāo)準(zhǔn)的蘋果色度RGB維數(shù)表Table 1 RGB dimension table of standard apple chroma。

表2 目標(biāo)果實(shí)分類結(jié)果Table 2 The classification results of target fruit。

由試驗(yàn)結(jié)果可以看出:采摘機(jī)器人識(shí)別和判定結(jié)果與市場(chǎng)分級(jí)結(jié)果一致,系統(tǒng)檢測(cè)精度高,性能可靠,可以滿足水果識(shí)別分級(jí)的設(shè)計(jì)需求。

6 結(jié)論

針對(duì)采摘機(jī)器人對(duì)目標(biāo)水果分級(jí)難度高、誤差大等問題,設(shè)計(jì)了一套基于DSP和幀內(nèi)編碼的采摘機(jī)器人數(shù)字視頻的監(jiān)控系統(tǒng)。首先,簡(jiǎn)要介紹了幀內(nèi)編碼算法的原理和特點(diǎn);然后,設(shè)計(jì)了DSP高速視頻圖像處理系統(tǒng)總體結(jié)構(gòu),并從軟硬件兩方面對(duì)整個(gè)系統(tǒng)進(jìn)行了實(shí)現(xiàn);最后,依據(jù)RGB三色直方圖分析,對(duì)果實(shí)成熟度進(jìn)行判斷。在果園實(shí)際的試驗(yàn)中,系統(tǒng)識(shí)別和分析結(jié)果準(zhǔn)確,性能可靠,可以滿足水果識(shí)別分級(jí)的設(shè)計(jì)需求,對(duì)于采摘機(jī)器人自動(dòng)采摘作業(yè)具有重要意義。