基于幀緩沖隊(duì)列的邊緣視頻處理加速方法*

程小蘭,蔣從鋒,歐東陽,任永堅(jiān),張紀(jì)林,萬 健

(1.杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院,浙江 杭州 310018;2.復(fù)雜系統(tǒng)建模與仿真教育部重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018;3.浙江科技學(xué)院信息與電子工程學(xué)院,浙江 杭州 310023)

1 引言

基于云端的視頻處理[1,2]降低了用戶的建設(shè)維護(hù)成本，同時(shí)集中式計(jì)算和存儲(chǔ)模式降低了視頻數(shù)據(jù)處理的難度。但是，由于爆炸式增長(zhǎng)的邊緣視頻數(shù)據(jù)[3]，基于云計(jì)算模型的視頻處理技術(shù)存在網(wǎng)絡(luò)帶寬需求高、實(shí)時(shí)性差和安全性差等問題。萬物互聯(lián)應(yīng)用需求的發(fā)展催生了邊緣式大數(shù)據(jù)處理模式，即邊緣計(jì)算模型[4 - 7]。邊緣視頻處理是將全部或者部分視頻處理工作放在邊緣節(jié)點(diǎn)端，邊緣節(jié)點(diǎn)包括智能手機(jī)、智能手表、智能攝像頭和邊緣服務(wù)器等。邊緣視頻處理具有顯著的優(yōu)點(diǎn)：數(shù)據(jù)傳輸?shù)拈_銷小、延遲小。這些優(yōu)點(diǎn)體現(xiàn)在生活的諸多應(yīng)用中，比如對(duì)于實(shí)時(shí)交通路況的監(jiān)控視頻，邊緣視頻分析可以避免在網(wǎng)絡(luò)資源緊張的情況下進(jìn)行大量視頻數(shù)據(jù)傳輸；智能攝像頭捕獲的實(shí)時(shí)視頻數(shù)據(jù)，可以在邊緣端進(jìn)行適當(dāng)處理再傳輸至云端，不僅可以減小視頻處理時(shí)延，還可以提高視頻數(shù)據(jù)的安全性。同時(shí)，針對(duì)不同的應(yīng)用[8]，很多原始視頻流將由多個(gè)視頻分析系統(tǒng)進(jìn)行分析。來自不同視頻源的視頻流也會(huì)被同一個(gè)系統(tǒng)處理，來自多個(gè)視頻源的視頻參數(shù)具有多樣性。不同視頻參數(shù)對(duì)視頻處理性能有不同影響，所以視頻參數(shù)的多樣性會(huì)加劇視頻處理的難度。比如，同一個(gè)人臉識(shí)別系統(tǒng)中，在系統(tǒng)性能滿足的前提下，很難保障所有分辨率和幀率的視頻都能在保持較高的幀接收率的同時(shí)具有較小的視頻處理時(shí)間。此外，視頻是一種復(fù)雜的數(shù)據(jù)類型，視頻傳輸消耗大量的網(wǎng)絡(luò)資源，視頻處理會(huì)消耗大量的系統(tǒng)資源。然而邊緣服務(wù)器的系統(tǒng)資源有限，給邊緣實(shí)時(shí)視頻處理帶來很大的困難。綜合這些因素，在邊緣實(shí)時(shí)處理視頻仍舊面臨很多挑戰(zhàn)，邊緣服務(wù)器需要在滿足自身性能的前提下最大化視頻處理性能。

本文針對(duì)視頻處理的幀堆積問題提出了在幀接收和幀處理間加入緩沖區(qū)即幀緩沖隊(duì)列的方法，來并行處理緩沖幀，以解決幀接收時(shí)延問題，加速視頻處理。本文搭建以樹莓派作為邊緣節(jié)點(diǎn)，臺(tái)式機(jī)作為邊緣服務(wù)器的邊緣視頻處理平臺(tái)。邊緣服務(wù)器可以同時(shí)處理來自多個(gè)邊緣節(jié)點(diǎn)的視頻數(shù)據(jù)，即視頻參數(shù)不是單一的，而是多樣化的。邊緣服務(wù)器的視頻處理程序是基于OpenCV[9,10]的人臉檢測(cè)。視頻傳輸是實(shí)時(shí)流式傳輸，包括采集、編碼、打包和網(wǎng)絡(luò)傳輸?shù)冗^程，邊緣服務(wù)器端的視頻處理也是實(shí)時(shí)流式處理，包括解碼和視頻處理。本文的工作目標(biāo)是對(duì)于邊緣節(jié)點(diǎn)傳輸來的任何參數(shù)的視頻數(shù)據(jù)，資源有限的邊緣服務(wù)器在滿足自身系統(tǒng)性能的前提下，盡可能提高視頻處理的性能指標(biāo)。具體工作如下所示：

(1)首先，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)高幀率和高分辨率的視頻數(shù)據(jù)容易導(dǎo)致系統(tǒng)丟幀，提出基于幀緩沖隊(duì)列的流視頻處理加速方法解決丟幀問題。在這部分，首先進(jìn)行數(shù)據(jù)分析探究系統(tǒng)丟幀的原因，結(jié)果發(fā)現(xiàn)視頻數(shù)據(jù)量的增加導(dǎo)致視頻處理速度變慢，形成幀接收時(shí)延，造成幀堆積，從而導(dǎo)致解碼出錯(cuò)和丟幀。隨后提出利用幀緩沖隊(duì)列解決丟幀問題，本文提出的解決方案是在幀接收和幀處理之間加上緩沖隊(duì)列，即幀緩沖隊(duì)列FBQ(Frame Buffer Queue)。幀緩沖隊(duì)列的作用有2點(diǎn)：一是解決幀接收速度和幀處理速度的不匹配問題，將暫時(shí)未及時(shí)處理的幀緩沖下來，避免幀堆積，從而避免丟幀；二是可以借助幀緩沖隊(duì)列的分流作用，充分利用系統(tǒng)的多核資源，將一路視頻流多路分流處理，從而提高視頻的處理速度，滿足視頻處理的實(shí)時(shí)性。本文將添加幀緩沖隊(duì)列的系統(tǒng)標(biāo)記為“有FBQ系統(tǒng)”，否則為“無FBQ系統(tǒng)”。

(2)其次，分別在有FBQ系統(tǒng)和無FBQ系統(tǒng)中通過性能對(duì)比探究視頻參數(shù)(分辨率、幀率)對(duì)視頻處理性能和系統(tǒng)性能的影響。視頻處理性能指標(biāo)包括幀接收率、人臉檢測(cè)率和視頻處理時(shí)長(zhǎng)，系統(tǒng)性能指標(biāo)包括邊緣服務(wù)器端系統(tǒng)內(nèi)存使用率和系統(tǒng)功耗。具體實(shí)驗(yàn)發(fā)現(xiàn)，人臉檢測(cè)率與分辨率的大小有關(guān)，而與幀率無關(guān)；同時(shí)，在無FBQ系統(tǒng)中，處理高分辨率視頻會(huì)加劇系統(tǒng)丟幀；分辨率高于720×405時(shí)，高幀率視頻數(shù)據(jù)的處理也會(huì)加劇丟幀；但分辨率低于720×405時(shí)，幀率對(duì)幀接收率沒有影響；隨著分辨率和幀率的增加，系統(tǒng)的功耗都呈上升趨勢(shì)；而分辨率和幀率對(duì)系統(tǒng)內(nèi)存使用率和視頻處理時(shí)間影響不大。另外，相較于無FBQ系統(tǒng)，有FBQ系統(tǒng)不僅不存在丟幀，而且降低了系統(tǒng)功耗；僅有一個(gè)視頻處理線程時(shí)，由于需要處理緩沖幀，隨著分辨率和幀率的增加，視頻處理時(shí)間和內(nèi)存使用率均會(huì)呈現(xiàn)明顯的遞增趨勢(shì)。

本文的實(shí)驗(yàn)結(jié)果表明，如果邊緣服務(wù)器的CPU資源與任務(wù)量匹配，有FBQ系統(tǒng)在保證視頻實(shí)時(shí)處理的前提下，降低了系統(tǒng)丟幀率和功耗。

2 相關(guān)工作

為了提高邊緣節(jié)點(diǎn)實(shí)時(shí)處理視頻流的性能，學(xué)者們提出了不同的視頻分析方法，如通過使用邊緣節(jié)點(diǎn)之間的協(xié)作來實(shí)現(xiàn)實(shí)時(shí)視頻分析。Zhang等人[11]基于Firework[12]的擴(kuò)展版本實(shí)現(xiàn)了AMBER(America’s Missing Broadcast Emergency Response)警報(bào)助手(A3)。A3可以通過實(shí)時(shí)高效地分析城市攝像機(jī)的數(shù)據(jù)來定位和跟蹤車輛。A3主要通過多個(gè)邊緣設(shè)備之間的協(xié)作來實(shí)現(xiàn)實(shí)時(shí)視頻分析，并且通過巧妙地選擇候選攝像機(jī)來有效地控制用于車輛跟蹤的搜索區(qū)域，提出了與位置方向有關(guān)的擴(kuò)散策略。Long 等人[13]提出了一種邊緣計(jì)算框架，可以在資源豐富的移動(dòng)設(shè)備上實(shí)現(xiàn)對(duì)延遲敏感的多媒體物聯(lián)網(wǎng)任務(wù)的協(xié)同處理。該框架的主要挑戰(zhàn)是將移動(dòng)設(shè)備組成最佳的視頻處理組，并將視頻塊分配給適當(dāng)?shù)慕M。Cao等人[14]給出了一種基于輕量級(jí)虛擬化技術(shù)的在邊緣計(jì)算平臺(tái)上實(shí)現(xiàn)協(xié)作視頻處理的方法。

有一些學(xué)者考慮了邊緣與云之間的協(xié)作工作。EVAPS(Edge Video Analysis for Public Satety)[15]以優(yōu)化的方式在邊緣節(jié)點(diǎn)和云之間分配計(jì)算工作負(fù)載，并消除了不必要的數(shù)據(jù)傳輸，從而為邊緣設(shè)備節(jié)省了能源。 為了解決將大量數(shù)據(jù)從物聯(lián)網(wǎng)設(shè)備傳輸?shù)绞褂脵C(jī)器學(xué)習(xí)模型進(jìn)行處理的云中心時(shí)，連接數(shù)據(jù)源端和云平臺(tái)的網(wǎng)絡(luò)可能成為瓶頸，Ali等人[16]提出為數(shù)據(jù)處理分配跨越邊緣資源和云/霧資源的深度學(xué)習(xí)管道的方法，數(shù)據(jù)的基本處理階段和訓(xùn)練模型在網(wǎng)絡(luò)邊緣進(jìn)行。此外，還有學(xué)者使用機(jī)器學(xué)習(xí)來加速視頻的實(shí)時(shí)處理。為了獲得更高的總體應(yīng)用質(zhì)量，Mainstream[8]可以自適應(yīng)地在共享邊緣設(shè)備上并發(fā)進(jìn)行視頻處理的應(yīng)用之間協(xié)調(diào)DNN詞干共享。

一些學(xué)者為不同的應(yīng)用程序構(gòu)建了完整的實(shí)時(shí)視頻分析系統(tǒng)。Wang等人[17]引入了一種新型人臉識(shí)別系統(tǒng)OpenFace，該系統(tǒng)可以與幀間跟蹤相結(jié)合，生成用于實(shí)時(shí)隱私保護(hù)的RTFace，作者以城市交通監(jiān)控為例詳細(xì)介紹了該系統(tǒng)。Chen等人[18]提出了一種動(dòng)態(tài)視頻流處理方案，以滿足實(shí)時(shí)信息處理和決策的要求。Dautov等人[19]將諸如物聯(lián)網(wǎng)、云計(jì)算、邊緣計(jì)算和大數(shù)據(jù)之類的各種方法和技術(shù)結(jié)合到一個(gè)通用框架中，能夠采用統(tǒng)一的方法在城市范圍內(nèi)實(shí)施智能監(jiān)控，從而為大都市智能監(jiān)控鋪平了道路。

Xu等人[20]引入的VideoChef是一種近似優(yōu)化視頻流水線的系統(tǒng)，并且是首個(gè)使用Canary輸入[21]的復(fù)雜流應(yīng)用程序的系統(tǒng)。VideoChef根據(jù)Canary輸入的概念在系統(tǒng)運(yùn)行時(shí)找到近似濾波器的最佳配置，該概念使用較小的輸入來調(diào)整計(jì)算的準(zhǔn)確性并將近似配置傳輸?shù)剿休斎?。為了?shí)現(xiàn)實(shí)時(shí)不間斷的移動(dòng)人體跟蹤，Xu等人[22]提出了基于定向直方圖(HOG)和線性支持向量機(jī)(SVM)的移動(dòng)人體檢測(cè)方法，并提出了一種有效的基于核相關(guān)濾波器的目標(biāo)跟蹤算法。

為提高邊緣環(huán)境中的視頻處理性能，上述工作針對(duì)特殊的邊緣節(jié)點(diǎn)和應(yīng)用場(chǎng)景提出了相應(yīng)的優(yōu)化方案，而本文則是考慮同一個(gè)邊緣服務(wù)器會(huì)處理來自不同邊緣節(jié)點(diǎn)的視頻流，以邊緣節(jié)點(diǎn)視頻參數(shù)多樣性作為出發(fā)點(diǎn)，探究不同視頻參數(shù)的組合對(duì)視頻處理性能和系統(tǒng)性能的影響，從而提出性能優(yōu)化方案，提升視頻處理的綜合性能。

3 基于幀緩沖隊(duì)列的流視頻處理加速方法

3.1 幀率和分辨率對(duì)流視頻處理性能的影響

本節(jié)探究視頻參數(shù)的多樣性對(duì)視頻處理綜合性能的影響，涉及的視頻參數(shù)有分辨率和幀率。本文發(fā)現(xiàn)邊緣服務(wù)器端處理高分辨率和高幀率視頻數(shù)據(jù)時(shí)，會(huì)產(chǎn)生丟幀等性能問題；而且，對(duì)于系統(tǒng)丟幀的問題，經(jīng)分析發(fā)現(xiàn)幀的接收時(shí)延是導(dǎo)致丟幀的根本原因。隨后提出在邊緣服務(wù)器端通過添加幀緩沖隊(duì)列來解決丟幀問題。

幀接收率FRR(Frame Reception Rate)是實(shí)時(shí)視頻處理的重要性能指標(biāo)，當(dāng)系統(tǒng)處理不同分辨率和幀率的視頻數(shù)據(jù)時(shí)，系統(tǒng)的丟幀情況也不相同。首先，網(wǎng)絡(luò)環(huán)境對(duì)幀接收率影響很大，本文發(fā)現(xiàn)無線網(wǎng)絡(luò)環(huán)境會(huì)導(dǎo)致系統(tǒng)丟幀。此外，當(dāng)系統(tǒng)處理高分辨率和高幀率的視頻時(shí)，系統(tǒng)也會(huì)丟幀。圖1表示在有線網(wǎng)和無線網(wǎng)環(huán)境中，幀率是25 fps時(shí)系統(tǒng)幀接收率隨著視頻分辨率增加的變化情況。

Figure 1 Frame reception rate under different resolution configurations (frame rate=25 fps)圖1 不同分辨率配置下的幀接收率(幀率為25 fps)

經(jīng)分析可知，2種網(wǎng)絡(luò)環(huán)境中，隨著視頻分辨率的增大，系統(tǒng)均出現(xiàn)丟幀，但是無線網(wǎng)環(huán)境中的幀接收率總體低于有線網(wǎng)環(huán)境中的幀接收率。此外，當(dāng)視頻分辨率較低時(shí)，有線網(wǎng)絡(luò)環(huán)境系統(tǒng)不會(huì)丟幀，但是無線絡(luò)網(wǎng)環(huán)境卻會(huì)丟幀。由實(shí)驗(yàn)結(jié)果可知，除了網(wǎng)絡(luò)環(huán)境因素，還有其它因素導(dǎo)致系統(tǒng)丟幀，因?yàn)樵谟芯€網(wǎng)絡(luò)環(huán)境中隨著視頻分辨率的增加，系統(tǒng)也出現(xiàn)了丟幀。

有線網(wǎng)絡(luò)和無線網(wǎng)絡(luò)的區(qū)別在于數(shù)據(jù)的傳輸方式，在沒有信號(hào)干擾的前提下，有線視頻傳輸和無線視頻傳輸并沒有實(shí)質(zhì)區(qū)別。在實(shí)際的應(yīng)用場(chǎng)景中，有線網(wǎng)絡(luò)抗干擾能力強(qiáng)，但是會(huì)受到器材限制，比如線路的長(zhǎng)短，而無線網(wǎng)絡(luò)雖然方便快捷，但是抗干擾能力弱，導(dǎo)致傳輸速度慢。排除網(wǎng)絡(luò)環(huán)境，本文發(fā)現(xiàn)丟幀的直接原因是幀的解碼問題，幀堆積是造成解碼錯(cuò)誤的主要原因。而視頻數(shù)據(jù)量的增加導(dǎo)致視頻處理速度跟不上視頻幀的傳輸速度，從而導(dǎo)致幀堆積。

本文進(jìn)行了如下實(shí)驗(yàn)和數(shù)據(jù)分析來探究丟幀原因。

視頻處理一般是計(jì)算密集型任務(wù)，以包含人臉檢測(cè)任務(wù)的視頻處理過程為例，視頻處理過程可分為如下幾個(gè)具體階段[11]：

(1)視頻解碼：首先將視頻數(shù)據(jù)解碼成不同參數(shù)的幀，常見的幀參數(shù)包括分辨率和幀率，常見的視頻編碼格式有H.264、MPEG和H.265等。

(2)圖像預(yù)處理：為了提高圖像質(zhì)量，需要對(duì)解碼得到的圖像進(jìn)行一系列的處理，包括圖像增強(qiáng)、降噪、改變尺寸和鏡頭校正等圖像編輯操作。

(3)圖像處理：常見的圖像處理操作是圖像分割，其結(jié)果是將圖像分割成多個(gè)部分，方便后續(xù)操作。

(4)目標(biāo)檢測(cè)：將圖像中感興趣的部分檢測(cè)出來，劃分成固定類，常見的目標(biāo)檢測(cè)對(duì)象包括人臉、汽車和建筑等。

(5)目標(biāo)識(shí)別：將檢測(cè)到的對(duì)象進(jìn)行語義分類，人臉識(shí)別將檢測(cè)到的人臉與某個(gè)具體人關(guān)聯(lián)起來。

(6)目標(biāo)跟蹤：在視頻中定位一個(gè)或者多個(gè)對(duì)象的過程。

(7)數(shù)據(jù)融合：整合來自多個(gè)視頻的視頻處理結(jié)果。

在一次實(shí)時(shí)視頻傳輸?shù)倪^程中，本文根據(jù)視頻分析的一般過程將幀生命周期分為5個(gè)階段，如圖2所示。5個(gè)階段分配在邊緣節(jié)點(diǎn)、網(wǎng)絡(luò)和邊緣服務(wù)器3個(gè)物理空間。t1之前的階段在邊緣節(jié)點(diǎn)空間，網(wǎng)絡(luò)傳輸階段在網(wǎng)絡(luò)空間，t2之后的階段在邊緣服務(wù)器空間。在同一個(gè)時(shí)刻，每個(gè)空間的任務(wù)都獨(dú)立運(yùn)行，并且操作的對(duì)象不同。然而，前后任務(wù)的執(zhí)行速度之間存在制約關(guān)系，如果執(zhí)行速度相差很大，會(huì)造成視頻處理性能問題。例如，等待解碼時(shí)間會(huì)隨著視頻處理時(shí)間的增加而增加。因?yàn)榭臻g的獨(dú)立性，在邊緣服務(wù)器空間，雖然較長(zhǎng)的視頻處理時(shí)間導(dǎo)致大量的幀處在等待解碼階段，但是網(wǎng)絡(luò)空間仍然會(huì)源源不斷地向邊緣服務(wù)器傳輸幀，導(dǎo)致更多幀處在等待解碼階段，后繼幀便會(huì)有更長(zhǎng)的等待解碼時(shí)間。

Figure 2 Various stages in the frame life cycle圖2 幀生命周期中的各個(gè)階段

由圖3可知，幀的平均處理時(shí)間隨著分辨率的提高而增長(zhǎng)。將VideoCapture類的read()函數(shù)(如果有幀傳入，read()對(duì)幀解碼然后返回，如果在其設(shè)置的超時(shí)節(jié)點(diǎn)前沒有幀傳入，就返回空)返回一幀的時(shí)間稱作幀接收時(shí)間。如果幀接收時(shí)間越長(zhǎng)，幀的等待解碼時(shí)間越短，最短為0，如果幀接收時(shí)間越短，幀的等待解碼時(shí)間越長(zhǎng)。

Figure 3 Average frame processing time under different resolution configurations (frame rate=25 fps)圖3 不同分辨率配置下的幀平均處理時(shí)間(幀率為25 fps)

圖4a和圖4b分別表示分辨率為320×180(未出現(xiàn)丟幀)和1024×576(未出現(xiàn)丟幀)時(shí)，一次實(shí)驗(yàn)中幀接收時(shí)間的分布情況。經(jīng)分析可知，幀接收時(shí)間可以被分成2類，小于或等于20 ms的標(biāo)記為小幀接收時(shí)間，大于20 ms的標(biāo)記為大幀接收時(shí)間；就整體趨勢(shì)而言，1024×576的大幀接收時(shí)間小于320×180的大幀接收時(shí)間，而小幀接收時(shí)間大于320×180的小幀接收時(shí)間；數(shù)據(jù)顯示1024×576的小幀接收時(shí)間分布在2 ms和3 ms，320×180的小幀接收時(shí)間分布在0 ms和1 ms。本文又取連續(xù)100幀進(jìn)行分析，圖5表示100幀的幀接收時(shí)間的折線圖。經(jīng)分析可知，2種分辨率都是連續(xù)出現(xiàn)一個(gè)小幀接收時(shí)間，再出現(xiàn)一個(gè)大幀接收時(shí)間，依次循環(huán)下去。

Figure 4 Distribution of frame reception time (instantaneous value) of all frames in an experiment圖4 一次實(shí)驗(yàn)中所有幀的幀接收時(shí)間(瞬時(shí)值)分布情況

H.264協(xié)議定義了3種幀，完整編碼的幀為I幀，參考前面I幀編碼生成的只包含差異部分的幀叫P幀，還有一種參考前后幀編碼的幀叫B幀。H.264采用的核心算法是幀內(nèi)壓縮和幀間壓縮，幀內(nèi)壓縮是生成I幀的算法，幀間壓縮是生成B幀和P幀的算法。在H.264協(xié)議中，圖像以序列為單位進(jìn)行組織，一個(gè)序列是一段圖像編碼后的數(shù)據(jù)流，以I幀開始，到下一個(gè)I幀結(jié)束，并且一個(gè)序列中的幀數(shù)不是固定的，且只有一個(gè)I幀。

結(jié)合H.264的編解碼原理，對(duì)圖4和圖5做出以下解釋。圖5中一個(gè)循環(huán)包含的幀是一個(gè)幀序列，大幀接收時(shí)間對(duì)應(yīng)的幀是I幀，小幀接收時(shí)間對(duì)應(yīng)的幀是B幀和P幀。所以，小幀接收時(shí)間僅僅包含解碼時(shí)間，而大幀接收時(shí)間則包含邊緣服務(wù)器等待幀到達(dá)的時(shí)間和幀的解碼時(shí)間，上述情況下，read()函數(shù)需要等待幀到達(dá)，說明幀到達(dá)后能夠立即被解碼,它的等待解碼時(shí)間幾乎為0，只有一個(gè)序列中的B幀和P幀有少許等待解碼時(shí)間，所以上述情況不存在丟幀。由于空間的獨(dú)立性，在同一時(shí)間段，3個(gè)空間的任務(wù)都在同時(shí)執(zhí)行，但是處理的對(duì)象不同。前面幀被處理的時(shí)間越長(zhǎng)，覆蓋后繼幀在前面2個(gè)空間的時(shí)間也就越長(zhǎng)，read()函數(shù)等待幀到達(dá)的時(shí)間也就越短，即隨著分辨率的提高，大幀接收時(shí)間在縮短。圖6表示分辨率為1280×720(出現(xiàn)丟幀)和1920×1080(出現(xiàn)丟幀)時(shí)，一次實(shí)驗(yàn)中幀接收時(shí)間的分布情況(因?yàn)榇嬖趤G幀，所以幀數(shù)小于500)。

Figure 5 Distribution of frame reception time (instantaneous value) for 100 consecutive frames圖5 連續(xù)100幀的幀接收時(shí)間(瞬時(shí)值)的分布情況

Figure 6 Distribution of frame reception time (instantaneous value) of all frames in one experiment圖6 所有幀的幀接收時(shí)間(瞬時(shí)值)分布情況

經(jīng)分析可知，存在丟幀時(shí)，幾乎沒有大幀接收時(shí)間，小幀接收時(shí)間比320×180和1024×576的小幀接收時(shí)間長(zhǎng)。即如果幀的處理時(shí)間足夠長(zhǎng)，read()函數(shù)不需要等待幀到達(dá)，即使到達(dá)的幀也不能被實(shí)時(shí)處理。到達(dá)的幀長(zhǎng)時(shí)間等待解碼導(dǎo)致大量幀堆積在邊緣服務(wù)器端，所以會(huì)出現(xiàn)解碼錯(cuò)誤和丟幀。

經(jīng)上述分析可知，幀的解碼時(shí)間隨著分辨率的提高而增長(zhǎng)，幀的等待處理時(shí)間也隨著分辨率的提高而增長(zhǎng)，較長(zhǎng)的等待解碼時(shí)間會(huì)導(dǎo)致系統(tǒng)丟幀。

3.2 基于幀緩沖隊(duì)列的視頻處理加速

由3.1節(jié)分析可知，系統(tǒng)出現(xiàn)丟幀的原因如圖7所示，即邊緣服務(wù)器端處理器性能不足和視頻數(shù)據(jù)量大導(dǎo)致當(dāng)前幀(圖像)處理時(shí)間較長(zhǎng)，從而導(dǎo)致下一幀的接收時(shí)間短(意味著幀的等待解碼時(shí)間長(zhǎng))，造成幀堆積，因此解碼出錯(cuò)、丟幀。下文是本文為解決丟幀提出的方案。

Figure 7 Reasons for frame loss in the system圖7 系統(tǒng)出現(xiàn)丟幀的原因

處理器的性能不是本文優(yōu)化的重點(diǎn)。此外，由于視頻參數(shù)存在多樣性，在邊緣實(shí)時(shí)視頻處理系統(tǒng)中，視頻數(shù)據(jù)量大也是難以避免的。因此，解決丟幀的核心問題是縮短幀的等待解碼時(shí)間。考慮到計(jì)算機(jī)系統(tǒng)軟件結(jié)構(gòu)采用的是一種層的結(jié)構(gòu)，計(jì)算機(jī)科學(xué)領(lǐng)域的任何問題都可以通過增加一個(gè)間接的中間層來解決。為了解決幀的等待解碼時(shí)間過長(zhǎng)問題，本文在幀接收和幀處理之間加上緩沖，即將未及時(shí)處理的幀緩沖下來，避免幀堆積。緩沖的介質(zhì)是內(nèi)存，代碼層面的實(shí)現(xiàn)是隊(duì)列，記作“幀緩沖隊(duì)列”?？紤]到多線程訪問問題，本文系統(tǒng)中的隊(duì)列是C++語言封裝的線程安全隊(duì)列。

由計(jì)算機(jī)體系結(jié)構(gòu)基礎(chǔ)知識(shí)可知，因?yàn)镃PU頻率發(fā)展受阻，SMP和多核的時(shí)代到來了。單個(gè)CPU頻率有限，因此應(yīng)用程序的設(shè)計(jì)應(yīng)該充分挖掘計(jì)算機(jī)硬件能力，提高計(jì)算機(jī)執(zhí)行效率。特別是對(duì)于實(shí)時(shí)視頻處理這樣對(duì)系統(tǒng)性能要求極高的應(yīng)用程序，需要充分挖掘計(jì)算機(jī)系統(tǒng)資源，從而最優(yōu)化視頻處理性能。由上述得到啟發(fā)，可以通過多核處理由一個(gè)邊緣節(jié)點(diǎn)傳入的視頻數(shù)據(jù)，從而縮短視頻處理時(shí)間。需要解決的是一個(gè)一對(duì)多的問題，即一路視頻流多路處理。直接在邊緣服務(wù)器端的幀接收處進(jìn)行視頻分流達(dá)到多路處理的目的是可行的，但是考慮到多路處理也會(huì)存在CPU成為性能瓶頸的問題，本文利用FBQ進(jìn)行分流。FBQ從2個(gè)層面解決丟幀問題，如圖8所示。一方面緩沖幀，縮短幀的等待解碼時(shí)間，從而減少幀堆積；另一方面充分利用多核資源，實(shí)現(xiàn)一路視頻流多路處理，從而加快視頻處理速度。實(shí)驗(yàn)結(jié)果表明，F(xiàn)BQ不僅可以解決系統(tǒng)丟幀問題，還可以降低其它系統(tǒng)資源的消耗，比如電能。

Figure 8 FBQ solves the problem of frame loss圖8 FBQ解決丟幀問題

算法1表示FBQ分流后的視頻處理流程，主要包含2個(gè)函數(shù)。函數(shù)pushFrame被生產(chǎn)者線程執(zhí)行(只有一個(gè)生產(chǎn)者線程)，執(zhí)行的任務(wù)是打開視頻流地址，解碼獲取視頻幀，進(jìn)行圖像預(yù)處理，將處理后的幀放入幀緩沖隊(duì)列。本文中的圖像預(yù)處理(圖像縮放)，將縮小后的幀放入幀緩沖隊(duì)列，可以降低系統(tǒng)內(nèi)存消耗。函數(shù)popFrame被消費(fèi)者線程執(zhí)行(有多個(gè)消費(fèi)者線程)，執(zhí)行的任務(wù)是從幀緩沖隊(duì)列中取出幀，進(jìn)行后續(xù)圖像處理(本文是人臉檢測(cè))。

算法1FBQ分流后的視頻處理算法

Input:videoAddress,queue。/*視頻流地址，幀緩沖隊(duì)列*/

Output:NULL。

1:FunctionpushFrame(videoAddress,queue)

2:capture←VideoCapture(videoAddress) /*打開視頻流地址*/

3:while(capture>>imagOriginal&& !queue.full())do

4:imag←imgPreprocessing(imagOriginal) /*包括圖像縮放*/

5:queue.push(imag);/*預(yù)處理后的幀放入幀緩沖隊(duì)列，降低內(nèi)存消耗*/

6:endwhile

7:endFunction

8:FunctionpopFrame(queue)

9:while(!queue.empty())do

10:imag←queue.top();

11:queue.pop();

12:imageProcessing(imag);/*圖像處理*/

13:endwhile

14:endFunction

圖9是有FBQ系統(tǒng)的一路視頻流多路處理的模型圖，F(xiàn)BQ起到緩沖和分流的作用。緩沖解決幀的接收時(shí)延問題，避免幀堆積；分流可以使一路視頻多路處理，加速視頻處理速度。整個(gè)程序模型是經(jīng)典的生產(chǎn)者消費(fèi)者模型，生產(chǎn)者線程的任務(wù)是將收到的幀解碼存入FBQ，消費(fèi)者線程的任務(wù)是從FBQ中取出幀，然后進(jìn)行處理。實(shí)驗(yàn)結(jié)果表明，僅需要一個(gè)生產(chǎn)者線程就可以解決幀的實(shí)時(shí)接收問題，為了解決幀的實(shí)時(shí)處理問題，消費(fèi)者線程數(shù)需要根據(jù)視頻流參數(shù)而定。

Figure 9 Program running model diagram with FBQ system圖9 有FBQ系統(tǒng)的程序運(yùn)行模型圖

4 幀緩沖隊(duì)列對(duì)不同視頻源的影響

4.1 實(shí)驗(yàn)?zāi)康暮蛯?shí)驗(yàn)配置

該組實(shí)驗(yàn)是為了探究視頻分辨率和幀率對(duì)視頻處理性能和邊緣服務(wù)器性能的影響，在有FBQ系統(tǒng)(With FBQ)和無FBQ系統(tǒng)(No FBQ)中探究不同參數(shù)的視頻數(shù)據(jù)對(duì)視頻處理的性能影響。視頻處理性能指標(biāo)有幀接收率FRR、人臉檢測(cè)率FDR(Face Detection Rate)和總視頻處理時(shí)間TPT(Total Processing Time)。幀接收率和人臉檢測(cè)率的計(jì)算方式分別如式(1)和式(2)所示：

FRR=邊緣節(jié)點(diǎn)發(fā)送的視頻幀數(shù)/

邊緣服務(wù)器接收的視頻幀數(shù)

(1)

FDR=檢測(cè)出人臉的視頻幀數(shù)/

邊緣服務(wù)器接收的視頻幀數(shù)

(2)

總視頻處理時(shí)間指邊緣節(jié)點(diǎn)與邊緣服務(wù)器建立連接到邊緣服務(wù)器處理完最后一幀之間的時(shí)間。服務(wù)器性能指標(biāo)有內(nèi)存使用率(Memused)和系統(tǒng)功耗(Power)。

本文搭建實(shí)時(shí)視頻處理的邊緣計(jì)算平臺(tái)，平臺(tái)包括邊緣節(jié)點(diǎn)(樹莓派)和邊緣服務(wù)器(臺(tái)式機(jī))，邊緣服務(wù)器的應(yīng)用程序是基于OpenCV的人臉檢測(cè)。實(shí)時(shí)視頻流的傳輸機(jī)制為：Raspivid視頻捕獲工具把從攝像機(jī)傳出的視頻流傳輸?shù)絍LC(Video LAN Client)轉(zhuǎn)碼成H.264網(wǎng)絡(luò)視頻流；再以TS(Transport Stream，一種碼流格式)的形式把幀封裝后輸出到指定端口；臺(tái)式機(jī)通過訪問視頻地址接收實(shí)時(shí)視頻流。

視頻流傳輸示意圖如圖10所示，整個(gè)過程包括邊緣節(jié)點(diǎn)端的視頻流編碼、網(wǎng)絡(luò)傳輸和邊緣服務(wù)器端的解碼和處理。

Figure 10 Schematic diagram of video stream transmission圖10 視頻流傳輸示意圖

各個(gè)節(jié)點(diǎn)之間的實(shí)物連接圖如圖11所示。邊緣服務(wù)器可以同時(shí)為多路邊緣節(jié)點(diǎn)服務(wù)，邊緣服務(wù)器架構(gòu)是基于Linux環(huán)境的高并發(fā)服務(wù)器模型，應(yīng)用程序是基于OpenCV的人臉檢測(cè)。邊緣節(jié)點(diǎn)主動(dòng)與邊緣服務(wù)器建立連接，連接成功后，邊緣節(jié)點(diǎn)向邊緣服務(wù)器發(fā)送視頻流地址；邊緣服務(wù)器通過流媒體地址接收視頻數(shù)據(jù)，并進(jìn)行實(shí)時(shí)處理，直到邊緣節(jié)點(diǎn)終止發(fā)送。

Figure 11 Connection topology diagram between nodes圖11 節(jié)點(diǎn)之間的連接拓?fù)鋱D

實(shí)驗(yàn)硬件配置如表1所示。軟件配置如下：OpenCV的版本是3.1.0；圖像預(yù)處理階段將所有的幀縮小為原來的1/2；目標(biāo)區(qū)域像素值的下限為30×30，沒有設(shè)置上限；人臉檢測(cè)模型是haarcascade_frontalface_default.xml。實(shí)驗(yàn)環(huán)境：僅考慮一個(gè)邊緣節(jié)點(diǎn)與邊緣服務(wù)器相連；網(wǎng)絡(luò)環(huán)境采用有線網(wǎng)絡(luò)；目標(biāo)物距離攝像頭正前方1 m；實(shí)驗(yàn)室光線不變。

4.2 分辨率

該組實(shí)驗(yàn)以分辨率作為實(shí)驗(yàn)變量，探究視頻分辨率對(duì)邊緣實(shí)時(shí)視頻處理的影響。視頻時(shí)長(zhǎng)設(shè)置為20 s，幀率為25 fps(即一次實(shí)驗(yàn)傳輸?shù)膸瑪?shù)是500)。本文使用11種分辨率(1920×1080，1600×900，1366×768，1280×720，1024×576，960×540，854×480，720×405，640×360，480×270，320×180)進(jìn)行實(shí)驗(yàn)，探究5個(gè)性能指標(biāo)隨著分辨率提高的變化情況。為了對(duì)比性能，功耗實(shí)驗(yàn)系統(tǒng)使用多個(gè)消費(fèi)者線程，其它性能指標(biāo)系統(tǒng)使用單個(gè)消費(fèi)者線程。圖12
表示不同分辨率配置下，幀接收率、視頻處理時(shí)間、邊緣服務(wù)器的內(nèi)存使用率和功耗的分布情況。

Table 1 Hardware configuration

由實(shí)驗(yàn)結(jié)果可知，低分辨率會(huì)導(dǎo)致人臉識(shí)別率降低，其原因是低分辨率圖像中出現(xiàn)的人臉像素點(diǎn)數(shù)不在實(shí)驗(yàn)設(shè)置的目標(biāo)檢測(cè)區(qū)域像素大小范圍內(nèi)。對(duì)于其它量變比較明顯的性能指標(biāo)，后文將使用可視化圖形表示，并進(jìn)行性能分析。

由圖12a可知，隨著分辨率的提高，無FBQ系統(tǒng)的幀接收率呈現(xiàn)明顯遞減趨勢(shì)，而有FBQ系統(tǒng)的幀接收率則保持不變，即不存在丟幀。由圖12b可知，隨著分辨率的提高，無FBQ系統(tǒng)的總視頻處理時(shí)間呈現(xiàn)緩慢遞增趨勢(shì)，最大值相較于最小值僅增加了8.73%；而有FBQ系統(tǒng)的總視頻處理時(shí)間呈現(xiàn)迅速遞增趨勢(shì)，最大值相較于最小值增加了96.91%。

由圖12c可知，隨著分辨率的提高，無FBQ系統(tǒng)的內(nèi)存使用率呈現(xiàn)緩慢遞增趨勢(shì)，最大值相較于最小值僅增加了6.5%；而有FBQ系統(tǒng)的內(nèi)存使用率呈現(xiàn)迅速遞增趨勢(shì)，最大值相較于最小值增加了130.68%。由圖12d可知，隨著分辨率的提高，2種系統(tǒng)的邊緣服務(wù)器端功耗都是呈遞增趨勢(shì)，但是對(duì)于每一種分辨率的視頻，有FBQ系統(tǒng)的邊緣服務(wù)器端功耗都要低于無FBQ系統(tǒng)的。

Figure 12 Performance indicators under different resolution configurations圖12 不同分辨率配置下的性能指標(biāo)

圖13表示了對(duì)于有FBQ系統(tǒng)，當(dāng)使用不同的線程進(jìn)行視頻處理時(shí)，邊緣服務(wù)器端系統(tǒng)內(nèi)存使用率的變化趨勢(shì)。分析可知，多線程可以縮短視頻的處理時(shí)間，并且降低了系統(tǒng)的最大內(nèi)存使用率。

Figure 13 Memory usage under different thread count configurations圖13 不同線程數(shù)分配下的內(nèi)存使用率

無FBQ系統(tǒng)由于處理器處理能力弱導(dǎo)致幀堆積，從而導(dǎo)致解碼出錯(cuò)丟幀。幀緩沖隊(duì)列的加入不僅可以緩沖未及時(shí)處理的幀，還可以利用多核處理器并行處理緩沖幀，從而加速視頻處理。由上述實(shí)驗(yàn)結(jié)果可知，幀緩沖隊(duì)列并沒有從本質(zhì)解決系統(tǒng)丟幀(處理器性能不足導(dǎo)致丟幀)。在有FBQ系統(tǒng)中，如果處理器能力不夠，由于大量緩沖幀，系統(tǒng)會(huì)因?yàn)閮?nèi)存成為瓶頸導(dǎo)致丟幀，并且由于處理緩沖幀，也很難保證視頻處理的實(shí)時(shí)性。但是，如果系統(tǒng)的CPU資源與處理任務(wù)量匹配，當(dāng)幀率是25 fps時(shí)，隨著分辨率的增加，有FBQ系統(tǒng)在保障最佳的幀接收率和低功耗的同時(shí)，還可以保障視頻的實(shí)時(shí)處理。

4.3 幀率

該部分實(shí)驗(yàn)以幀率作為實(shí)驗(yàn)變量，探究視頻幀率對(duì)邊緣實(shí)時(shí)視頻處理性能的影響。一共包含2組實(shí)驗(yàn)，一組將分辨率設(shè)置為640×360(低分辨率代表)，另一組將分辨率設(shè)置為1280×720(高分辨率代表)。本文使用12種幀率(10 fps，15 fps，20 fps，25 fps，30 fps，35 fps，40 fps，45 fps，50 fps，55 fps，60 fps，65 fps)進(jìn)行實(shí)驗(yàn)，探究5個(gè)性能指標(biāo)隨著幀率提高的變化情況。視頻時(shí)長(zhǎng)設(shè)置為20 s，為了進(jìn)行對(duì)比，對(duì)于功耗指標(biāo)，實(shí)驗(yàn)中視頻處理的方式采用多個(gè)消費(fèi)者線程，而其它的性能指標(biāo)則采用單個(gè)消費(fèi)者線程。分辨率設(shè)置為640×360時(shí)，有FBQ系統(tǒng)和無FBQ系統(tǒng)中，人臉檢測(cè)率不受幀率的影響。

由圖14可知，2種系統(tǒng)的幀接收率的變化趨勢(shì)一致，均是當(dāng)幀率低于25 fps和高于55 fps時(shí)出現(xiàn)丟幀。這種丟幀是由于邊緣節(jié)點(diǎn)的編碼出錯(cuò)而導(dǎo)致的，與邊緣服務(wù)器的性能無關(guān)。為了進(jìn)一步探索丟幀原因，統(tǒng)計(jì)了幀率是65 fps時(shí)一次實(shí)驗(yàn)中幀接收時(shí)間的分布情況，如圖15所示。經(jīng)分析可知，當(dāng)分辨率是640×360，幀率是65 fps時(shí)，一次實(shí)驗(yàn)中所有幀的幀接收時(shí)間包含小幀接收時(shí)間，也包含大幀接收時(shí)間，所以不存在由于幀的接收時(shí)延而導(dǎo)致丟幀的情況。

Figure 14 Frame reception rate under different frame rate configurations (resolution=640 × 360)圖14 不同幀率配置下的幀接收率(分辨率為640×360)

Figure 15 Distribution of the frame reception time (instantaneous value) of all frames in one experiment (resolution=640 × 360,frame rate=65 fps)圖15 一次實(shí)驗(yàn)中所有幀的幀接收時(shí)間(瞬時(shí)值)分布情況(分辨率為640×360，幀率為65 fps)

圖16中的圖16a～圖16c分別表示分辨率是640×360時(shí)，視頻處理時(shí)間和邊緣服務(wù)器端內(nèi)存使用率和功耗3個(gè)性能指標(biāo)隨著幀率提高的變化情況。

Figure 16 Performance indicators under different frame rate configurations (resolution=640 × 360)圖16 不同幀率配置下的性能指標(biāo)(分辨率為640×360)

由圖16可知，2種系統(tǒng)中視頻處理時(shí)間和內(nèi)存使用率變化趨勢(shì)基本一致，均不受幀率影響；邊緣服務(wù)器端功耗均隨著幀率的提高而增加，但是對(duì)于所有幀率而言，有FBQ系統(tǒng)的邊緣服務(wù)器端功耗都要低于無FBQ系統(tǒng)的。由上一組實(shí)驗(yàn)得知，小于25 fps和大于55 fps的幀率會(huì)導(dǎo)致邊緣節(jié)點(diǎn)丟幀，所以分辨率是1280×720時(shí)，本組實(shí)驗(yàn)只取中間7種幀率。同樣，分辨率是1280×720時(shí)，隨著幀率的提高，人臉檢測(cè)率沒有變化，保持較好的狀態(tài)。圖17表示分辨率為1280×720時(shí)，幀接收率、視頻處理時(shí)間、內(nèi)存使用率和邊緣服務(wù)器端系統(tǒng)功耗4個(gè)性能指標(biāo)隨著幀率提高的變化情況。

Figure 17 Performance indicators under different frame rate configurations (resolution=1280 × 720)圖17 不同幀率配置下的性能指標(biāo)(分辨率為1280×720)

由圖17a可知，無FBQ系統(tǒng)的幀接收率呈下降趨勢(shì)，而有FBQ系統(tǒng)的幀接收率一直是100%。由圖17b可知，無FBQ系統(tǒng)的視頻處理時(shí)間隨分辨率的提高呈小范圍的波動(dòng)，而有FBQ系統(tǒng)的視頻處理時(shí)間呈明顯遞增趨勢(shì)。由圖17c可知，無FBQ系統(tǒng)的內(nèi)存使用率也隨著分辨率的提高呈小范圍波動(dòng)，而有FBQ系統(tǒng)的內(nèi)存使用率呈明顯遞增趨勢(shì)。由圖17d可知，無FBQ系統(tǒng)的邊緣服務(wù)器端系統(tǒng)功耗呈先上升后下降的趨勢(shì)，這種趨勢(shì)是因?yàn)殡S著幀率的提高系統(tǒng)出現(xiàn)丟幀，導(dǎo)致數(shù)據(jù)量減??；而有FBQ系統(tǒng)的邊緣服務(wù)器端系統(tǒng)功耗一直呈上升趨勢(shì)；從低幀率部分的圖像趨勢(shì)可知，有FBQ系統(tǒng)的邊緣服務(wù)器端系統(tǒng)功耗依舊低于無FBQ系統(tǒng)的。

綜合本節(jié)上述分析可知，幀率對(duì)人臉檢測(cè)率沒有影響；如果分辨率較低，幀率對(duì)系統(tǒng)性能和視頻處理性能幾乎沒有影響，如果分辨率較高，高幀率會(huì)加劇系統(tǒng)負(fù)擔(dān)，無FBQ系統(tǒng)會(huì)出現(xiàn)丟幀，而有FBQ系統(tǒng)也需要消耗更多的系統(tǒng)資源來保證幀接收率和視頻的實(shí)時(shí)處理。

從實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：視頻參數(shù)的多樣性給邊緣視頻處理帶來了很多難題，本文實(shí)驗(yàn)中不同視頻分辨率和幀率的視頻處理效果并不相同。本文發(fā)現(xiàn)，由于邊緣節(jié)點(diǎn)處理能力較弱，高分辨率和高幀率的視頻數(shù)據(jù)容易增加系統(tǒng)負(fù)擔(dān)，將導(dǎo)致視頻處理性能較差?？梢詮囊韵路矫鎳L試解決該問題：如果實(shí)時(shí)視頻監(jiān)控場(chǎng)景需要高分辨率，邊緣節(jié)點(diǎn)端可以在保證監(jiān)控信息不丟失的前提下，盡可能地降低視頻幀率，這樣不僅可以節(jié)約網(wǎng)絡(luò)帶寬，還可以減少邊緣服務(wù)器的負(fù)擔(dān)，提高視頻處理的性能；對(duì)于低分辨率就能滿足的監(jiān)控場(chǎng)景，可以提高視頻幀率來提高監(jiān)控質(zhì)量，避免信息遺漏，以捕獲到更多實(shí)時(shí)信息，這樣既不會(huì)給邊緣服務(wù)器帶來太大的系統(tǒng)性能損失，也不會(huì)降低視頻處理性能。

5 結(jié)束語

本文通過實(shí)驗(yàn)發(fā)現(xiàn)高分辨率和高幀率視頻會(huì)導(dǎo)致系統(tǒng)丟幀，其原因是數(shù)據(jù)量的增加加劇了系統(tǒng)處理器負(fù)擔(dān)，導(dǎo)致幀的接收時(shí)延增加，從而產(chǎn)生丟幀。因此，本文提出利用幀緩沖隊(duì)列(FBQ)來解決上述丟幀問題，并以分辨率和幀率為實(shí)驗(yàn)變量，分析有FBQ系統(tǒng)和無FBQ系統(tǒng)的5個(gè)性能指標(biāo)的差異。通過實(shí)驗(yàn)發(fā)現(xiàn)，人臉檢測(cè)率與分辨率的大小有關(guān)，而與幀率無關(guān)。無FBQ系統(tǒng)中，高分辨率加劇系統(tǒng)丟幀；分辨率大于720×405時(shí)，高幀率也會(huì)加劇丟幀，但分辨率小于720×405時(shí)，幀率對(duì)幀接收率沒有影響；隨著分辨率和幀率的提高，系統(tǒng)的功耗都呈上升趨勢(shì)；而分辨率和幀率對(duì)系統(tǒng)內(nèi)存使用率和視頻處理時(shí)間影響不大。相較于無FBQ系統(tǒng)，有FBQ系統(tǒng)中，不僅不存在丟幀，而且還減少了系統(tǒng)功耗；僅有一個(gè)視頻處理線程時(shí)，由于需要處理FBQ中的緩沖幀，隨著分辨率和幀率的提高，視頻處理時(shí)間和內(nèi)存使用率都會(huì)呈現(xiàn)明顯遞增趨勢(shì)。