邊緣實時視頻流分析系統(tǒng)配置動態(tài)調(diào)整算法研究

仇紅劍,曹 磊,谷開超

(江蘇電力信息技術(shù)有限公司,江蘇 南京 210024)

0 引言

基于深度神經(jīng)網(wǎng)絡(luò)[1-3](DNN)的實時視頻流分析使智慧城市建設(shè)、智慧工地項目以及智能駕駛等成為可能。 實時視頻流對于任務(wù)的響應(yīng)時延極其敏感,隨著離用戶更近、響應(yīng)時延更低的邊緣計算技術(shù)的不斷發(fā)展,邊緣服務(wù)器成為基于深度神經(jīng)網(wǎng)絡(luò)的視頻流分析的主要運行位置。 通過在邊緣服務(wù)器上執(zhí)行視頻流分析并向云端或用戶傳輸分析結(jié)果信息,可以降低視頻流分析任務(wù)的響應(yīng)時延,減少大量高清視頻對于廣域網(wǎng)帶寬的消耗,同時提高用戶信息的安全性。

但隨著基于深度神經(jīng)網(wǎng)絡(luò)的視頻流分析越來越多的部署在邊緣服務(wù)器上,邊緣服務(wù)器上需要處理的工作負(fù)載迅速增多。 邊緣服務(wù)器上的實時視頻流分析任務(wù)的服務(wù)質(zhì)量和配置選擇存在著變化的對應(yīng)關(guān)系,任意時刻服務(wù)質(zhì)量和配置之間的對應(yīng)關(guān)系是隨機(jī)的。 邊緣服務(wù)器面臨著如何面對隨機(jī)的服務(wù)質(zhì)量和配置對應(yīng)關(guān)系為邊緣上的實時視頻流分析任務(wù)選取執(zhí)行配置的問題。 亟須研究一種面向邊緣的實時視頻流分析系統(tǒng)配置動態(tài)調(diào)整算法,提高邊緣服務(wù)器上實時視頻流分析任務(wù)處理能力。

本文描述了一種基于側(cè)寫的實時視頻流任務(wù)配置更新和調(diào)整算法,通過動態(tài)調(diào)整邊緣上實時視頻分析任務(wù)的執(zhí)行配置,并動態(tài)對實時視頻分析任務(wù)的配置服務(wù)質(zhì)量進(jìn)行更新,達(dá)到提高邊緣上實時視頻流分析任務(wù)總體服務(wù)質(zhì)量的效果。 系統(tǒng)周期性的根據(jù)各實時視頻流分析任務(wù)的服務(wù)質(zhì)量與配置的對應(yīng)關(guān)系選擇需要更新服務(wù)質(zhì)量的配置,并決定各個實時視頻流分析任務(wù)的執(zhí)行配置,之后根據(jù)決定的配置進(jìn)行任務(wù)的執(zhí)行并獲取任務(wù)的反饋信息,最后根據(jù)任務(wù)的反饋信息對于各實時視頻流分析任務(wù)的服務(wù)質(zhì)量與配置的對應(yīng)關(guān)系進(jìn)行更新,以達(dá)到時刻維護(hù)系統(tǒng)中各任務(wù)服務(wù)質(zhì)量與配置對應(yīng)關(guān)系同時保證系統(tǒng)中任務(wù)的分析精度。

1 邊緣實時視頻流分析系統(tǒng)模型

為了提升系統(tǒng)整體服務(wù)質(zhì)量,需要對于系統(tǒng)運行過程建模。 以最大化系統(tǒng)長期服務(wù)質(zhì)量為目標(biāo),在考慮邊緣上資源約束以及服務(wù)連續(xù)性約束的基礎(chǔ)上,本文提出了面向邊緣的視頻流分析系統(tǒng)運行時模型。

系統(tǒng)的長期服務(wù)質(zhì)量定義如下,由每個時間槽和每個視頻流的服務(wù)質(zhì)量總和決定:

每個視頻流的服務(wù)質(zhì)量定義如下:

其中,yit代表在t時間時視頻流i是否需要更新配置,更新配置時系統(tǒng)會為該視頻流分配額外的資源用于部署標(biāo)準(zhǔn)配置,使用標(biāo)準(zhǔn)配置的結(jié)果作為其他配置更新服務(wù)質(zhì)量信息時的參照信息。xijt代表在t時間時視頻流i是否部署一個以j配置運行的視頻流任務(wù)。yit與xijt均為0~1 變量。 當(dāng)yit為1 時,系統(tǒng)會在時間槽結(jié)束時為視頻流的執(zhí)行配置運行服務(wù)質(zhì)量評估流程,以此更新系統(tǒng)中各視頻流的服務(wù)質(zhì)量與配置的對應(yīng)關(guān)系。aijt代表在t時間時視頻流i以配置j進(jìn)行視頻流分析時能夠得到的精度。 由于在每個時刻決策時無法獲取當(dāng)前時間視頻流分析時能夠得到的精度,系統(tǒng)使用當(dāng)前維護(hù)的視頻流預(yù)估精度μijt進(jìn)行計算。

系統(tǒng)中的約束主要存在兩種,一種是邊緣服務(wù)器的計算資源約束。 其含義是平均每個時刻視頻流使用的GPU 資源不能超過邊緣上的可用資源,否則會產(chǎn)生任務(wù)堆積,影響響應(yīng)時間。 計算資源約束的建模形式如下:

其中,P代表服務(wù)器的可用計算資源,oij代表視頻流分析任務(wù)i在使用配置j運行時每秒消耗的GPU 運行時間,該變量隨著時間變化波動較小,因此可以任務(wù)運行前通過額外實驗獲取。 特別的,oi0代表該視頻分析任務(wù)標(biāo)準(zhǔn)配置運行消耗的資源量,標(biāo)準(zhǔn)配置在任務(wù)運行前需要手動指定,并在系統(tǒng)運行過程中保持不變。

另一種是系統(tǒng)中服務(wù)連續(xù)性約束,實時視頻流分析任務(wù)需要連續(xù)不斷的運行,需要保證每個時刻每個視頻流至少有一個配置正在運行。 在該視頻流的配置服務(wù)質(zhì)量需要更新時,該視頻流執(zhí)行的配置可以超過一個。 因此,連續(xù)性約束建模形式如下:

第一個約束表示每個時刻每個視頻流都需要至少一個配置,第二個約束表示只有在視頻流的配置服務(wù)質(zhì)量需要更新時,該視頻流執(zhí)行的配置可以超過一個。

2 實時視頻流任務(wù)配置選擇算法

2.1 配置篩選

在視頻流分析任務(wù)中存在多維可選參數(shù),每維可選參數(shù)存在多種可選值,每維可選參數(shù)的所有可選值的笛卡爾積組成視頻流分析任務(wù)的所有配置,故視頻流分析任務(wù)中的配置數(shù)十分龐大,可能達(dá)到數(shù)百個配置。 每個配置都進(jìn)行考慮并更新對于問題求解以及系統(tǒng)運行都是巨大的負(fù)擔(dān),因此首先通過帕累托最優(yōu)篩選出具有代表性的配置,在后續(xù)選擇時只選擇這些配置。

首先,篩掉所有效益預(yù)期低于系統(tǒng)預(yù)期的配置,這些配置的執(zhí)行效果太差,一旦執(zhí)行會導(dǎo)致任務(wù)擠壓,所以應(yīng)當(dāng)首先出去。

其次,將所有的配置按照其消耗的資源量進(jìn)行排序,后續(xù)一定不會被選到的配置方案為滿足以下任一條件的配置方案:

其中:μ′ij-1為配置方案cij-1的準(zhǔn)確率,wij-1配置方案cij-1的計算資源開銷,cij-1為實時流式數(shù)據(jù)分析任務(wù)i以配置j -1 執(zhí)行的配置方案;μ′ij+1為配置方案cij+1的優(yōu)先級,wij+1配置方案cij+1的計算資源開銷,cij+1為實時流式數(shù)據(jù)分析任務(wù)i以配置j +1 執(zhí)行的配置方案。 第一項篩掉的是前一項比后一項優(yōu)秀的配置,因為此時配置j -1 的資源量比j的資源量要少,而且其處理準(zhǔn)確率比j要好,顯然選擇j -1 要優(yōu)先于j。 而后一項篩掉的是選取前后兩個配置要好于只選j配置的方案。

2.2 啟發(fā)式求解算法

將上文提出的長效優(yōu)化問題分解成每個時隙求解的子問題。 平均資源消耗則化為嚴(yán)格在每個時間資源消耗不超過P。 以上提出的每個時隙解決的問題是背包問題的特例,因此也是NPH 問題,無法在多項式時間內(nèi)給出最優(yōu)解。 本文針對上述問題提出啟發(fā)式算法進(jìn)行求解。 啟發(fā)式算法首先考慮不更新配置服務(wù)質(zhì)量關(guān)系以及只更新單一配置的情況,該種情況是原問題的一個可行解。 接著利用剩下的資源求解一個背包問題,即目標(biāo)是最大化所有流的服務(wù)質(zhì)量,約束條件是資源使用不超過限制,使得更新配置與服務(wù)質(zhì)量關(guān)聯(lián)關(guān)系的視頻流能夠得到盡量多的信息。 將第一步得到的結(jié)果與第二步得到的結(jié)果結(jié)合,得到的解仍然是原問題的一個解,這樣就得到了原問題的一個可行解。

3 實驗結(jié)果與分析

本文研究了面向邊緣環(huán)境的實時視頻流分析系統(tǒng)的配置更新與執(zhí)行問題,以最大化系統(tǒng)長期服務(wù)質(zhì)量為目標(biāo),在考慮邊緣上資源約束以及服務(wù)連續(xù)性約束的基礎(chǔ)上,提出了一種啟發(fā)式的服務(wù)質(zhì)量最大化算法以實現(xiàn)較優(yōu)的系統(tǒng)效益。

為了證明本文算法的可行性與效果,本文實現(xiàn)了實時視頻流分析原型系統(tǒng),并選取了真實交通路口車流監(jiān)控視頻進(jìn)行實驗。 在實驗中,配備CPU、Intel(R)Xeon(R)Gold 5117 CPU@ 2.00 GHz、GPU、GeForce RTX 2 080 Ti(11 GB)、內(nèi)存128 GB 的物理機(jī)器上部署視頻分析系統(tǒng),以便處理所有分析。 分析任務(wù)是基于DNN 的目標(biāo)檢測。 使用CUDA 10.1 和cuDNN 7.0 來加速DNN 推理速度。 本文使用darknet Python API 執(zhí)行DNN 模型進(jìn)行檢測,使用預(yù)先訓(xùn)練的對象檢測模型Yolov3-416,分類閾值為0.7。 該模型在COCO 圖像數(shù)據(jù)集上預(yù)訓(xùn)練,可以檢測80 個類。 實驗與目前最先進(jìn)的相關(guān)算法進(jìn)行對比,驗證了本算法能夠提升系統(tǒng)的整體服務(wù)質(zhì)量。 實驗結(jié)果如圖1 所示。

圖1 實驗結(jié)果

4 結(jié)語

針對邊緣服務(wù)器上的實時視頻流分析系統(tǒng)的配置選擇問題,本文提出了基于側(cè)寫的實時視頻流任務(wù)配置更新和調(diào)整算法用于提升邊緣服務(wù)器的實時視頻流分析任務(wù)的處理能力,想必其他同類算法。 本文算法能夠利用有限的資源提升邊緣服務(wù)器上現(xiàn)有任務(wù)的服務(wù)質(zhì)量或在平均服務(wù)質(zhì)量相近的情況下提升邊緣服務(wù)器上的視頻分析任務(wù)執(zhí)行任務(wù)數(shù)。