HVR系統(tǒng)中多路視頻接入和處理的軟件設(shè)計

溫彩健 李東英 覃家露 江懷通

廣東電網(wǎng)有限責(zé)任公司云浮新興供電局 廣東 云浮 527400

引言

當(dāng)前視頻編制與網(wǎng)絡(luò)通信技術(shù)的不帶發(fā)展，以往傳統(tǒng)的模擬視頻技術(shù)已被高清網(wǎng)絡(luò)和網(wǎng)絡(luò)視頻技術(shù)所代替，但高清技術(shù)的成本較高，存在了一定的局限性，為此廠商針對此現(xiàn)象推出了HVR系統(tǒng)產(chǎn)品的模型。

1 多路視頻圖像處理系統(tǒng)的發(fā)展歷程

過去人們通過報紙和廣播來傳播信息，當(dāng)前電視的發(fā)展和互聯(lián)網(wǎng)的普及，越來越多的信息從電視和互聯(lián)網(wǎng)上轉(zhuǎn)移過來，除了獲取信息，信息的載體也在發(fā)生變化，現(xiàn)在更多的信息以視頻和圖像的形式出現(xiàn)，所謂的計算機媒體顯示模式就是實現(xiàn)的實現(xiàn)，從原來的計算機顯示系統(tǒng)發(fā)展到成功的文本系統(tǒng)，計算機媒體顯示平臺成了助推器，用于進(jìn)一步推廣計算機。1964年，JPL利用圖像處理技術(shù)對圖像進(jìn)行校正和去噪，提高了噪聲和月球圖像的顯示效果[1]。這一巨大成功也是圖像處理技術(shù)在實際應(yīng)用中的首次成功。當(dāng)前圖像處理技術(shù)、計算機技術(shù)、通信技術(shù)、人工智能的發(fā)展，圖像處理已經(jīng)成為一門非常有吸引力和廣泛應(yīng)用的學(xué)科，而數(shù)字圖像處理也取得了很大的進(jìn)步，人們研究了先進(jìn)的數(shù)字圖像處理對圖像的理解，為計算機提供了內(nèi)容。如果人類的視覺系統(tǒng)了解外部世界，就會投入更多的人力和物力進(jìn)行這項研究，并取得成功。視頻和圖像技術(shù)的發(fā)展使得多媒體的形式越來越具有互動性，各種媒體之間的互動也越來越強，計算機天生就是互動的，面對傳統(tǒng)媒體的引入，在藝術(shù)舞臺上，多媒體互動平臺，人機交互平臺和基于網(wǎng)絡(luò)的多媒體交互平臺是人機交互平臺和網(wǎng)絡(luò)平臺，它帶來了前所未有的視覺、聽覺和實踐體驗，受眾廣泛，已經(jīng)應(yīng)用于包括開放應(yīng)用在內(nèi)的諸多領(lǐng)域。在圖案知識的指導(dǎo)下，數(shù)字媒體研究人員的工作使人們的生活更加自動，多媒體之間的互動促進(jìn)了互動的發(fā)生和發(fā)展，并為視頻的綜合處理和傳輸提供了良好的平臺和圖像[2]。輸入網(wǎng)絡(luò)攝像機中包含在輸入中，網(wǎng)絡(luò)攝像機可以實時捕獲每個監(jiān)控點的流量條件，然后發(fā)送捕獲的真實通過特殊分析算法和數(shù)據(jù)中心對數(shù)據(jù)中心調(diào)度決定的時間信號，然后通過它通過Command Send傳遞給終端完成智能流量調(diào)度。

2 HVR系統(tǒng)框架

2.1 系統(tǒng)硬件框架

系統(tǒng)采用基于服務(wù)器的硬件架構(gòu)，服務(wù)器采用具有優(yōu)異處理性能的英特爾64位CPU處理器，并為硬盤陣列提供RAID管理，通過雙HVR設(shè)備實現(xiàn)高清網(wǎng)絡(luò)攝像機和千兆以太網(wǎng)服務(wù)器的視頻接入和網(wǎng)絡(luò)功能。系統(tǒng)的硬件架構(gòu)和處理性能確保了多通道視頻的訪問和陣列，并且RAID硬盤陣列技術(shù)用于實現(xiàn)圖像數(shù)據(jù)的可靠和有效存儲。

2.2 系統(tǒng)軟件框架[3]

服務(wù)器通過調(diào)用代碼板提供的接口函數(shù)來控制接口函數(shù)和代碼板驅(qū)動程序。為可以與不同的制造商的網(wǎng)絡(luò)攝像頭兼容，可以通過GB/T28181-2011中指定的SIP協(xié)議實現(xiàn)高清網(wǎng)絡(luò)攝像機，包括用于實現(xiàn)的模塊中的網(wǎng)絡(luò)攝像頭注冊，心跳報告，按需功能等。按照網(wǎng)絡(luò)攝像機的基本信息，網(wǎng)絡(luò)攝像頭的注冊和認(rèn)證。外部會話接收處理線程負(fù)責(zé)接收外部會話并啟動相應(yīng)的子線程。按照不同的會話類型，進(jìn)行不同的處理，完成視頻流的采集、錄制、錄制和播放攝像通道。該模塊將視頻流發(fā)送給在線攝像機，請求SIP信令來獲取視頻流，然后創(chuàng)建R、IP接收線程來接收攝像機的R-dish格式的視頻流。

2.3 多通道并發(fā)操作

在多通道視頻接收過程中，我們需要同時獲得多個相機通道的視頻流。視頻流可以同時運行，存儲和回放視頻。會話和頻道資源管理將導(dǎo)致通道視頻資源沖突。為可以解決上述問題，我們可以使用視頻流來實現(xiàn)以下問題，以便管理多個攝像機通道和會話，管理攝像機頻道資源，以及數(shù)據(jù)結(jié)構(gòu)對象對應(yīng)于相機通道資源。按照配置文件分配配置文件，初始化攝像機頻道，頻道資源提交攝像機頻道資源安全列表，頻道資源安全列表采用多頻道視頻，頻道資源統(tǒng)一，該結(jié)構(gòu)包括以下關(guān)鍵成員變量：①CMYESSEON*M-pmyessence，成員變量類負(fù)責(zé)管理相應(yīng)通道視頻流的采集和圖像數(shù)據(jù)處理操作，對該類進(jìn)行了詳細(xì)描述。成員變量NTNL U Cerarano定義相機通道號，識別相應(yīng)的相機通道的內(nèi)部數(shù)，并且負(fù)責(zé)管理相應(yīng)信道的視頻流采集和圖像數(shù)據(jù)處理，包括密鑰成員變量和功能：①LPVRLstructurern PVRL，成員變量在CMYES-Sion類和相機通道資源之間建立相應(yīng)的關(guān)系；②StaticUintProcessing Speoqueue，在相應(yīng)的信道編碼處理之后，成員函數(shù)獲得線程功能。Clascpsession用于管理攝像機通道的會話請求。對于攝影機通道資源中的每個不同會話，cppseion類創(chuàng)建一個cppseion類。它是會話的最小單位。同一相機頻道資源的所有會話都由會話資源列表管理器管理。成員變量和函數(shù)如下：①Enumsessiontype是一種枚舉類型，定義會話類型，包括實時回放、視頻存儲和視頻回放會話類型。IJPVRISTRUCTMPVRL，成員變量使視頻會話與相應(yīng)的攝像機通道資源之間的對應(yīng)關(guān)系，在snack，demand ID中，每個不同的會話請求都有一個demand ID參數(shù)，該參數(shù)是會話的唯一標(biāo)識符，用于區(qū)分RREADSTREATHREADFUNC，當(dāng)存在新的會話請求時，會話過程如下：①創(chuàng)建一個新的CP2膠片會話對象，按照會話請求信息成員變量實例化對象，②在相機通道中查找相應(yīng)的相機通道資源列表確定會話類型。如果會話顯示在實時或視頻存儲會話中（例如，歷史視頻播放會話），則執(zhí)行步驟5。對于實時VOD和視頻存儲會話，我們需要共享來自攝像機通道的編碼es流并分發(fā)視頻流。對于這兩種類型的會話，我們首先確定實例化的RN pmyes會話成員變量類是否存在于相應(yīng)的相機通道資源PPVL中。如果不存在，則表示在會話之前沒有獲得該頻道的視頻流記錄。您需要創(chuàng)建cmyesession類的新對象，實例化成員變量，并將camera channel資源綁定到m-pmyesession對象。在CMyessession對象中啟動視頻處理線程，接收和處理由相應(yīng)的通道，輪詢和查詢會話列表中編碼的視頻數(shù)據(jù)和數(shù)據(jù)包，按照會話的數(shù)量和類型分配視頻流，啟動CP2psession對象，并獲得readstreamrreadfunc線程從內(nèi)存模塊的相應(yīng)通道的歷史視頻流，對象中的ptlshstrandata函數(shù)被調(diào)用為將代碼流發(fā)送到顯示端口。通過多通道視頻資源和會話的關(guān)聯(lián)，多通道并發(fā)操作的機制和代碼流分布更加完美，這避免了多個視頻信道并發(fā)操作與一個視頻通道同時運行的資源沖突。

2.4 會話安全結(jié)束機制

如果在同一個攝像頭通道中打開了多個會話，則應(yīng)在會話結(jié)束時安全釋放會話上的資源，如果會話占用的資源沒有完全釋放，則內(nèi)存泄漏會導(dǎo)致內(nèi)存泄漏，而這種情況的積累又可能導(dǎo)致系統(tǒng)崩潰，而會話占用的不完全發(fā)布可能會影響其他會話功能，因此設(shè)計了一套會話安全結(jié)束機制，保證系統(tǒng)在不影響其他會話功能的情況下有效發(fā)布會話資源，并導(dǎo)致系統(tǒng)內(nèi)存泄漏。

3 多路視頻接入處理軟件的設(shè)計與實現(xiàn)

3.1 多通道模擬攝像機視頻連接

視頻接收器和多通道模擬攝像機的處理部分主要調(diào)用編碼板的接口函數(shù)，對初始化編碼板并構(gòu)造編碼板的控制編碼板卡進(jìn)行視頻壓縮編碼。從編碼卡（elementstream）獲取編碼的視頻數(shù)據(jù)流。Es或YUV格式的視頻數(shù)據(jù)。完成了多路模擬視頻接入功能，并將多es設(shè)備封裝在可再生的節(jié)目流中。最后，提供與PS流相對應(yīng)的處理和傳輸，提供滿足特定流媒體格式的要求的數(shù)據(jù)源，用于諸如系統(tǒng)視頻記錄歷史視頻回放和視頻實時回放等功能。

當(dāng)模塊啟動時，讀取配置文件信息并初始化編碼板。您還可以升級編碼板固件，設(shè)置編碼板參數(shù)，以及設(shè)置編碼板上每個視頻通道的參數(shù)。調(diào)用代碼板驅(qū)動程序初始化代碼板。模塊初始化完成后，接收外部會話消息，根據(jù)消息啟動相應(yīng)的線程，并執(zhí)行相應(yīng)的功能。這里，創(chuàng)建外部消息會話接收處理線程，并且接收外部會話消息，并且根據(jù)不同的會話類型觸發(fā)每個事件處理線程。外部消息會話接收處理線程是軟件模塊的主線程，線程接收的主會話類型包括實時點式會話數(shù)據(jù)存儲會話和歷史視頻再現(xiàn)會話。

3.2 多通道hivision網(wǎng)絡(luò)攝像機的視頻接入與處理

多通道hi-vision網(wǎng)絡(luò)攝像機的接收和處理實現(xiàn)hi-vision網(wǎng)絡(luò)攝像機的接收，處理后通過網(wǎng)絡(luò)接口獲取hi-vision網(wǎng)絡(luò)攝像機的視頻碼流，傳輸?shù)较鄳?yīng)的功能模塊進(jìn)行存儲和再現(xiàn)控制。為了與各廠家的網(wǎng)絡(luò)攝像機兼容，HDTV網(wǎng)絡(luò)攝像機采用CB/T。SIP協(xié)議在28180-2011標(biāo)準(zhǔn)中定義，主要包括標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像機注冊、心率報告和請求。在該模塊中，可以根據(jù)網(wǎng)絡(luò)攝像機的基本信息進(jìn)行網(wǎng)絡(luò)攝像機的認(rèn)證和鑒權(quán)，并根據(jù)接收到的攝像機心跳信息判斷攝像機的在線狀態(tài)。

外部會話接收處理線程接收外部會話，根據(jù)不同的會話類型激活每個子線程，并獲取網(wǎng)絡(luò)攝像機頻道的視頻流，完成點記錄、記錄和再現(xiàn)等操作。該模塊向在線網(wǎng)絡(luò)攝像機發(fā)送視頻點播SIP信令以獲得碼流，并為RTP接收的子線程接收的網(wǎng)絡(luò)攝像機創(chuàng)建RTP格式的媒體流。媒體流根據(jù)不同的會話類型進(jìn)行處理。

3.3 多通道同時操作和視頻編碼傳送系統(tǒng)

需要同時獲得多信道視頻流，并且可以同時執(zhí)行實時視頻和視頻回放操作。針對以上問題，我們設(shè)計了一個完善的多通道同時操作系統(tǒng)8和一個視頻代碼傳輸機制。

定義以下幾個數(shù)據(jù)結(jié)構(gòu)和類來管理多個攝像頭通道和會話。

3.3.1 結(jié)構(gòu)。Vrestrict管理攝像機通道的資源，一個與攝像機通道資源相對應(yīng)的數(shù)據(jù)結(jié)構(gòu)對象，根據(jù)配置文件為結(jié)構(gòu)分配成員變量，初始化攝像機通道一旦通道初始化，通道將顯示在通道安全列表中。按頻道資源安全列表管理多頻道攝像機頻道資源。

Cmyessession公司*M。pmyessession是用于獲取相應(yīng)信道的視頻流和管理圖像數(shù)據(jù)處理操作的成員變量類。

3.3.2 NTMN攝像機編號成員變量定義相機通道編號，并標(biāo)識相應(yīng)相機通道的內(nèi)部編號。

3.3.3 Classic My Session控制相應(yīng)通道的采集和視頻數(shù)據(jù)處理，包括以下關(guān)鍵成員變量和函數(shù)。Lpvtrap公司 Mpvrl通過成員變量建立cmyeses-sion和攝像機信道資源之間的對應(yīng)關(guān)系。

3.3.4 靜態(tài)vintprocess videoque是一個線程函數(shù)，用于獲取和處理經(jīng)過相應(yīng)信道編碼后的視頻流。

3.3.5 班級 cp2會話用于管理攝像機通道的會話請求。

4 結(jié)束語

由上可知，HVR系統(tǒng)的布局靈活，不僅能夠介入模擬攝像機，且能夠介入數(shù)字網(wǎng)路攝像機，有著良好的發(fā)展前景。