基于FFmpeg+OpenCV 技術(shù)的廣播電視無線發(fā)射臺站音視頻集中分發(fā)流媒體管理平臺

羅秋云

（廣西廣播電視無線傳播樞紐臺，廣西 南寧 530022）

0 引言

廣西廣播電視無線傳播樞紐臺監(jiān)控平臺通過廣西廣播電視技術(shù)中心自主研發(fā)的廣西整省（區(qū)）廣播電視無線發(fā)射臺站智慧運維管理系統(tǒng)（以下簡稱廣西遠程監(jiān)控系統(tǒng)）實現(xiàn)了對全區(qū)包括區(qū)、市、縣、鄉(xiāng)4 級共877 個中波、實驗、調(diào)頻、電視無線發(fā)射臺站的智能化和自動化管理。本文以廣西遠程監(jiān)控系統(tǒng)為應(yīng)用案例，探索并建設(shè)一種基于FFmpeg 和OpenCV 技術(shù)的廣播電視無線發(fā)射臺站音視頻集中分發(fā)流媒體管理平臺。

1 現(xiàn)狀需求和設(shè)計目的

1.1 現(xiàn)狀及需求

廣西遠程監(jiān)控系統(tǒng)已實現(xiàn)對全區(qū)無線發(fā)射臺站信號源、發(fā)射機、供配電系統(tǒng)以及機房環(huán)境、傳輸網(wǎng)絡(luò)等運行情況進行統(tǒng)一集中監(jiān)控，但還存在以下問題。

第一，廣西遠程監(jiān)控系統(tǒng)主要采用點對點的方式獲取數(shù)字電視、調(diào)頻廣播及數(shù)字安防等信號，當多個不同客戶端獲取同一個臺站的同一個信號時，需要從臺站發(fā)送多個相同的信號到服務(wù)器，容易造成同時觸發(fā)流量過大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬堵塞，無形中浪費了大量的寬帶資源[1]。

第二，無線發(fā)射臺站端音視頻流有數(shù)字電視、調(diào)頻廣播和數(shù)字安防等廣播電視信號，涉及無線傳輸鏈路各個節(jié)點、不同廠家的各種不同設(shè)備。如何對這些不同廣播電視流進行統(tǒng)一轉(zhuǎn)編碼，從而實現(xiàn)異構(gòu)設(shè)備傳輸流（Transport Stream，TS）的集中管理，成為一個難題。

第三，無線發(fā)射臺站音視頻信號種類繁多，包含各個無線發(fā)射臺站重點部位的實時攝像頭視頻、廣播電視節(jié)目衛(wèi)星光纖主備信號源和空收流等，需要建立一個管理平臺監(jiān)管這些音視頻信號，及時、準確地發(fā)現(xiàn)安全播出事件，從而更有效地提高安全播出保障能力[2]。

為解決上述問題，搭建基于流媒體技術(shù)的廣播電視無線發(fā)射臺站音視頻集中分發(fā)管理平臺，采用流媒體技術(shù)實現(xiàn)廣播電視無線發(fā)射臺站音視頻流的集中分發(fā)，可按多節(jié)目、多臺站定制化廣播電視音視頻信號多節(jié)目多臺站多畫面輪播監(jiān)測，并支持不同廣播電視音視頻流的統(tǒng)一編轉(zhuǎn)碼，從而解決音視頻信號重復(fù)傳輸導(dǎo)致的網(wǎng)絡(luò)擁堵，實現(xiàn)無線發(fā)射臺站音視頻信號的集中監(jiān)管，提高安全播出保障能力。

1.2 設(shè)計目的

為解決廣播電視音視頻信號重復(fù)傳輸問題，實現(xiàn)不同廣播電視音視頻信號多畫面輪播監(jiān)測和異構(gòu)設(shè)備TS 流的集中管理，廣西廣播電視無線傳播樞紐臺計劃搭建基于流媒體技術(shù)的廣播電視無線發(fā)射臺站音視頻集中分發(fā)管理平臺，提高安全播出保障能力，項目預(yù)期效果如下。

第一，利用流媒體技術(shù)實現(xiàn)廣播電視無線發(fā)射臺站音視頻流的集中分發(fā)，解決同時觸發(fā)流量過大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬的堵塞問題。

第二，按多節(jié)目、多臺站定制化多畫面輪播監(jiān)測，實時監(jiān)控臺站端調(diào)頻廣播、數(shù)字安防、數(shù)字電視的音視頻信號，可以通過對比信號源與空收流信號準確定位故障點，提高運維效率[3]。

第三，支持不同廣播電視音視頻信號的統(tǒng)一編轉(zhuǎn)碼，能夠接入各種不同類型的設(shè)備，實現(xiàn)異構(gòu)設(shè)備TS 流的集中管理。

第四，對外提供統(tǒng)一的實時音視頻調(diào)用接口，可為遠程監(jiān)控系統(tǒng)提供音視頻信號。

2 系統(tǒng)設(shè)計及應(yīng)用

2.1 系統(tǒng)架構(gòu)

基于FFmpeg 和OpenCV 技術(shù)的廣播電視無線發(fā)射臺站音視頻集中分發(fā)流媒體管理平臺主要由臺站流媒體回傳系統(tǒng)、流媒體代理服務(wù)集群和流媒體發(fā)布平臺組成。其中，流媒體代理服務(wù)集群和發(fā)布平臺部署在廣西遠程監(jiān)控系統(tǒng)中心平臺，流媒體回傳軟件部署在廣西全區(qū)96 座發(fā)射臺站終端，利用已有的10 Mb·s-1光纖回傳鏈路，通過瀏覽器網(wǎng)頁、個人計算機（Personal Computer，PC）客戶端、手機App、微信小程序等方式，實時監(jiān)控臺站端廣播電視音視頻信號的播放情況，以實現(xiàn)對全區(qū)無線發(fā)射臺站的音視頻信號進行實時集中監(jiān)控，整體架構(gòu)如圖1 所示。

圖1 系統(tǒng)拓撲

2.2 臺站流媒體回傳系統(tǒng)

2.2.1 系統(tǒng)拉流

臺站端的流媒體回傳系統(tǒng)主要部署在臺站端的服務(wù)器和主控電腦臺站，接收來自光纖及衛(wèi)星輸入流、地面數(shù)字多媒體廣播（Digital Terrestrial Multimedia Broadcasting，DTMB）接收機空收流，支持拉取多種格式的TS 流。

2.2.2 FFmpeg 編解碼

采用FFmpeg 方法將接收的廣播電視多節(jié)目數(shù)據(jù)流解復(fù)用，按音視頻pid 進行拆分轉(zhuǎn)碼，重新封裝為新的視頻流，然后將新視頻流從用戶數(shù)據(jù)報協(xié)議（User Datagram Protocol，UDP）轉(zhuǎn)協(xié)議為HTTP+TS的單播視頻流。該系統(tǒng)還將接收來自?？低暦?wù)器的實時流傳輸協(xié)議（Real Time Streaming Protocol，RTSP）監(jiān)控視頻流轉(zhuǎn)為HTTP+TS 的單播視頻流，從而實現(xiàn)臺站端調(diào)頻廣播、數(shù)字電視輸入輸出數(shù)字安防音視頻的編解碼和拉流。同時，該軟件還支持RTSP、實時傳輸協(xié)議（Real-time Transport Protocol，RTP）、基于HTTP 的自適應(yīng)碼率流媒體傳輸（HTTP Live Streaming，HLS）、超文本傳輸協(xié)議（Hyper Text Transfer Protocol，HTTP）、UDP 等協(xié)議的相互轉(zhuǎn)換，實現(xiàn)無線發(fā)射臺站音視頻不同格式、不同協(xié)議的轉(zhuǎn)換功能，為流媒體實時點播奠定了基礎(chǔ)。

2.2.3 OpenCV 播放音視頻

客戶端接收到單播視頻流后，解碼存入dst視頻。由于視頻格式是yuv420，需要將其轉(zhuǎn)碼為rgb 格式。將轉(zhuǎn)碼后的數(shù)據(jù)存入OpenCV 中，從而實現(xiàn)解碼后的視頻播放。

2.3 流媒體代理集群

在廣西遠程監(jiān)控系統(tǒng)中心平臺搭建由3 臺流媒體服務(wù)器組成的流媒體代理集群，負責(zé)接收流媒體發(fā)布平臺的請求命令，實現(xiàn)與臺站端流媒體回傳軟件的交互，通過負載均衡方式拉取臺站的節(jié)目并轉(zhuǎn)發(fā)給請求的客戶端，流程如圖2 所示。但由于光纖回傳鏈路帶寬只有10 Mb·s-1，帶寬資源有限，為降低各臺站回傳節(jié)目帶寬，當有多個客戶端請求同一個臺站的同一個節(jié)目時，臺站只需回傳一路節(jié)目即可，再轉(zhuǎn)發(fā)給多個客戶端?？蛻舳丝梢灾苯釉跒g覽器中播放視頻，無須安裝其他播放器插件，使用JS控制，將字節(jié)流發(fā)送給瀏覽器媒體解碼器進行播放，實時觀看音視頻節(jié)目[4]。

圖2 節(jié)目回傳流程

2.4 流媒體發(fā)布平臺

在廣西遠程監(jiān)控中心平臺搭建流媒體發(fā)布平臺，集成全區(qū)95 座無線發(fā)射臺海量音視頻信號，可實時監(jiān)控臺站端調(diào)頻廣播、數(shù)字安防及數(shù)字電視的音視頻信號。流媒體發(fā)布平臺接收不同客戶端的播放請求，根據(jù)流媒體代理集群的負載情況合理分配資源，向臺站端流媒體回傳軟件拉取音視頻信號，并對臺站回傳音視頻信號進行分發(fā)，實現(xiàn)視、音頻格式統(tǒng)一化和轉(zhuǎn)發(fā)，同時確保不因同時觸發(fā)流量過大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬堵塞。

流媒體發(fā)布平臺支持多形式終端接入，可通過網(wǎng)頁瀏覽器、PC 客戶端、手機App 及微信小程序等方式實時監(jiān)控臺站端廣播電視音視頻信號的播放情況；并提供HTTP-JSON 接口，終端可向流媒體平臺申請拉流，實現(xiàn)音視頻信號的實時在線預(yù)覽。

流媒體發(fā)布平臺對外提供統(tǒng)一的實時音視頻調(diào)用接口，為廣西遠程監(jiān)控系統(tǒng)提供所需的音視頻信號，支持輸入流斷開后定期進行重連，重連間隔可配置，保證輸出與輸入同步恢復(fù)。

2.5 多畫面輪播監(jiān)測

多畫面輪播監(jiān)測平臺可按多節(jié)目、多臺站定制化音視頻信號多畫面輪播監(jiān)測；根據(jù)需求制定輪播方案，并根據(jù)方案選擇添加所需臺站的廣播電視音視頻信號，設(shè)定輪詢間隔，按照設(shè)定的畫面數(shù)量進行輪播，這樣可以多畫面查看多臺站、多節(jié)目的播出效果；通過對比信號源和空收流，可以快速判斷故障點，提高運維能力。

3 社會效益和創(chuàng)新點

3.1 社會效益

廣播電視監(jiān)測工作是廣播電視事業(yè)的重要組成部分。廣西無線發(fā)射臺站流媒體平臺解決了信號重復(fù)傳輸?shù)膯栴}，為廣西廣播電視無線傳播樞紐臺監(jiān)控平臺提供穩(wěn)定、不間斷、全方位的音視頻信號集中監(jiān)控系統(tǒng)。平臺利用流媒體技術(shù)實現(xiàn)廣播電視無線發(fā)射臺站音視頻流的集中分發(fā)，解決了同時觸發(fā)流量過大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬的堵塞問題；按多節(jié)目、多臺站定制化多畫面輪播監(jiān)測，實時監(jiān)控臺站端調(diào)頻廣播、數(shù)字安防、數(shù)字電視的音視頻信號，信號傳輸穩(wěn)定、監(jiān)測數(shù)據(jù)完整，有效提高安全播出保障能力[5]。平臺極大地提升了運維效率，采用瀏覽器/服務(wù)器（Browser/Server，B/S）方式對各臺站的不同音視頻信號進行24 h 在線監(jiān)控，可以通過對比信號源與空收流信號，準確定位故障點，可預(yù)防劣播、錯播及停播等安全播出事件，實時查看臺站端環(huán)境安防情況，可精準定位故障點，提高運維人員的工作效率。平臺對外提供統(tǒng)一的實時音視頻調(diào)用接口，為遠程監(jiān)控系統(tǒng)提供音視頻信號。

3.2 創(chuàng)新點

廣西無線發(fā)射臺站流媒體平臺具有以下創(chuàng)新點。

第一，采用FFmpeg 和OpenCV 方法實現(xiàn)廣播電視臺站地面數(shù)字電視遠程集中音視頻監(jiān)控。平臺采用FFmpeg 通過對AVS+音視頻的高效編轉(zhuǎn)碼、圖片尺寸壓縮，降低分辨率，在圖像上添加水印信息，利用音頻數(shù)據(jù)重采樣降低音頻數(shù)據(jù)量等，完成對AVS+視頻的低碼率轉(zhuǎn)換。轉(zhuǎn)碼后的音視頻通過流媒體平臺回傳至廣西遠程監(jiān)控中心平臺，采用OpenCV 讀取圖像，實現(xiàn)臺站音視頻遠程集中監(jiān)控。

第二，采用流媒體集群代理+平臺管理方式，實現(xiàn)對廣播電視無線發(fā)射臺站音視頻流的集中拉取、分發(fā)管理，解決了傳統(tǒng)廣播電視臺站多終端向同一設(shè)備拉流造成網(wǎng)絡(luò)擁堵問題。當多個客戶端向平臺請求同一個音視頻，該平臺只需獲取一路音視頻流，再轉(zhuǎn)發(fā)給多個客戶端，有效解決了同時觸發(fā)流量過大導(dǎo)致服務(wù)器、網(wǎng)絡(luò)帶寬的堵塞問題。

第三，采用流媒體技術(shù)實現(xiàn)廣播電視無線發(fā)射臺站音視頻節(jié)目集中多畫面輪播監(jiān)測。平臺根據(jù)需求制訂輪播方案和設(shè)置輪播參數(shù)后，通過輪播展示，可以在同一頁面監(jiān)測多個臺站、多個節(jié)目的實時音視頻信號。通過對比信號源和空收流，可以快速判斷故障點，提高運維能力。

第四，實現(xiàn)不同廣播電視音視頻流的統(tǒng)一編轉(zhuǎn)碼。平臺支持RTSP、RTP、HLS、HTTP 及UDP 等協(xié)議的相互轉(zhuǎn)換，實現(xiàn)廣播電視音視頻不同格式、不同協(xié)議的轉(zhuǎn)換功能，實現(xiàn)異構(gòu)設(shè)備TS 流的集中管理。

4 結(jié)語

廣西無線發(fā)射臺站流媒體平臺于2022 年6 月開發(fā)完成，目前已在廣西全區(qū)95 個一、二、三級無線發(fā)射臺站部署流媒體回傳軟件，并在廣西遠程監(jiān)控中心平臺部署流媒體發(fā)布平臺和流媒體代理集群。該平臺自2022 年6 月上線應(yīng)用以來，通過廣播電視音視頻信號集中轉(zhuǎn)發(fā)，有效解決了網(wǎng)絡(luò)擁堵問題。它采用定制化多節(jié)目多臺站多畫面輪播監(jiān)測，實時監(jiān)控95 個無線發(fā)射臺站的調(diào)頻廣播、數(shù)字安防、數(shù)字電視的音視頻信號，可以準確定位故障點，提高運維效率。平臺信號傳輸穩(wěn)定、監(jiān)測數(shù)據(jù)完整，有效提高了安全播出保障能力。