福建氣象高清會(huì)商系統(tǒng)故障與應(yīng)急處理

田功平 曹海 駱慧倫

(福建省氣象信息中心，福建 福州 350007)

引言

福建氣象高清視頻會(huì)商系統(tǒng)視頻全網(wǎng)達(dá)到高清視頻會(huì)議系統(tǒng)的最高標(biāo)準(zhǔn)1080P，音頻采用模擬和數(shù)字調(diào)音集成控制，系統(tǒng)核心設(shè)備采用雙機(jī)熱備，系統(tǒng)穩(wěn)定性也得到根本保證。高清視頻會(huì)商系統(tǒng)的啟用，使會(huì)商的所有細(xì)節(jié)得到完美呈現(xiàn)，構(gòu)建了更為人性化的會(huì)商環(huán)境，進(jìn)一步提高了預(yù)報(bào)員交流和決定服務(wù)的平臺(tái)支撐能力。

1 福建氣象高清視頻會(huì)商系統(tǒng)的特點(diǎn)

作為省級(jí)會(huì)商控制中心，福建氣象高清會(huì)商系統(tǒng)扮演著上接國(guó)家氣象局，下連地市、縣級(jí)氣象局的重要角色，是國(guó)家氣象會(huì)商系統(tǒng)的重要環(huán)節(jié)。福建氣象高清會(huì)商系統(tǒng)能與中國(guó)氣象局高清會(huì)商系統(tǒng)實(shí)現(xiàn)無(wú)縫連接，很好地實(shí)現(xiàn)了省氣象臺(tái)與中央氣象臺(tái)、市氣象局以及縣氣象局的級(jí)聯(lián)互通。系統(tǒng)能夠進(jìn)行高清視頻、高分辨PC信號(hào)及音頻信號(hào)的雙向傳輸，可實(shí)現(xiàn)遠(yuǎn)距離直觀、真實(shí)的音視頻交流，集音頻、視頻、圖象、文字、數(shù)據(jù)為一體，提供即時(shí)通信、視頻播放、視頻錄制保存和回放等，實(shí)現(xiàn)全方位的實(shí)時(shí)多媒體會(huì)議，滿足日常天氣預(yù)報(bào)會(huì)商、電視電話會(huì)議、學(xué)術(shù)交流及技術(shù)培訓(xùn)、應(yīng)急指揮等業(yè)務(wù)需求，系統(tǒng)的諸多特點(diǎn)影響著系統(tǒng)的穩(wěn)定性和可靠性。

1.1 網(wǎng)絡(luò)終端多

福建氣象高清會(huì)商系統(tǒng)主要包括省、市、縣三級(jí)高清會(huì)商系統(tǒng)。主要由1個(gè)省級(jí)會(huì)商控制中心，1個(gè)省臺(tái)會(huì)商主會(huì)場(chǎng)，5個(gè)省級(jí)直屬單位會(huì)場(chǎng)，8個(gè)設(shè)區(qū)市氣象局會(huì)場(chǎng)和59個(gè)縣級(jí)臺(tái)站終端會(huì)場(chǎng)，應(yīng)急車移動(dòng)終端以及近200個(gè)軟終端組成。網(wǎng)絡(luò)節(jié)點(diǎn)分布全省各市縣，對(duì)網(wǎng)絡(luò)連通性、寬帶要求非常高，并且經(jīng)常要求會(huì)商國(guó)家、省、市、縣幾級(jí)級(jí)聯(lián)，實(shí)現(xiàn)會(huì)商的上下轉(zhuǎn)發(fā)或交互，有時(shí)還要求分層同時(shí)召開幾個(gè)會(huì)議，對(duì)系統(tǒng)的級(jí)聯(lián)性和控制管理性要求高。

1.2 集成子系統(tǒng)多

福建氣象高清會(huì)商系統(tǒng)主要由會(huì)商網(wǎng)絡(luò)子系統(tǒng)、MCU會(huì)議管理子系統(tǒng)、高清終端管理子系統(tǒng)、DVI矩陣控制子系統(tǒng)、音頻矩陣控制子系統(tǒng)、大屏顯示子系統(tǒng)、錄播子系統(tǒng)、CMA管理子系統(tǒng)和雙流PC子系統(tǒng)等9大子系統(tǒng)組成。每個(gè)子系統(tǒng)有單獨(dú)的設(shè)備，但又互相集成在一起，線路復(fù)雜，如果控制中心9個(gè)子系統(tǒng)的任何一個(gè)子系統(tǒng)出現(xiàn)故障，就會(huì)直接影響到整個(gè)系統(tǒng)的正常運(yùn)行。

1.3 會(huì)商頻率高

由于氣象部門業(yè)務(wù)的特殊性，每天至少召開1次全國(guó)和1次省市級(jí)視頻會(huì)商2場(chǎng)會(huì)議，每年召開會(huì)議近1000多場(chǎng)，使用頻率極高。特別是在遇到臺(tái)風(fēng)等災(zāi)害性天氣期間一天有時(shí)召開好幾場(chǎng)，一天運(yùn)行時(shí)間持續(xù)近10h，系統(tǒng)必須時(shí)刻保持完好，對(duì)系統(tǒng)的運(yùn)行穩(wěn)定性提出了極高的要求。

1.4 視音頻質(zhì)量要求高

目前，省-市-縣三級(jí)遵循H.264協(xié)議高清標(biāo)準(zhǔn)，全網(wǎng)實(shí)現(xiàn)H.239數(shù)據(jù)雙流，該系統(tǒng)采用高清視頻會(huì)議系統(tǒng)的標(biāo)準(zhǔn)1080P，即通常所說(shuō)的高清晰度電視，畫面分辨率有效顯示格式為1920像素×1080像素，像素?cái)?shù)達(dá)到207.36萬(wàn)。其數(shù)字1080則表示垂直方向有1080條橫向掃描線，字母p意為逐行掃描(Progressive Scan)。幀速率通常為30幀·s-1(FPS)，即HDMI輸出為1080p30，省-市-縣三級(jí)會(huì)商達(dá)到1080P視頻圖像效果，使日常會(huì)商/會(huì)議畫面清晰度顯著提高，同時(shí)，音頻方面系統(tǒng)采用C8數(shù)字音頻矩陣控制，達(dá)到ITU 20kHz以上高清效果。

2 福建氣象高清視頻會(huì)商系統(tǒng)應(yīng)急備份系統(tǒng)設(shè)計(jì)

一個(gè)好的系統(tǒng)，必須要有良好的系統(tǒng)網(wǎng)絡(luò)、運(yùn)行穩(wěn)定性和備份應(yīng)急能力。根據(jù)系統(tǒng)運(yùn)行和業(yè)務(wù)特點(diǎn)，主要對(duì)網(wǎng)絡(luò)、核心服務(wù)器和終端采取了雙備份的應(yīng)急方案的設(shè)計(jì)。網(wǎng)絡(luò)子系統(tǒng)采取了核心網(wǎng)絡(luò)雙鏈路、雙路由冗余熱備和自動(dòng)切換功能；核心服務(wù)器MCU采用雙機(jī)熱備，能實(shí)現(xiàn)與會(huì)者自動(dòng)重邀，繼續(xù)召開會(huì)議；與會(huì)終端采取互為主備設(shè)計(jì)，確保了與會(huì)者快速應(yīng)急參與會(huì)議，從而實(shí)現(xiàn)整個(gè)系統(tǒng)的穩(wěn)定、可靠和快速應(yīng)急。

2.1 福建氣象高清視頻會(huì)商系統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)

因?yàn)楦咔逡曇纛l傳輸網(wǎng)絡(luò)流量大，所以必須要有安全穩(wěn)定的網(wǎng)絡(luò)和一定的帶寬作保證。國(guó)家、省、市和縣四級(jí)網(wǎng)絡(luò)帶寬都實(shí)行MSTP和MPLS VPN雙線路，并在雙鏈路基礎(chǔ)上實(shí)現(xiàn)了雙路由冗余熱備和自動(dòng)切換功能，很大地提高了系統(tǒng)的可靠性和可擴(kuò)展性。高清會(huì)商系統(tǒng)主要運(yùn)行在MSTP網(wǎng)絡(luò)上，為確保數(shù)據(jù)流量的可靠傳輸，當(dāng)MSTP鏈路出現(xiàn)故障，VRRP匯聚路由器或主交換機(jī)自動(dòng)將視頻會(huì)議切換至MPLS-VPN鏈路，MPLS-VPN鏈路從standby狀態(tài)切換至active狀態(tài)，從而實(shí)現(xiàn)網(wǎng)絡(luò)鏈路應(yīng)急。

2.2 高清視頻會(huì)商系統(tǒng)MCU應(yīng)急備份系統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)

2.2.1 省局MCU雙機(jī)熱備

系統(tǒng)配置中省局MCU為2臺(tái)RMX2000-Classic，已調(diào)試配置熱備份，此熱備份采用心跳線技術(shù)，實(shí)現(xiàn)主機(jī)一旦故障或斷網(wǎng)后，備機(jī)將自動(dòng)從standby狀態(tài)切換至active狀態(tài)，并對(duì)主機(jī)召開會(huì)議的與會(huì)者進(jìn)行自動(dòng)重邀，保證在50s內(nèi)完成會(huì)議重新召開。

2.2.2 各地市局MCU雙機(jī)熱備

現(xiàn)系統(tǒng)配置中市局MCU為2臺(tái)RMX500C(增加配置1臺(tái)RMX500C)，此熱備份采用心跳線技術(shù)，實(shí)現(xiàn)主機(jī)一旦故障或斷網(wǎng)后，備機(jī)將自動(dòng)從standby狀態(tài)切換至active狀態(tài)，并對(duì)主機(jī)召開會(huì)議的與會(huì)者進(jìn)行自動(dòng)重邀，保證在50s內(nèi)完成會(huì)議重新召開。其熱備實(shí)現(xiàn)的原理與省局RMX2000-Classic熱備機(jī)制相同。

2.3 高清視頻會(huì)商系統(tǒng)終端備份系統(tǒng)設(shè)計(jì)

省級(jí)會(huì)商控制中心配備2個(gè)華為終端和2個(gè)寶利通終端，當(dāng)參加全國(guó)會(huì)商時(shí)，高清華為終端一與華為終端二互為主備，當(dāng)一個(gè)終端無(wú)法與會(huì)時(shí)，備用終端開始啟用，國(guó)家主站自動(dòng)呼入，此時(shí)視、音頻通過矩陣手動(dòng)切換到備用終端，即正常參加會(huì)議；當(dāng)召開省級(jí)會(huì)商時(shí)，寶利通終端一與轉(zhuǎn)發(fā)全國(guó)會(huì)議的寶利通終端二互為備份，當(dāng)一個(gè)終端無(wú)法與會(huì)時(shí)，備用寶利通終端將可作應(yīng)急備份使用，實(shí)現(xiàn)節(jié)點(diǎn)與會(huì)終端的應(yīng)急。省級(jí)控制中心高清視頻會(huì)商終端應(yīng)急處理運(yùn)行圖見圖1。

圖1 省級(jí)控制中心高清視頻終端會(huì)商故障應(yīng)急處理運(yùn)行圖

2.4 高清視頻會(huì)商系統(tǒng)音頻備份系統(tǒng)設(shè)計(jì)

2.4.1 麥克風(fēng)應(yīng)急備份

省局、市局會(huì)場(chǎng)基本使用指向型麥克風(fēng)，應(yīng)在演講位置配備應(yīng)急備份麥克風(fēng)，可與主麥克風(fēng)同時(shí)輸入聲音，無(wú)論哪個(gè)麥克風(fēng)出現(xiàn)問題，保證有一個(gè)麥克風(fēng)正常輸入聲音；考慮使用視頻會(huì)議終端配備全向麥克風(fēng)作為硬件應(yīng)急措施，一旦麥克風(fēng)出現(xiàn)問題后，將全向麥克風(fēng)連接至終端，保證聲音輸入；對(duì)于省會(huì)商大廳，可考慮建設(shè)吊頂麥克風(fēng)來(lái)作為應(yīng)急備份措施。

2.4.2 SoundStructure應(yīng)急備份

省局會(huì)商大廳配置2臺(tái)SoundStructure C16做雙機(jī)熱備，主、備2臺(tái)設(shè)備通過矩陣連接相同的線纜，當(dāng)主機(jī)無(wú)法使用時(shí)，可立刻啟用備機(jī)，利用矩陣將信號(hào)切換至備機(jī)，使備機(jī)頂替主機(jī)進(jìn)行工作。省級(jí)控制中心SoundStructure應(yīng)急備份圖見圖2。

圖2 省級(jí)控制中心SoundStructure故障應(yīng)急處理運(yùn)行圖

3 故障處理與快速應(yīng)急的實(shí)現(xiàn)

由于省級(jí)會(huì)商系統(tǒng)運(yùn)行影響因素多，涉及到的故障種類復(fù)雜，主要包括視頻網(wǎng)絡(luò)、MCU服務(wù)器、視音頻處理終端、顯示等9大子系統(tǒng)故障，而系統(tǒng)在應(yīng)急方案上作了很好的設(shè)計(jì)，從根本上解決了系統(tǒng)在視頻網(wǎng)絡(luò)、MCU服務(wù)器和視頻終端出現(xiàn)3大故障的問題，實(shí)現(xiàn)系統(tǒng)的自動(dòng)路由和自動(dòng)備份切換，確保系統(tǒng)主要設(shè)備和網(wǎng)絡(luò)快速應(yīng)急，確保了系統(tǒng)運(yùn)行穩(wěn)定和可靠。在視頻會(huì)議系統(tǒng)用戶端，系統(tǒng)常見顯示的是視頻、音頻和雙流3方面的故障。在視頻源方面，系統(tǒng)使用了雙攝像頭實(shí)現(xiàn)互為備份的功能；在音頻方面，系統(tǒng)使用數(shù)字和模擬調(diào)音臺(tái)相互集成兼容實(shí)現(xiàn)相互備份的功能；在雙視頻流方面，系統(tǒng)同樣使用了2臺(tái)筆記本達(dá)到相互備份的目的。下面對(duì)視頻、音頻與雙流3種故障分步進(jìn)行快速診斷和處理，實(shí)現(xiàn)快速應(yīng)急。

3.1 音頻故障處理與應(yīng)急

3.1.1 在會(huì)議中出現(xiàn)完全聽不見聲音時(shí)

查看終端是否有閉音，如有，取消閉音。

檢查網(wǎng)絡(luò)連通性，如連通中斷或連通性不好，采用備用網(wǎng)絡(luò)線路。

在確認(rèn)已連接和對(duì)方有聲音的前提下，可直接把終端聲音直接輸出到應(yīng)急音響進(jìn)行故障應(yīng)急處理，如有，屬于音響設(shè)備故障；如沒有，則終端故障，可重啟終端或啟用備用終端。

在確認(rèn)C8數(shù)字調(diào)音臺(tái)出現(xiàn)故障的前提下可把終端聲音直接輸出到模擬調(diào)音臺(tái)進(jìn)行故障應(yīng)急處理。

在確認(rèn)模擬調(diào)音臺(tái)出現(xiàn)故障的前提下可把C8數(shù)字調(diào)音臺(tái)聲音直接輸出到應(yīng)急音響進(jìn)行故障應(yīng)急處理。

3.1.2 在會(huì)議中出現(xiàn)本地發(fā)言沒有聲音時(shí)

測(cè)試話筒好壞和本地聲音是否完好，判斷是話筒還是音響有故障，并采取備用話筒或備用音響。

檢查MCU演講者的聲音是否打開，若沒有打開，請(qǐng)點(diǎn)擊取消靜音。

檢查網(wǎng)絡(luò)連通性，如連通中斷或連通性不好，采用備用網(wǎng)絡(luò)線路。

把話筒聲音直接輸出給終端，若仍沒聲音，則確認(rèn)終端出現(xiàn)故障，可重啟終端或啟動(dòng)備用終端進(jìn)行應(yīng)急處理；若直接輸出給終端有聲音，則可判斷為調(diào)音臺(tái)設(shè)備故障。

在確認(rèn)模擬調(diào)音臺(tái)出現(xiàn)故障的前提下可把話筒聲音直接輸入到終端進(jìn)行故障應(yīng)急處理。

在確認(rèn)數(shù)字調(diào)音臺(tái)出現(xiàn)故障的前提下可把模擬調(diào)音臺(tái)聲音直接輸入到終端進(jìn)行故障應(yīng)急處理。

3.2 視頻故障處理與應(yīng)急

3.2.1 在會(huì)議中出現(xiàn)完全沒有視頻影像時(shí)

檢查測(cè)試網(wǎng)絡(luò)連通性，如不通，采用備用網(wǎng)絡(luò)線路和備用終端進(jìn)行應(yīng)急。

檢查本地顯示設(shè)備，如果確認(rèn)本地顯示設(shè)備或線路有故障，則檢查連接線或切換大屏顯示進(jìn)行故障處理與應(yīng)急。

當(dāng)對(duì)方有視頻輸入時(shí)，檢查MCU會(huì)議管理頁(yè)面是否設(shè)置其為演講者或返回其視頻。

3.2.2 在會(huì)議中出現(xiàn)本地沒有視頻影像時(shí)

檢查攝像頭在本地是否能正常顯示，若本地不能顯示，則檢查連接線，或啟用備用攝像頭進(jìn)行故障處理與應(yīng)急。

檢查視頻矩陣輸入是否正確，重新把攝像頭輸入給與會(huì)終端。

檢查測(cè)試網(wǎng)絡(luò)連通性，否則，采用備用網(wǎng)絡(luò)線路和備用終端進(jìn)行應(yīng)急。

3.3 雙流發(fā)送故障處理與應(yīng)急

3.3.1 看不到遠(yuǎn)端的雙流PC或雙流出現(xiàn)黑屏、藍(lán)屏等

檢查視頻輸出是否正確，如果確認(rèn)本地顯示設(shè)備有故障，則檢查連接線和重新切換PC雙流輸出，如果顯示設(shè)備已壞，可采取切換大屏顯示進(jìn)行故障處理與應(yīng)急。

檢查MCU會(huì)議管理頁(yè)面是否設(shè)置其為演講者，并聯(lián)系對(duì)方是否已發(fā)送雙流。

如對(duì)方雙流發(fā)送有問題，可查找電腦分辨率設(shè)置、輸出線路、發(fā)送設(shè)備及終端設(shè)備是否完好以及網(wǎng)絡(luò)連通性是否完好；如對(duì)方發(fā)送成功，但接收不到，則本地顯示或終端有故障，可采用切換顯示、重啟終端或使用備用終端等方法進(jìn)行處理應(yīng)急。

3.3.2 本地雙流發(fā)送失敗或黑屏、藍(lán)屏等

省市會(huì)商時(shí)，如果Touch Control設(shè)置正確但發(fā)送不成功時(shí)，可選擇網(wǎng)頁(yè)軟遙控或備用軟件發(fā)送雙流；全國(guó)會(huì)商時(shí)，如果設(shè)置正確但遙控發(fā)送不成功時(shí)，可選擇采用備用遙控發(fā)送。

檢查會(huì)議終端視頻及雙流輸入，如輸入正確發(fā)送失敗，則終端或網(wǎng)絡(luò)有故障，檢查網(wǎng)絡(luò)連通性是否完好，可采取備用網(wǎng)絡(luò)線路、備用終端或重啟終端。

如果PC本地不能顯示，可查找電腦分辨率設(shè)置、輸出線路是否完好等問題，并可采用備用電腦發(fā)送。

4 結(jié)束語(yǔ)

福建氣象高清會(huì)商系統(tǒng)從系統(tǒng)整體上構(gòu)建了網(wǎng)絡(luò)的雙鏈路、MCU服務(wù)器的雙機(jī)熱備和視音頻處理終端的雙備份，從技術(shù)上很好地實(shí)現(xiàn)了網(wǎng)絡(luò)線路故障的自動(dòng)路由、服務(wù)器的自動(dòng)切換和終端的備份應(yīng)急；對(duì)于常見的視、音頻和雙流故障，提供了很好的故障流程判斷方法以及進(jìn)行故障處理與快速應(yīng)急，增強(qiáng)了系統(tǒng)運(yùn)行的穩(wěn)定性和維護(hù)的方便性，提高了系統(tǒng)的快速處置故障能力。