淺析互動電視常見點播故障的排查方法

趙 鵬，盧常威，袁小飛

（中國廣電山東網(wǎng)絡有限公司運維中心，山東 濟南 250062）

0 引言

2017年，中國廣電山東網(wǎng)絡有限公司建設了基于HLS協(xié)議的全業(yè)務云平臺互動電視系統(tǒng)，逐步將原有的NGOD架構的互動點播業(yè)務切換到了全業(yè)務云平臺上，這些業(yè)務包括時移、回看、SP業(yè)務（如華數(shù)高清、文廣高清、電視院線等業(yè)務）等，業(yè)務多、系統(tǒng)復雜，維護起來比較繁瑣。筆者多年來一直從事互動電視的建設、運維工作，下面介紹常見的點播故障及排查方法。

1 常見點播故障的排查方法

為了更好的分析問題排查故障，在報故障時制定了上報故障規(guī)范，并提前通知分公司。規(guī)范如下：一是明確什么業(yè)務出問題，并提供出故障的機頂盒的智能卡號，時間點，以及錄像或照片；二是根據(jù)分析故障需求，可提供網(wǎng)絡抓包以進一步分析；三是從地市分公司省公司的匯聚交換機上接出網(wǎng)線連接到STB上，通過繞開地市城域網(wǎng)的方式，點播是否能夠復現(xiàn)故障，能夠復現(xiàn)就是省公司或者機頂盒的問題。如果不能夠復現(xiàn)問題則是分公司本地網(wǎng)絡的問題。

運維人員需掌握的知識及會使用點播模擬器：一是熟悉互動電視系統(tǒng)的工作原理；二是能夠熟練使用Wireshark工具分析TCP， UDP， HLS協(xié)議；三是掌握點播模擬器的使用，該工具是根據(jù)機頂盒點播的流程開發(fā)的，工具可調用VLC直接播放點播故障視頻，以查看播放效果，或者將問題節(jié)目下載下來，使用碼流分析儀進行分析。

全省大面積用戶報故障的原因比較好排查，根據(jù)現(xiàn)象逐個模塊排查，以確定原因[1]。以下主要探討的是個別用戶上報的SP、時移回看業(yè)務黑屏、馬賽克故障排查。

1.1 SP業(yè)務故障排查

（1）個別用戶點播黑屏故障排查。根據(jù)用戶提供的智能卡號從ES（授權服務器）中查看是否有該SP業(yè)務的套餐，如果沒有套餐，需要重新開套餐。如果有套餐，根據(jù)節(jié)目名稱從CMS（節(jié)目管理系統(tǒng)）查詢節(jié)目是否成功注入CDN中，如果沒有注入成功，需要查看注入模塊的日志，進行分析原因， 并重新注入節(jié)目。如果都不是上面的原因，可以通過抓機頂盒的網(wǎng)絡包，用Wireshark分析報文查找原因，以及開啟機頂盒的日志，抓取日志，并協(xié)調機頂盒廠家排查。

（2）個別用戶點播馬賽克故障排查。對于馬賽克問題，首先查看是否同一位置馬賽克，如果是同一位置，說明是節(jié)目源有問題，聯(lián)系SP廠家重新注入該節(jié)目。如果是不同位置馬賽克，需要查看推流服務器的CPU、內(nèi)存、磁盤I/O、推流帶寬是否存在問題，并查看服務器日志是否有報錯[2]。如果都正常，則需要分公司排查當?shù)鼐W(wǎng)絡。如果查著網(wǎng)絡正常，需要服務端和STB端，同時抓網(wǎng)絡包，進行對比分析，查看到底是網(wǎng)絡的問題還是服務器的問題， 還可以使用點播模擬器從PC機端點播查看是否存在馬賽克。如果都不是上述原因，需要機頂盒開啟日志，抓取到日志后協(xié)調STB廠家分析。

1.2 時移回看業(yè)務故障

（1）個別用戶點播回看或者時移黑屏。處理方式如上SP業(yè)務點播黑屏情況；時移黑屏，還有一種情況是時移節(jié)目的頻道信息與實際的頻道信息不一致導致的，需要根據(jù)分公司新提供的頻道信息、頻點、TSID、ServiceID，在系統(tǒng)內(nèi)進行更正。

（2）個別用戶點播或者時移馬賽克。如果馬賽克的位置相同，則排查轉碼器出來的節(jié)目源是否馬賽克，如果有馬賽克，需要排查轉碼器的輸入節(jié)目源是否正常，與值班同事咨詢直播是否存在馬賽克問題，若無，則需轉碼廠家進一步解決。如果馬賽克位置不固定，則與上面SP業(yè)務點播馬賽克排查方法一致。

1.3 網(wǎng)絡故障

獲取IP地址困難，通過STB和DHCP服務端， 同時抓包分析問題，分析是DHCP服務端的問題還是STB終端的問題，以及是否是網(wǎng)絡設備的問題。

2 用Wireshark分析故障

在排查點播故障中使用Wireshark是必須掌握的技能[3]，以下是使用Wireshark分析排查直播節(jié)目源和HLS點播故障問題原因。

2.1 直播節(jié)目源問題

使用筆記本電腦用網(wǎng)線直接接到交換機上， 使用Wireshark進行抓包，或者登錄錄制節(jié)目服務器使用命令tcpdump進行抓包。使用wirshark打開獲取到的抓包文件，右鍵→Follow UDP stream→ 使用raw模式Save as成ts流文件，并使用碼流分析儀分析，能夠根據(jù)碼流分析儀的結果判斷問題。比如：丟包、缺少音頻信息、靜幀等問題。如果抓取到的包比較大，Wireshark分析非常慢，可以采用Windows安裝的Wireshark包里自帶的editcap進行切割成小文件進行分析。

2.2 HLS點播問題

首先從地市分公司的匯聚交換機上，拉出網(wǎng)線，接到STB上，查看是否能夠復現(xiàn)問題。這樣做的好處是撇開地市分公司的網(wǎng)絡，便于排查問題。如果點播正常，需要排查地市分公司的網(wǎng)絡情況。如果能夠復現(xiàn)，就需要排查省公司的系統(tǒng)，協(xié)調分公司抓取網(wǎng)絡包。使用做好端口鏡像的交換機，筆記本電腦抓機頂盒的網(wǎng)絡包。分析過程如下：

①使用Wireshark打開抓取到的包。

②找到相應的m3u8文件所在的包，然后右鍵→follow http stream，查看m3u8問題的問題。M3u8可能存在不標準、時間戳添加不正確等問題。

③若m3u8文件正常，則需要查看ts包的問題。

④從抓包文件中提取ts包文件：File→Export→Objects→HTTP→Save All。

⑤然后采用python腳本，將每個ts包重命名， 并生成m3u8文件，采用VLC進行播放查看效果。若存在卡頓和馬賽克問題，需要排查節(jié)目源。

⑥懷疑某個包有問題時，可以用碼流分析儀器直接分析。

⑦在排查網(wǎng)絡問題時，首先將http協(xié)議response中的Time since request作為一列http. time，這個參數(shù)含義時：下載m3u8文件或者下載ts 片的時間。然后將這個時間按大到小排序。

⑧在系統(tǒng)中切片的時長是6 s，如果有多個片時間大于6 s，說明機頂盒下載ts片比較慢，可能的原因：網(wǎng)絡的問題或者推流服務器性能的問題。需要逐級排查網(wǎng)絡或詳細查看推流服務器CPU、內(nèi)存、磁盤I/O等。

3 結束語

排查問題需要注重前端服務器和終端機頂盒的結合分析，注重查看日志，服務運行情況，對于比較難查的問題，需要通過抓網(wǎng)絡包和使用PC模擬器測試解決問題。往往分公司上報故障時才知曉系統(tǒng)出問題，迫切需要防患于未然，進行智能化運維，后期的運維思路如下：一是出現(xiàn)問題時通過短信、郵件、微信報警系統(tǒng)及時報警出來；二是系統(tǒng)在出現(xiàn)問題前，往往日志中會有報警信息，所以有必要搭建日志分析系統(tǒng)，將所有設備的日志集中到一起，通過數(shù)據(jù)挖掘出報警信息，及早發(fā)現(xiàn)問題， 解決問題；三是開發(fā)互動電視的探針系統(tǒng)，每隔10秒請求一次模擬終端的請求過程，如果發(fā)現(xiàn)問題及時處理。