云計算與大數(shù)據(jù)技術(shù)在廣電有線網(wǎng)絡(luò)中的應(yīng)用

容經(jīng)雄

（廣東原創(chuàng)科技有限公司，廣東 惠州 516003）

0 引 言

如何使云計算在廣電行業(yè)中得到深入應(yīng)用，同時推動整個行業(yè)的發(fā)展，是近年來廣電業(yè)內(nèi)專家學(xué)者不斷探索與研究的重要課題。相關(guān)領(lǐng)域的專家和云計算公司結(jié)合實際情況提出了許多解決方案，例如媒體云、制播云以及云存儲等，但真正得到深入應(yīng)用的云計算項目并不太多，還未實現(xiàn)規(guī)模效應(yīng)，并且也沒有相應(yīng)的生態(tài)鏈。如何將云計算落實到廣電行業(yè)中，通過新技術(shù)來推動廣電行業(yè)的進(jìn)一步發(fā)展依舊是需要關(guān)注的重點。

近年來，大數(shù)據(jù)技術(shù)得到了突飛猛進(jìn)的發(fā)展，許多學(xué)者都將大數(shù)據(jù)、智能化生產(chǎn)以及無線網(wǎng)絡(luò)革命當(dāng)作指導(dǎo)未來發(fā)展的三大技術(shù)變革。有研究認(rèn)為，數(shù)據(jù)屬于生產(chǎn)資料的一種，而大數(shù)據(jù)則是當(dāng)今世界下一個提高競爭力與生產(chǎn)力的前沿內(nèi)容?，F(xiàn)階段，越來越多的國家都開始通過對大數(shù)據(jù)的開發(fā)利用來盡可能在國際競爭中取得優(yōu)勢[1-3]。在此背景下，數(shù)字化向著數(shù)據(jù)化的轉(zhuǎn)變與發(fā)展已經(jīng)成為必然趨勢。云計算是信息時代的產(chǎn)物，而大數(shù)據(jù)則是信息時代下經(jīng)濟(jì)增長的關(guān)鍵點?；诖?，對廣電行業(yè)來說，要想在當(dāng)今時代實現(xiàn)進(jìn)一步的發(fā)展，就需要充分把握把技術(shù)發(fā)展的機遇。

1 云計算與大數(shù)據(jù)技術(shù)概述

1.1 云計算技術(shù)

在云計算技術(shù)當(dāng)中，主要包括虛擬化技術(shù)、并行編程框架技術(shù)以及分布式數(shù)據(jù)管理技術(shù)等，其技術(shù)框架如圖1所示。

圖1 云計算技術(shù)框架

1.1.1 虛擬化技術(shù)

在技術(shù)層面上，虛擬化主要是對計算機資源進(jìn)行調(diào)配。在實際應(yīng)用中，其能夠有效打破應(yīng)用系統(tǒng)對硬件的物理劃分，可以保證架構(gòu)的動態(tài)化，為物理資源的集中管理與使用提供條件。虛擬化最為顯著的優(yōu)勢就是能夠?qū)崿F(xiàn)對系統(tǒng)彈性與靈活性的提升，減小成本并優(yōu)化服務(wù)，實現(xiàn)對資源的高效利用。在表現(xiàn)形式層面上，虛擬化的應(yīng)用形式包括兩種。一是將具有強大性能的服務(wù)器分成眾多獨立小服務(wù)器，為不同用戶提供服務(wù)；二是將眾多服務(wù)器虛擬為一個強大服務(wù)器，實現(xiàn)特定功能。兩者的關(guān)鍵都是統(tǒng)一管理，對資源進(jìn)行動態(tài)分配，實現(xiàn)對資源利用率的提高[4-7]。

1.1.2 海量數(shù)據(jù)存儲技術(shù)

海量數(shù)據(jù)存儲技術(shù)包括分布式文件系統(tǒng)技術(shù)、分布式數(shù)據(jù)庫技術(shù)等。具體來看，在分布式存儲系統(tǒng)中，主要選擇了能夠擴(kuò)展的系統(tǒng)結(jié)構(gòu)，通過多臺不同的存儲服務(wù)器來實現(xiàn)對存儲負(fù)荷的分擔(dān)，借助位置服務(wù)器來對存儲信息進(jìn)行準(zhǔn)確定位。其在提高系統(tǒng)可靠性、可用性以及存取效率的同時，還更容易進(jìn)行擴(kuò)展。

1.1.3 并行編程框架技術(shù)

在并行編程模式下，后臺復(fù)雜的任務(wù)處理與資源調(diào)度對用戶而言都是處在透明的狀態(tài)下，可以有效提升用戶體驗。MapReduce是現(xiàn)在云計算應(yīng)用非常廣泛的并行編程模式，在該模式中將任務(wù)自動劃分成眾多子任務(wù)，利用Map與Reduce在大規(guī)模計算節(jié)點中做好對任務(wù)的調(diào)度與分配。

1.1.4 資源管理技術(shù)

在云計算系統(tǒng)中往往要處理大量的資源，這就需要使用到非常多的服務(wù)器，甚至?xí)霈F(xiàn)跨多個地域的情況。與此同時，云平臺當(dāng)中還運行著大量的應(yīng)用，為了實現(xiàn)對這些資源的充分管理，并確保它們能夠穩(wěn)定運行，就需要有足夠強大的資源管理技術(shù)。在多節(jié)點的并發(fā)執(zhí)行環(huán)境下，多節(jié)點狀態(tài)要保持同步。同時在單個節(jié)點發(fā)生故障的情況下，系統(tǒng)需要通過合理的機制來確保其他節(jié)點不會被影響[8]。

1.2 大數(shù)據(jù)技術(shù)

近年來，大數(shù)據(jù)逐漸成為研究的熱點。具體來看，大數(shù)據(jù)的特點包括數(shù)據(jù)體量較大、數(shù)據(jù)類型豐富、價值密度較低以及處理速度較快。當(dāng)前對于大數(shù)據(jù)技術(shù)還未有非常嚴(yán)格的定義，大數(shù)據(jù)的技術(shù)體系包含大數(shù)據(jù)平臺構(gòu)建相關(guān)技術(shù)與大數(shù)據(jù)挖掘分析技術(shù)。大數(shù)據(jù)技術(shù)框架如圖2所示。

圖2 大數(shù)據(jù)技術(shù)框架

1.2.1 大數(shù)據(jù)平臺構(gòu)建技術(shù)

大數(shù)據(jù)平臺構(gòu)建技術(shù)的重要基礎(chǔ)就是云計算技術(shù)，云計算相關(guān)的關(guān)鍵技術(shù)都是大數(shù)據(jù)技術(shù)不可缺少的重要基礎(chǔ)。分布式文件系統(tǒng)通過大量普通服務(wù)器的存儲能力，實現(xiàn)大規(guī)模的文件存儲。分布式數(shù)據(jù)庫技術(shù)的作用就是存取海量數(shù)據(jù)，具有超大規(guī)模的數(shù)據(jù)讀寫能力。大數(shù)據(jù)處理技術(shù)則包括批處理與分析、近實時分析以及實時流處理，其中批處理與分析是用來在離線狀態(tài)下進(jìn)行數(shù)據(jù)處理，其他兩個則是進(jìn)行實時處理。在應(yīng)用上，批處理的應(yīng)用包括ELL、數(shù)據(jù)挖掘以及數(shù)據(jù)預(yù)處理，近實時分析應(yīng)用在數(shù)據(jù)決策分析中，流處理模型則應(yīng)用于實時統(tǒng)計系統(tǒng)、在線狀態(tài)監(jiān)控等[9]。

1.2.2 大數(shù)據(jù)挖掘分析技術(shù)

大數(shù)據(jù)挖掘技術(shù)以分布式計算平臺為基礎(chǔ)，能夠?qū)崿F(xiàn)對大規(guī)模數(shù)據(jù)的挖掘分析。結(jié)合底層計算平臺的相關(guān)要求，針對各種傳統(tǒng)數(shù)據(jù)挖掘算法進(jìn)行優(yōu)化，在必要的情況下需進(jìn)行一定的簡化來滿足底層平臺的相關(guān)要求。數(shù)據(jù)分析技術(shù)主要是基于數(shù)據(jù)儲存管理來實現(xiàn)的，如文件屬性分析技術(shù)、日志分析技術(shù)以及預(yù)測模型等。大數(shù)據(jù)技術(shù)并非是徹底的新技術(shù)，它是基于云計算技術(shù)并結(jié)合傳統(tǒng)數(shù)據(jù)挖掘分析技術(shù)而產(chǎn)生的。

2 廣電網(wǎng)絡(luò)運營商在云計算與大數(shù)據(jù)時代下的機遇

2.1 從傳統(tǒng)網(wǎng)絡(luò)運營轉(zhuǎn)變?yōu)閿?shù)據(jù)運營

云計算與大數(shù)據(jù)技術(shù)的發(fā)展為廣電運營商向數(shù)據(jù)運營商的轉(zhuǎn)型發(fā)展提供了良好條件。大數(shù)據(jù)處理主要涉及數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析以及結(jié)果展現(xiàn)等環(huán)節(jié)，各環(huán)節(jié)都和網(wǎng)絡(luò)基礎(chǔ)設(shè)施有著很大的關(guān)系。經(jīng)過長期的發(fā)展，廣電網(wǎng)絡(luò)運營商在基礎(chǔ)設(shè)施的建設(shè)與維護(hù)方面進(jìn)行了大量努力，逐漸構(gòu)建出了具有廣泛覆蓋面和較高可靠性的網(wǎng)絡(luò)，同時還進(jìn)行了雙向化與數(shù)字化優(yōu)化，擁有大數(shù)據(jù)運營的基礎(chǔ)[10]。

在數(shù)據(jù)的來源方面，廣電網(wǎng)絡(luò)的前端能夠?qū)崿F(xiàn)對電臺、電視臺中內(nèi)容資源的接收，其終端將會直接連接到用戶家庭或用戶的智能終端。整個網(wǎng)絡(luò)所能夠接收的信息是很豐富的，具有數(shù)據(jù)體量大、類型廣等特征。此外，大量的數(shù)據(jù)資源也是廣電網(wǎng)絡(luò)運營商能夠發(fā)展成數(shù)據(jù)運營商的關(guān)鍵所在。

在運營平臺的建設(shè)方面，近幾年廣電網(wǎng)絡(luò)運營商不斷對當(dāng)下的播控和傳輸平臺進(jìn)行技術(shù)方面的改造升級，例如對媒體云平臺、基于云計算的內(nèi)容分發(fā)平臺以及互聯(lián)網(wǎng)媒體云等的建設(shè)。隨著科技水平的不斷提高，各種先進(jìn)技術(shù)在廣電網(wǎng)絡(luò)改造與升級的過程中發(fā)揮著巨大作用，能夠給數(shù)據(jù)服務(wù)的進(jìn)行帶來技術(shù)方面的有效支撐。

在終端設(shè)備方面，數(shù)字機頂盒作為重要的終端接入設(shè)備，在實際應(yīng)用當(dāng)中發(fā)揮很大的作用。在今后的發(fā)展中，機頂盒會連接家庭中的各種智能家電設(shè)備，以此來幫助廣電網(wǎng)絡(luò)獲取更廣泛的數(shù)據(jù)信息資源。

2.2 從有線運營商轉(zhuǎn)變?yōu)閿?shù)據(jù)運營商

在近些年的發(fā)展中，越來越多的大中城市開始進(jìn)行智慧城市建設(shè)。不管是在城市運行管理、居民服務(wù)還是產(chǎn)業(yè)服務(wù)等方面，都必須將信息化當(dāng)作重要的基礎(chǔ)。就實際情況來看，智慧城市當(dāng)中的信息網(wǎng)絡(luò)應(yīng)當(dāng)遵循利用與建設(shè)共同推進(jìn)的理念，同時對原有網(wǎng)絡(luò)資源的利用也要引起重視。有線網(wǎng)絡(luò)有著很廣泛的應(yīng)用人群，同時廣播電視屬于家庭媒體的主要形式之一，傳播的內(nèi)容得到了嚴(yán)格把關(guān)，適合各類人群收聽收看。智慧城市建設(shè)的最終目標(biāo)就是要面向所有居民，讓居民可以更便捷、高效地享受城市公共服務(wù)[11]。

3 云計算與大數(shù)據(jù)技術(shù)在廣電有線網(wǎng)絡(luò)當(dāng)中運用的有效措施

3.1 重視云計算和大數(shù)據(jù)的戰(zhàn)略價值

對廣電有線網(wǎng)絡(luò)來說，云計算和大數(shù)據(jù)技術(shù)的出現(xiàn)是新時代非常重要的一個發(fā)展機遇。廣電有線網(wǎng)絡(luò)要想跟上新時代發(fā)展的腳步，首先要做的就是轉(zhuǎn)變自身觀念，充分挖掘云計算和大數(shù)據(jù)所具有的戰(zhàn)略價值，將云計算與大數(shù)據(jù)相關(guān)的技術(shù)運用到實際工作的各個方面，并對這些技術(shù)展開更進(jìn)一步的研究。結(jié)合實際情況對應(yīng)用的試點進(jìn)行設(shè)置，在實踐當(dāng)中探索云計算與大數(shù)據(jù)應(yīng)用的最佳方式。

3.2 探索廣電網(wǎng)絡(luò)特有的大數(shù)據(jù)

在廣電有線網(wǎng)絡(luò)中，一定要盡可能做到對大數(shù)據(jù)的充分應(yīng)用，使其體現(xiàn)出更直觀的經(jīng)濟(jì)效益。在現(xiàn)階段，廣電有線網(wǎng)絡(luò)不但要跟蹤研究大數(shù)據(jù)技術(shù)，而且還要對廣電有線網(wǎng)絡(luò)當(dāng)中大數(shù)據(jù)的要點高度重視。

3.3 在廣電網(wǎng)絡(luò)當(dāng)中深入應(yīng)用云計算

如果大數(shù)據(jù)與云計算被分離開來，就沒有了任何意義。無論是大數(shù)據(jù)的存儲、處理、分析或挖掘等，都是依賴于云計算相關(guān)技術(shù)的。與此同時，通過云計算建立數(shù)據(jù)中心平臺的成本并不太高，并且其具有支持異構(gòu)、可動態(tài)擴(kuò)容等特點，能夠做到對整個數(shù)據(jù)中心平臺的分級建設(shè)。

3.4 關(guān)注人才培養(yǎng)

無論是云計算還是大數(shù)據(jù)，都是在近幾年興起的技術(shù)。這些技術(shù)逐漸被應(yīng)用到越來越多的領(lǐng)域，有著非常大的發(fā)展空間。要想在廣電行業(yè)中使云計算與大數(shù)據(jù)技術(shù)所具有的價值得到有效發(fā)揮，做到針對廣電新業(yè)態(tài)的有效創(chuàng)新，需確保廣電行業(yè)當(dāng)中具有掌握廣電業(yè)務(wù)技術(shù)和云計算、大數(shù)據(jù)等新技術(shù)的高素質(zhì)人才。廣電有線網(wǎng)絡(luò)相關(guān)企業(yè)需要重點培養(yǎng)自身的人才隊伍，以此來為今后的發(fā)展提供更好的條件，確保在發(fā)展過程中始終都有充足的人才資源。

4 結(jié) 論

隨著科學(xué)技術(shù)水平的不斷提高，為了推動廣電有線網(wǎng)絡(luò)的進(jìn)一步發(fā)展，必須要在其中更加深入的運用云計算與大數(shù)據(jù)相關(guān)技術(shù)。在未來的發(fā)展過程中，廣電有線網(wǎng)絡(luò)運營商一定要把握好云計算和大數(shù)據(jù)技術(shù)所提供的發(fā)展機遇，不斷進(jìn)行創(chuàng)新，從而真正實現(xiàn)長遠(yuǎn)發(fā)展。