實(shí)時(shí)大數(shù)據(jù)成現(xiàn)實(shí)

卜娜

自2012年英特爾發(fā)布Hadoop發(fā)行版（IDH）后，基于Hadoop架構(gòu)的大數(shù)據(jù)應(yīng)用已陸續(xù)在行業(yè)開(kāi)花。從電信到交通，從醫(yī)療到金融，通過(guò)計(jì)算平臺(tái)的架構(gòu)革新與軟件助力，英特爾已讓大數(shù)據(jù)實(shí)時(shí)采集、實(shí)時(shí)分析變?yōu)楝F(xiàn)實(shí)。大數(shù)據(jù)的真正實(shí)力開(kāi)始顯現(xiàn)，它正在漸漸改變這些行業(yè)的面貌。

從“拖死系統(tǒng)”到“零”影響

大數(shù)據(jù)分析的需求在智能交通領(lǐng)域由來(lái)已久，但實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)采集和實(shí)時(shí)分析卻并不像想象得那么簡(jiǎn)單。對(duì)智能交通應(yīng)用而言，長(zhǎng)久以來(lái)，大數(shù)據(jù)分析只能作為延遲的“智慧”。

杭州誠(chéng)道科技有限公司銷(xiāo)售總監(jiān)陳海濤告訴記者，為了從幾百TB的數(shù)據(jù)中找到交通行業(yè)用戶需要的信息，借助數(shù)據(jù)分析的結(jié)果幫助用戶開(kāi)發(fā)實(shí)時(shí)應(yīng)用，他們花了很多年時(shí)間進(jìn)行研究，但始終未果。開(kāi)始采用大量的PC集群，但因計(jì)算能力“跟不上”，很多有價(jià)值的信息無(wú)法通過(guò)關(guān)系型數(shù)據(jù)庫(kù)細(xì)化、挖掘出來(lái)。后來(lái)又嘗試了“小機(jī)+存儲(chǔ)”模式，結(jié)果做一個(gè)分析應(yīng)用有時(shí)能‘拖死整個(gè)系統(tǒng)。直到他們找到了Hadoop和英特爾，通過(guò)制定專門(mén)的行業(yè)解決方案，才逐漸完成了計(jì)算架構(gòu)的改革升級(jí)，漸漸解決了大數(shù)據(jù)從實(shí)時(shí)采集到實(shí)時(shí)分析的一系列問(wèn)題。

陳海濤所在的公司是做“智能交通”系統(tǒng)集成的，以前一到“五一”、“十一”，他們就會(huì)進(jìn)入加班“黃金周”。因?yàn)椋挥性谶@段業(yè)務(wù)相對(duì)空閑的時(shí)間里，他們才敢從系統(tǒng)中實(shí)時(shí)調(diào)取數(shù)據(jù)做一些分析，而不會(huì)讓系統(tǒng)因此受影響。而現(xiàn)在，從768TB的數(shù)據(jù)中尋找那些晝伏夜出的可疑車(chē)輛、發(fā)現(xiàn)套牌車(chē)，幾秒鐘即可完成實(shí)時(shí)分析，且完全不會(huì)影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。按照陳海濤的話，在采用大數(shù)據(jù)分布式計(jì)算架構(gòu)后，原來(lái)的應(yīng)用都變成了實(shí)時(shí)應(yīng)用，針對(duì)經(jīng)過(guò)的每一輛車(chē)都可以做實(shí)時(shí)分析，“效果非常好”。

“軟硬兼修”釋放大數(shù)據(jù)潛能

在交通行業(yè)，與杭州誠(chéng)道科技有限公司有類(lèi)似經(jīng)歷的ISV有很多，今天他們中的不少企業(yè)已經(jīng)成為英特爾的合作伙伴。吸引這些企業(yè)自動(dòng)加入英特爾生態(tài)圈的原因，不僅英特爾的核心處理器平臺(tái)可以為大數(shù)據(jù)實(shí)時(shí)分析提供強(qiáng)有力的計(jì)算能力，而是英特爾針對(duì)大數(shù)據(jù)核心應(yīng)用需求而進(jìn)行的創(chuàng)新以及“軟硬兼修”的投入。

為實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)采集、實(shí)時(shí)分析，英特爾近兩年來(lái)在硬件策略上的改變非常明顯：面向大數(shù)據(jù)的采集和邊緣處理，英特爾有凌動(dòng)處理器及至強(qiáng)E3處理器平臺(tái)；面向?qū)崟r(shí)的大數(shù)據(jù)分析需求，英特爾有高效可擴(kuò)展，能承載大數(shù)據(jù)分布式存儲(chǔ)、管理、處理、查詢等重任的至強(qiáng)E5處理器平臺(tái)；面向大數(shù)據(jù)分析和商業(yè)智能，英特爾有高性能，支持高帶寬、高容量?jī)?nèi)存計(jì)算，且具備可媲美小型機(jī)可靠性、可用性和可維護(hù)性的至強(qiáng)E7處理器平臺(tái)；除此之外，英特爾圍繞這些核心處理器平臺(tái)所構(gòu)建的服務(wù)器設(shè)備，還提供了萬(wàn)兆以太網(wǎng)和固態(tài)硬盤(pán)等創(chuàng)新技術(shù)，可讓大數(shù)據(jù)應(yīng)用突破數(shù)據(jù)傳輸和存儲(chǔ)方面的性能瓶頸。這種“端到端”的改變，讓底層硬件平臺(tái)不再成為束縛大數(shù)據(jù)應(yīng)用落地的因素。

為了進(jìn)一步優(yōu)化計(jì)算平臺(tái)以適應(yīng)大數(shù)據(jù)應(yīng)用的需要，英特爾在軟件方面也花了更大的功夫。大數(shù)據(jù)分析對(duì)存儲(chǔ)的擴(kuò)容性要求很高，傳統(tǒng)存儲(chǔ)架構(gòu)最大的缺陷是擴(kuò)容難、成本高。Hadoop雖然提供了易擴(kuò)容且廉價(jià)的架構(gòu)，但在實(shí)際應(yīng)用中其與底層硬件的配合還存在很多問(wèn)題。英特爾推出IDH就是為了釋放Hadoop的實(shí)際效能，而最新的Hadoop架構(gòu)已經(jīng)能夠擴(kuò)展到萬(wàn)臺(tái)服務(wù)器了。

到目前為止，英特爾的大數(shù)據(jù)處理平臺(tái)（IDP）也遠(yuǎn)遠(yuǎn)超越了英特爾Hadoop發(fā)行版的范疇。為了讓用戶更好地使用Hadoop并發(fā)揮硬件平臺(tái)的效能，IDP又在英特爾Hadoop發(fā)行版的基礎(chǔ)上添加了很多周邊工具，還包括對(duì)內(nèi)存計(jì)算、流計(jì)算的支持，以及對(duì)全球用戶提供技術(shù)服務(wù)和咨詢等。在國(guó)內(nèi)，英特爾還為合作伙伴提供大數(shù)據(jù)方面的技術(shù)培訓(xùn)，特別是針對(duì)Hadoop應(yīng)用開(kāi)發(fā)、Hadoop平臺(tái)管理等。

大數(shù)據(jù)涉及各種復(fù)雜系統(tǒng)，從數(shù)據(jù)采集到數(shù)據(jù)分析，實(shí)現(xiàn)數(shù)據(jù)在不同操作系統(tǒng)、不同IT設(shè)備上的存儲(chǔ)和傳輸非常困難，這也是大數(shù)據(jù)難以實(shí)時(shí)采集、分析的原因。在技術(shù)上，以一個(gè)共同的平臺(tái)為基礎(chǔ)，實(shí)現(xiàn)跨平臺(tái)的大數(shù)據(jù)應(yīng)用，打破不同系統(tǒng)、不同平臺(tái)、不同行業(yè)之間的壁壘，借助IDP，英特爾可以解決大數(shù)據(jù)的最大困擾。在過(guò)去一年中，英特爾能夠驅(qū)動(dòng)大量合作伙伴，在基于英特爾的端到端產(chǎn)品技術(shù)組合上開(kāi)發(fā)大數(shù)據(jù)應(yīng)用和解決方案的原因恰恰在此。

面對(duì)APT，“防御”還是“伏擊”

在移動(dòng)互聯(lián)網(wǎng)攻擊愈演愈烈的今天，APT（Advanced Persistent Threat，高級(jí)持續(xù)性攻擊）瓦解傳統(tǒng)安全防護(hù)體系的速度也越來(lái)越快。這種面向特定的組織機(jī)構(gòu)，從利用“零日漏洞”到社交網(wǎng)絡(luò)陷阱，甚至用到了大數(shù)據(jù)分析的復(fù)雜網(wǎng)絡(luò)攻擊模式，以其可怕的“潛伏性”和“持續(xù)性”，成為企業(yè)的最大威脅。

近幾年，RSA大會(huì)的主題一直圍繞著如何應(yīng)對(duì)APT。在今年的大會(huì)上，“防御”這樣的理念正漸漸被信息安全企業(yè)拋棄，取而代之的是“伏擊”。

等君入甕

在本屆RSA大會(huì)上，瓦解APT的方法已經(jīng)轉(zhuǎn)向了依靠“云”和更隱蔽的識(shí)別攻擊者的技術(shù)。瞻博網(wǎng)絡(luò)在RSA大會(huì)上就帶來(lái)了一種全新的安全防護(hù)方法——Argon Secure，它能通過(guò)一種“入侵誘騙”技術(shù)為網(wǎng)絡(luò)應(yīng)用程序提供反病毒防護(hù)。

傳統(tǒng)的安全解決方案一般是在初始感染階段對(duì)病毒進(jìn)行檢測(cè)，但碰到零日攻擊，這種檢測(cè)基本會(huì)失效。即使是當(dāng)前比較先進(jìn)的防病毒產(chǎn)品，也僅限于依靠簽名或通過(guò)控制網(wǎng)絡(luò)端的流量?jī)煞N方法進(jìn)行病毒防護(hù)，一旦黑客尋找到繞開(kāi)企業(yè)端的方法，這種方案也會(huì)失效。但Argon Secure無(wú)論是在初始感染階段還是感染之后，在病毒繁殖階段，還是在病毒嘗試尋找易感染數(shù)據(jù)并試圖從網(wǎng)絡(luò)上將該數(shù)據(jù)泄露的時(shí)候，均能對(duì)其進(jìn)行檢測(cè)。

瞻博網(wǎng)絡(luò)亞太區(qū)安全業(yè)務(wù)總監(jiān)Greg Bunt告訴記者，Argon Secure的特別之處在于它不會(huì)讓攻擊者意識(shí)到自己已經(jīng)被防護(hù)系統(tǒng)發(fā)現(xiàn)并識(shí)別到了他們的誘騙手段，所以會(huì)讓攻擊者無(wú)計(jì)可施。而與此同時(shí)，所有的攻擊信息卻已被傳送到云中心，用以分析、觀察攻擊者的行為，發(fā)現(xiàn)他們鎖定的目標(biāo)以及判斷他們將如何進(jìn)行攻擊。例如，有的攻擊者會(huì)等待很多終端設(shè)備都在線的時(shí)候才會(huì)發(fā)起大面積攻擊，有的攻擊者只是在公司內(nèi)部尋找漏洞或發(fā)現(xiàn)竊取一些數(shù)據(jù)，這些信息都會(huì)被反饋到云服務(wù)器上，經(jīng)過(guò)分析后反饋給用戶并提供相應(yīng)的防護(hù)方案。此外，通過(guò)實(shí)現(xiàn)終端、內(nèi)部網(wǎng)絡(luò)流量和網(wǎng)絡(luò)邊緣的可視化，Argon Secure還能在其他解決方案無(wú)能為力的領(lǐng)域進(jìn)行病毒檢測(cè)。

用“黑客思維”對(duì)付黑客

“信息安全從業(yè)者和黑客們玩著永恒的‘貓鼠游戲，安全防護(hù)技術(shù)必須隨著攻擊者的‘花招不斷進(jìn)步，用反常的方法瓦解這些攻擊?！闭鏕reg Bunt所看到的那樣，今天企業(yè)需要的不再是“城墻”，而是會(huì)用黑客思維“思考”的可自動(dòng)識(shí)別攻擊者、自動(dòng)采取行動(dòng)，“內(nèi)外兼修”保護(hù)企業(yè)的防護(hù)體系。

這種更有耐心的“伏擊”式防護(hù)，更容易讓黑客在潛入用戶系統(tǒng)后失去“破壞”的方向。Argon Secure可被植入防火墻、交換機(jī)或其他接入網(wǎng)絡(luò)的終端設(shè)備，一旦攻擊者做出有威脅性的行為，它能立即做出判斷并進(jìn)行處置，不用再等到問(wèn)題爆發(fā)時(shí)才去挽救。但對(duì)攻擊者而言，一張?zhí)炝_地網(wǎng)卻已經(jīng)在其潛入系統(tǒng)時(shí)就已織就，隱藏于云中心的安全小組早已開(kāi)始了對(duì)攻擊者的追蹤。通過(guò)網(wǎng)絡(luò)分享機(jī)制，網(wǎng)絡(luò)中正在使用Argon Secure的所有用戶都可以立即獲取相應(yīng)的經(jīng)驗(yàn)，用以防范同樣的APT。